Saya baru lihat kuliah Geoffrey Hinton pada acara penganugeraahn A.M Turing award lecture 2018 dengan judul deep learning revolution. 

2 paradigma AI sejak tahun 1950:

• Pendekatan Logik: menggunakan simbolic rules untuk melakukan manipulasi symbolic expressions; masalah utamanya reasoning; representasi yg digunakan symbolic expression; programmer meminta komputer;
• pendekatan terinspirasi dari biologi: neural network: masalah yang dibahas learning dan persepsi; representasi dengan vektor neural

Vektor belajar dari data, dan mempengaruhi vektor neuron lainnya.

intelligent design: manipulasi symbolic representasi untuk menjalankan tugas dan memprogram komputer untuk melakukan itu

Learning, memberi input banyak contoh serta menentukan output yang diinginkan, meminta komputer belajar untuk memetakan input dengan output menggunakan prosedur learning yang general. Hinton memberi contoh dengan input sebuah gambar, komputer diminta menjelaskan apa isi gambar tersebut. Pendekatan intelligent design tidak berhasil memberikan deskripsi gambar, namun neural net bisa menjelaskan gambar tersebut dengan pendekatan learning. Neural Net yang besar dengan jutaan weight dan banyak layer non-linear neuron mampu menghitung perhitungan yang kompleks. Tapi mampukah neural network belajar hanya dari random weights dan mengambil informasi hanya dari data training, tanpa label dari manusia. Turing dan selfridge pernah mengusulkan bahwa reinforcement learning (RL) bisa melakukan ini. RL menggunakan reward & punishment untuk mengupdate weights dari koneksi neural net. Namun menurut hinton tidak efficient. 

• 1960 rosenblatt mengusulkan metoda learning sederhana yang dapat menghitung weight dari feature untuk melakukan klasifikasi input, namun perceptron tidak dapat menentukan feature
• 1969 Minsky dan papert menyatakan perceptron memiliki keterbatasan, dan memiliki ide menggunakan deeper network
• 1970 neural net winter
• 1980 an muncul back propagation, berhasil membuat neural net merancang featurenya dan memiliki beberapa layer feature. Back propagation bisa mengconvert kata menjadi vektor, dan memprediksi kata berikutnya. Berhasil di speech recognition, dan beberapa bentuk shape recognition.  Yalican network membaca tulisan tangan

artificial neuron –> rectified linear neuron; output dengan jumlah input yang sama, merubah nilai weight. Klo gak ada cycle disebut feed-forward neural net. Merubah weight–>> merubah feature yang dipelajari net. tambah beberapa hidden layer

Ada 2 learning algoritm

• supervised:  memberi vektor input dan memberikan output yang benar.  merubah weights untuk mengurangi diskrepansi antara output saat ini dan yang seharusnya
• unsupervised hanya memberi input, merubah weight pada hidden layer supaya sistem dapat melakukan rekonstruksi input lebih baik 

Masih banyak lagi catatan yang menarik dari kuliah Hinton

video lengkapnya bisa dilihat disini