Pengantar Neural Network – Prof Wisnu


Materi berikutnya dari Workshop AI Fasilkom UI adalah pengantar neural network yang disampaikan Prof Wisnu. Neural Network telah memiliki sejarah perkembangan cukup panjang, dimulai dari:

  • Single Layer Perceptron
  • Multi Layer Perceptron
  • Learning Vector Quantization (LVQ)
  • Deep Learning
  • CNN (Convolutional Neural Network)
  • Recurrent Neural Network (RNN)

Sejarah

Kemajuan 1943-1960:

  • Model matematika pertama neuron Pitts & McCulloch (1943)
  • Awal jaringan saraf tiruan
  • Perceptron – Rosenblatt (1958); satu neuron untuk klasifikasi; aturan pembelajaran perceptron; teorema konvergensi perceptron

Kemunduran 1960-1980:

  • Perceptron  tidak bisa mempelajari fungsi XOR
  • tidak tahu cara melatih MLP
  • 1963Backpropagation(Brysonetal.); tapi tidak banyak dikenal

Kemajuan 1980-

  • 1986 Backpropagation diciptakan kembali. Mempelajari representasi dengan kesalahan propagasi balik. Rumilhart dkk. Nature
  • Aplikasi yang berhasil di Pengenalan karakter, mobil otonom, …, dll. •
  • Tapi masih ada beberapa Open Problem di Overfitting? Struktur jaringan? Nomor neuron? Nomor lapisan? Poin minimum lokal yang buruk? Kapan berhenti berlatih?
  • Hopfield nets (1982), mesin Boltzmann, .. dll

Kemunduran 1993-

  • SVM:Support Vector Machine dikembangkan oleh Vapnik et al.. (arsitektur yang 
  • Model grafis menjadi popular
  • Keberhasilan besar SVM dan model grafis hampir membunuh penelitian ANN (Artificial Neural Network).
  • Melatih jaringan yang lebih dalam secara konsisten menghasilkan hasil yang buruk.
  • Namun,Yann LeCun(1998) mengembangkan deep convolutional network (model diskriminatif).

Kemajuan 2006-

  • Deep learning merupakan branding baru penelitian ANN.

  • Deep Belief Networks (DBN)
    ∗ Algoritma pembelajaran cepat untuk jaring keyakinan yang dalam. Hinton et al. Komputasi Neural.
    ∗ Model grafis generatif
    ∗ Berdasarkan mesin Boltzmann terbatas
    ∗ Dapat dilatih secara efisien

  • Deep Autoencoder based networks
    ∗ Greedy Layer-Wise Training of Deep Networks. Bengio et al. NIPS Convolutional neural networks running on GPUs
    ∗ Kesuksesan NN karena penggunaan GPU yang masif.
    ∗ AlexNet (2012). Krizhevsky et al. NIPS

reference: (Lecture Notes) Perceptron Lecturer: Barnabas Poczos

Apa itu neural networks ?

Neural network adalah prosesor yang secara masif terdistribusi secara paralel yang terdiri dari unit pemrosesan sederhana, yang memiliki kecenderungan alami untuk menyimpan pengetahuan pengalaman dan membuatnya tersedia untuk digunakan.

  • Neural Network mengadopsi otak manusia untuk memproses tugas.
  • Untuk melakukan tugas, Neural Network menggunakan interkoneksi yang kuat dari sel komputasi yang dikenal sebagai “neuron“
  • Pengetahuan diperoleh jaringan saraf dari lingkungannya melalui proses pembelajaran
  • Kekuatan koneksi interneuron, yang dikenal sebagai bobot sinaptik, digunakan untuk menyimpan pengetahuan yang diperoleh

Properti dan kapabilitas Neural Network

  • Nonlinier: Nonlinier adalah properti yang sangat penting. terutama jika mekanisme fisik yang mendasari bertanggung jawab untuk menghasilkan sinyal input (mis. • Speech signal)
  • Pemetaan Input-Output; Neural network belajar dari contoh-contoh dengan membuat pemetaan input-output untuk masalah yang dihadapi
  • Adaptivitas: Neural network memiliki kemampuan bawaan untuk menyesuaikan bobot sinaptiknya dengan perubahan di lingkungan sekitarnya
  • Respon Bukti; Dalam konteks klasifikasi pola, jaringan saraf dapat dirancang untuk memberikan informasi tidak hanya tentang pola tertentu yang akan dipilih, tetapi juga tentang kepercayaan dalam keputusan yang dibuat.
  • Informasi Kontekstual: Pengetahuan diwakili oleh struktur dan status aktivasi jaringan syaraf.
  • Toleransi Kesalahan; Mampu melakukan komputasi yang robust, dalam arti kinerjanya menurun dengan baik dalam kondisi pengoperasian yang buruk
  • Penerapan VLSI; VLSI menyediakan sarana untuk menangkap perilaku yang benar-benar kompleks dengan cara yang sangat hierarkis
  • Keseragaman Analisis dan Desain; notasi yang sama digunakan disemua domain yang melibatkan penerapan neural network
  • Analogi Neurobiologis; Rancangan neural network dimotivasi oleh analogi dengan otak, yang merupakan bukti nyata bahwa pemrosesan paralel yang toleran terhadap kesalahan tidak hanya mungkin secara fisik tetapi juga cepat dan kuat

Sampai disini dulu, insyaallah besok saya lanjutkan sharing materi prof Wisnu ini. Semoga Bermanfaat!

 
 

Silahkan tuliskan tanggapan, kritik maupun saran