LVQ Prof Wisnu


Saya lanjutkan share materi Prof Wisnu tentang Neural network, kali ini tentang LVQ (Learning Vector Quantization). LVQ beliau artikan sebagai pembelajaran berbasis kompetensi.

  • Struktur jaringan sederhana, lapis tunggal tanpa hidden layers,
  • Vektor Pewakil (reference, prototype) –> representasi kategori kelas
  • Winner Takes all

Metode Pembelajaran LVQ

Contoh LVQ

Backpropagation

Back-propagation diperkenalkan oleh Rumelhart, Hinton dan Williams dan dipopulerkan pada buku Parallel Distributed Processing (Rumelhart and McLelland, 1986)

Prinsip dasar algoritma propagasi-balik memiliki tiga fase:

  • Fase feed forward pola input pembelajaran

  • Fase kalkulasi dan back-propagation error yang didapat.

  • Fase penyesuaian bobot.

  • Jaringan lapis banyak

  • Terdiri dari satu lapisan unit-unit masukan, satu atau lebih lapisan tersembunyi dan satu

Jaringan lapisan unit keluaran; Struktur dasar sama sepeti perceptron, sehingga disebut multilayer perceptron. Setiap neuron pada suatu lapisan dalam jaringan Propagasi-Balik mendapat sinyal. Masukan dari semua neuron pada lapisan sebelumnya beserta satu sinyal bias.

Karakteristik fungsi aktivasi: kontinyu, dapat didiferensiasikan, monoton tidak turun, dan turunan fungi mudah dihitung.

a. fungsi sigmoid biner (range : [0,1])

 

b. fungsi sigmoid bipolar (range : [-1,1])

Back-propagation (Arsitektur) :

 input layer ditunjukkan oleh unit-unit Xi
output layer ditunjukkan oleh unit-unit Yk

hidden layer ditunjukkan oleh unit-unit Zj

Pembelajaran back-propagation

1. Inisialisasi bobot
wi =0 atau angka acak untuk i=b,1,2,3,…..,n Set laju pembelajaran α (0,1 ≤ nα ≤ 1)

Selama syarat henti belum tercapai: 

a. Feedforward:

2. Setiap unit masukan (X , i = 1, …, n) menerima sinyal masukan x dan meneruskannya ke seluruh unit pada lapisan di atasnya (hidden units)
3. Setiap unit tersembunyi (Zj, j = 1, …, p) menghitung total sinyal masukan terbobot dan fungsi aktivasinya.

Setiap unit output (Yk, k = 1, …, m) menghitung total sinyal masukan terbobot dan fungsi aktivasinya

b. Backpropagation of error:

5. Setiap unit output (Yk, k = 1, …, m) menerima sebuah pola target yang sesuai dengan pola masukan pelatihannya. Unit tersebut menghitung informasi kesalahan dan mengoreksi bobot.

6. Setiap unit tersembunyi (Z , j = 1, …, p) menghitung selisih input (dari unit-unit pada layer di atasnya),

Setiap unit output (Yk, k = 1, …, m) dan unit tersembunyi (Zj, j = 1, …, p)

mengubah bias dan bobot-bobotnya (j = 0, …, p) dan (i = 1, …, n):

8. Uji syarat henti

Pemilihan bobot awal dan bias pada back-propagation

  • Pemilihan bobot awal mempengaruhi apakah jaringan akan mencapai error

  • minimum global (atau lokal), dan jika tercapai, seberapa cepat konvergensinya.

  • Update bobot tergantung pada fungsi aktivasi unit yang lebih dalam (pemberi sinyal input) dan turunan fungsi aktivasi unit yang lebih luar (penerima sinyal input), sehingga perlu dihindari pemilihan bobot awal yang menyebabkan keduanya bernilai 0

  • Jika menggunakan fungsi sigmoid, nilai bobot awal tidak boleh terlalu besar karena dapat menyebabkan nilai turunannya menjadi sangat kecil (jatuh di daerah saturasi). Sebaliknya juga tidak boleh terlalu kecil, karena dapat menyebabkan net input ke unit tersembunyi atau unit output menjadi terlalu dekat dengan nol, yang membuat pembelajaran terlalu lambat

Pemilihan bobot awal dan bias pada back-propagation

  • Dua contoh model inisialisasi bobot dan bias.

    • Inisialisasi Acak.

  • Bobot dan bias diinisialisasi nilai acak antara -0.5 dan 0.5 (atau antara -1 dan 1, atau pada interval lain yang sesuai).

    • Inisialisasi Nguyen-Widrow.

  • Cara ini memberikan laju pembelajaran yang lebih cepat. Berikut contohnya untuk arsitektur dengan satu lapis tersembunyi.

    • Bobot dari unit/neuron tersembunyi ke unit/neuron output diinisialisasi dengan nilai acak antara -0.5 dan 0,5

Sampai disini dulu, besok insyaallah saya lanjutkan share bagian terakhir dari presentasi Prof Wisnu tentang multi layer perceptron. Semoga bermanfaat!


Silahkan tuliskan tanggapan, kritik maupun saran