ICE Institute

Materi kuliah saya tentang Keamanan Jaringan sekarang bisa diakses di ICE institute. ICE ini platform belajar digital yang disediakan Kemendikbud, UT dan kerjasama dengan berbagai kampus. Jadi kayak SPADA yang dulu. ICE ini katanya dipake juga buat program Merdeka Belajarnya mas menteri.

Nah dari kampus ternyata mata kuliah saya termasuk 1 dari 10 mata kuliah yang diajuin ke ICE. Konon dipilih karena topiknya populer. Materi keamanan jaringan ini bisa diakses di sini:

https://icei.ac.id/courses/course-v1:TELUx+DCH3D3+2021.2/about

Materi kuliah ini sebenernya sama dengan materi kuliah di CELOE. Celoe tuh platform kuliah onlinenya tel-u. Jadi karena untuk anak D3 teorinya gak terlalu banyak. Lebih banyak praktek. Materi di ICE ini materi kamjar tahun 2020. Nah di ICE ini sayangnya gak interaktif bentuknya, jadi mahasiswa register, ngeliat materi, ngerjain tugas udah deh dapet nilai. Beda banget dengan kuliah yg saya kasi di kelas. Karena biasanya tiap semester materinya saya update, terus klo di kelas prakteknya lebih bebas. Kalo online emang agak terbatas perangkat/platform yang bisa dipakte buat latihan. Terus saya juga gak bisa mantau, berapa orang yang ikut kuliah ini. Karena di tel-u kayaknya dihandle sama tim Celoe. Tapi ada mahasiswa yang kirim email nanya2 tentang kuliah ini dari Universitas IVET Semarang. Yah semoga materi kuliahnya bermanfaat. Oiya, kalo ada siswa yang join kelas saya di ICE silahkan jangan ragu2 nanya ya.

Semoga Bermanfaat!

Pengalaman tes TPA online

Kampus minta saya diminta ikut tes TPA (Tes Potensi Akademik), untuk sebuah syarat administrasi. Cuma karena masih pandemi jadinya saya coba daftar tes TPA online. Ternyata koperasinya bappenas ada nyelenggarain ujian TPA online. Pendaftarannya gampang, berikut ini saya share pengalaman tes tpa online:

Pendaftaran

  1. Buka halaman https://koperasi.bappenas.go.id/jadwal-tpa/
  2. Disana ada banyak jadwal TPA & TOEFL, ada yang online dan ada yang offline. Kalo ada jadwal yang cocok tinggal klik rincian. Nanti akan muncul rincian tentang tes tersebut seperti tanggal ujiannya, batas pendaftarannya dll. Jangan lupa baca bagian deskripsi tes online di link berikut, disana ada penjelasan teknis tentang tes ini. Waktu saya daftar syarat2nya ada laptop yang punya webcam dan mic. Sistem operasinya harus windows, mereka belum support Mac. Ada akses internet, perlu kuota 2 GB, speed 2 MBps, . Punya whatsapp. Punya Cermin, dan papan tulis kecil atau plastik mika yang bisa dihapus untuk corat-coret.
  3. Terus klo udah cocok klik tombol Daftar Jadwal ini di web REI Education Consultant
  4. Di web REI ini tar pilih lagi jadwalnya terus akan diarahkan ke sebuah form
  5. Di Form ini diminta masukin alamat email, upload bukti transfer, foto selfie, identitas kayak nama, nik, alamat, ttl, no whatsapp sama upload scan scan KTP.
  6. Trus cek email tar dapet akun buat login ke sistemnya dan notifikasi pendaftaran telah berhasil.
  7. Waktu itu biayanya sekitar 500 ribu udah sekalian ongkos kirim sertifikatnya.

Persiapan

  1. Menjelang hari ujian saya dapat email dari UUO bappenas tentang petunjuk teknis ujian. Waktu itu saya daftar ujiannya hari sabtu, batas akhir pendaftaran hari rabu, nah hari kamisnya saya dapet email dari UUO bappenas.
  2. Di email itu ada info tentang cara instalasi perangkat. Jadi ujiannya tuh pake SEB (Safe Exam Browser) dan Zoom. SEB ini browser khusus buat ujian, jadi klo dah buka browser ini, kita cuman bisa terhubung ke aplikasi buat ujian, dan gak bisa buka aplikasi lainnya. SEB ini perlu browser firefox. Jadi tar diminta install Firefox dulu, trus unduh file konfigurasi SEB.
  3. Zoom yang dipake juga beda. Jadi walaupun kita udah punya Zoom, tetep musti install zoom dari sana.
  4. Terus ada info tentang Tes TPA, tesnya dibagi 3 kategori, verbal, numerik dan Penalaran. Verbal ada 90 soal dengan waktu 60 menit. Numerik juga 90 soal selama 60 menit. Penalaran 70 soal selama 60 menit.
  5. Ada tautan juga yang berinsi info tentang tutorial penggunakan aplikasinya
  6. Dan satu lagi diminta join ke grup WA khusus peserta dan panitia ujian tes tersebut.
  7. Instalasinya gak ribet sebenernya. Tinggal ngikutin petunjuk yang diberikan. Kalo bingung bisa nanya juga di grup WA.
  8. Kalo instalasinya berhasil kita bisa nyoba ikut simulasi tes. Jadi tar kita bisa nyoba ikut simulasi tes, ada beberapa soal yang diberikan ada timernya juga.
  9. Trus jangan lupa setting cermin. Cermin ini mereka mintanya cermin yang gede, ukuran setengah badan. Cermin ini ditaro dibelakang/atau samping kita. Cermin ini tar harus disetting supaya panitia bisa ngeliat layar laptop kita. Jadi bisa coba buka zoom, terus cerminnya disetting biar bisa keliatan layar laptop kita di cermin tersebut.
  10. Untuk corat-coret gak boleh pake kertas, jadi pilihannya bisa pake whiteboard kecil yang bisa dihapus, atau map mika plastik yang bisa dihapus juga. Tentunya dengan spidol non-permanent.
  11. Trus setting ruangan diminta klo bisa dikamar, yang kita sendirian, alias gak ada orang lain yang bantuin kita.

Hari-H Ujian

  1. Di email saya dapet jadwal ujian jam 7.30. Dan diminta jam 7 udah beres semua instalasi.
  2. Jadi jam 7 saya coba hidupkan aplikasinya dan konek ke zoom. Oiya link zoom dishare di grup WA pas hari H.
  3. Join zoom harus pake no peserta kita
  4. sekitar Jam 7.45-an ada semacam penjelasan dari panitia tentang pelaksanaan tes, setelah itu saya dimasukan ke break room zoom
  5. Masing-masing break room ada 1 pengawas. Sekitar jam 8, di room itu semua peserta diabsen satu2 sama pengawas. Diminta nunjukin ktp juga, oiya kamera harus on terus. Terus setiap peserta diminta ngeliatan kondisi ruangan dan mejanya. Jadi laptopnya diputer 360 derajat, kayaknya buat mastiin gak ada orang lain. Trus meja juga dicek ada contekan apa gak. Cermin juga diminta diatur lagi biar pengawas bisa ngeliat layar laptop kita.
  6. Sekitar jam 8.30 baru mulai ujian.
  7. Ujiannya kan dibagi 3, untuk masuk ke masing2 ujian tuh ada kode yang harus diinputkan ke aplikasi. Kode ini dishare pengawas di zoom.
  8. Walaupun pelaksanaan masing-masing ujian itu 60 menit, tapi klo kita udah beres di satu ujian, bisa langsung pindah ke ujian berikutnya, tinggal minta kode ujiannya ke pengawas.
  9. Klo udah beres semua ujian, musti lapor ke pengawas, trus tar sama dia kita dibalikin lagi ke room utama.
  10. Di room utama tar diminta ngapus semua coret2 yang di whiteboard atau plastik mika. Trus diminta tunjukin whiteboardnya ke panitia. Kalo udah ok bisa leave.

Hasil ujian

  1. Abis ujian, panitianya ngumumin hasil ujian keluar 3 hari kerja setelah ujian, kalo gak ada kecurangan. Saya waktu itu ujiannya Sabtu, hari Rabu berikutnya udah diemail nilai ujiannya.
  2. Scan sertifikatnya dikirim ke email hari berikutnya, hari kamis.
  3. Terus sertifikatnya dikirim ke alamat yang kita daftarin. Waktu itu saya nerima sertifikatnya sekitar seminggu setelah ujian.

Tentang ujiannya, soalnya banyak banget dan susah menurut saya, mana waktunya juga cepet banget. Pas bagian ngitung2 kayaknya saya cuman berhasil ngeberesin setengah dari semua soalnya. Sisanya nembak :) Karena menurut panitia gak ada nilai minus. Yang pas bagian penalaran juga lumayan banyak yg nembak. Intinya saya kurang persiapan untuk ujian TPA kali ini. Paling malamnya cuman sempet nonton bentar video2 TKDA . Soalnya gak jauh beda emang sama TKDA, cuman lebih banyak. Tapi alhamdulillah nilanya mencukupi :) Trus jangan lupa koneksi internet musti stabil, karena koneksi saya sempet agak lemot, trus sempet putus. Untungnya langsung cepet nyambung lagi dan bisa lanjut ujian lagi. Ok sampai disini dulu, semoga bermanfaat!

Sejarah Islam – Karen Armstrong -2

Saya lanjutkan kronologi sejarah Islam menurut buku Karen Armstrong – Islam A brief History. Pada bagian 1, telah ditulis sejarah dari turunnya Al-Quran hingga wafatnya Ali. Sekarang dilanjutkan dengan kekhalifaan Muawiyah.

661-680 M : Kekhalifahan Muawiyah I. Muawiyah bin Abu Sofyan mendirikan dinasti Umayyah, beliau memindahkan pusat pemerintahan dari Madinah ke Damaskus

669 M: Hasan Bin Ali meninggal di Madinah

680 M: Yazid I menjadi kalifah Umayyah ke 2 setelah ayahnya Muawiyah meninggal

680-692: Fitnah kedua. Perang saudara kembali terjadi

680 : Muslim di Kufah yang menyebut dirinya Shiah- Ali (pendukung Ali) mengangkat Husain putra kedua Ali bin Abi Thalib sebagai kalifah. Husaih berangkat dari Madinah ke Kufah dengan sedikit tentara dan dibunuh di Kerbala oleh pasukan Yazid. Abdullah bin Zubair memberontak terhadap Yazid di Arab

683 M: Yazid I meninggal. Putra Yazid yang masih kecil Muawiyah II meninggal. Marwan I menjadi khalifah, didukung oleh Suriah.

684 M: Pemberontakan Khawarij. Khawarij semakin populer di Irak dan Irak. Munculnya Syiah di Kufah.

685-705: Kekhalifahan Abdul Malik, berhasil mengembalikan kekuasaan Umayyah

691 M: Umayyah mengalahkan pemberontak khawarij dan Syiah. Pembangunan Dome of the rock (Kubah batu) di Yerusalem

692 M: Pasukan Umayah mengalahkan dan membunuh Abdullah bin Zubair. Munculnya gerakan keagamaan di Basrah, Madinah dan Kufah yang mendorong penerapan ajaran Quran yang lebih ketat dalam kehidupan pribadi dan masyarakat

705-717 M; Khalifah Al-Walid; pembebasan Afrika Utara dan Spanyol

717-720 Khalifah Umar bin Abdul Aziz; beliau mendukung gerakan keagamaan untuk kembali ke Quran

720-724: Khalifah Yazid II, pemberontakan khawarij dan Syiah

724-743: Khalifah Hisham I

728: Hasan Basri wafat, ulama perawi hadis

732 M: Perang Tours (Battle of Poitiers) antara bangsa Frank yang dipimpin Charles Martel mengalahkan pasukan Muslim Spanyol yang dipimpin Al-Ghafiqi gubernur Andalusia.

Abu Hanifah memulai studi Fiqih; Muhammad Ibnu Ishaq menulis biografi Rasulullah SAW

743-744: Kelompok Abbasiyah mendukung pemberontakan Syiah terhadap bani Umayyah di Iran

743 M: Khalifah Walid II

744-749 M: Marwan II menaklukan pasukan Syiah dan mengembalikan kekuasaan Umayyah.

749 M: Kelompok Abbasiyah menaklukan Kufah dan mengalahkan bani Umayyah

Sampai disini dulu, nanti insyaallah akan saya lanjutkan pada tulisan berikutnya dengan kekhalifahan Abbassiyah. Semoga Bermanfaat!

Referensi

Buku Karen Armstrong, Islam A brief History:

https://archive.org/details/IslamAShortHistoryKarenArmstrong/

Sejarah Islam – Karen Armstrong

Saya lagi baca buku Karen Armstrong judulnya Islam A short History. Bukunya menarik, didalamnya dia ada nulis sejarah Islam secara kronologis. Dia mulai dari saat Rasulullah SAW pertama nerima wahyu. Berikut ini urutan sejarah islam menurut Karen Armstrong:

610 M : Rasulullah pertama kali menerima wahyu di Mekah, dan mulai dakwah secara terbuka 2 tahun kemudian

616 M : Hubungan antara pengikut Rasulullah dengan para penguasa Mekah semakin memburuk, ada penyiksaan dan posisi Rasulullah semakin terancam

620 M: Masyarakat Arab dari Yathrib mulai bertemu dengan Rasulullah, dan mengundang Rasul untuk memimpin masyarakat Yathrib

622 M: Rasulullah bersama sekitar 70 keluarga muslim hijrah dari Mekah ke Madinah (Yathrib).

624 M : Perang Badar:

625 M: Perang Uhud; Bani Qainuqa dan Bani Nadir diusir dari Madinah

627 M: Perang Khandak; Pengkhianatan Bani Qurayzah

628 M: Perjanjian Hudaibiyah. Banyak suku-suku di Arab yang bergabung dengan Muslim

630 M : Mekah melanggar perjanjian Hudaibiyah. Pembebasan Mekah

632 M: Rasulullah wafat; Abu Bakar diangkat menjadi khalifah

632-634 M: Kekalifahan Abu Bakar. Perang Riddah terhadap suku yang memberontak dan menolak membayar zakat. Abu Bakar berhasil menyatukan kembali suku-suku di arab

634-644 M: Kekalifahan Umar Bin Khattab.

638 M: Pembebasan Yerusalem

641 M: Pasukan Muslim mengalahkan tentara Persia, pembebasan Syria, Palestina dan Mesir. Pembangunan kota-kota di Kufah Basrah dan Fustat untuk pasukan muslim.

644 M: Kalifah Umar dibunuh oleh tahanan perang Persia. Usman Bin Affan terpilih jadi kalifah ketiga

644-650 M: Pembebasan Syprus, Tripoli, Iran, Afganisthan dan Sind (Pakistan)

656 M : Khalifah Usman dibunuh, Ali diangkat menjadi Khalifah

656-660 M: Fitnah pertama, perang saudara

656 M: Perang Jamal: Thalha, Zubair dan Aishah dengan pendukung Ali. Di Siria oposisi dipimpin oleh Muawiyah bin Abu Sofyan

657 M: Usaha perdamaian di Siffin. Ketika usaha perdamaian gagal Muawiyah berontah terhadap Ali dan mendeklarasikan diri sebagai Khalifah di Yerusalem. Khawarij memisahkan diri dari kubu Ali

661 M: Ali dibunuh oleh Khawarij. Pendukung Ali mengangkat Hasan sebagai khalifah berikutnya. Namun Hasan mengadakan perjanjian dengan Muawiyah dan kembali ke Madinah.

Masih banyak kronologi sejarahnya. Insyallah pada tulisan berikutnya saya lanjutkan. Semoga Bermanfaat!

Buku Karen Armstrong – Islam – A Short History bisa diakses pada link berikut:

https://archive.org/details/IslamAShortHistoryKarenArmstrong/

Decision Tree – Overfitting

Saya lanjutkan bahasan tentang Decision Tree . Salah satu kelemahan Decision Tree (DT) adalah Overfitting. Contoh overfitting misalnya pada kasus ada noise (data salah), kemudian dibentuk pohon yang mengakomodasi data ini. Pohon ini cenderung membesar. Jadi tree ini dikatakan terlalu ditune untuk mengakomodasi data training tertentu.

error train (h) adalah error tree pada saat training. Sementara error train (h’) error training pada hipotesis lain. Error pada train misalnya terjadi karena datanya sangat besar dan kompleks. Error d(h) adalah true error (eror pada tes data), misalnya error pada data yang besar sekali.

Untuk mencegah overfitting:

  1. Berhenti ketika split data tidak signifikan secara statistik
  2. Atau terus menumbuhkan pohon kemudian melakukan post pruning, atau dipotong daunnya secara selektif hingga performa tes validasi membaik.

Bagaimana memilih pohon yang baik?

  1. Mengukur performa data training
  2. Mengukur performa menggunakan dataset validasi yang terpisah (banyak digunakan)
  3. Menggunakan MDL (minimum disruption length) atau minimize

     size(tree) + size (misclassification(tree))

Pada metode 2, kita bisa membagi dataset jadi 3, data training, tes dan validasi. Pada saat training diukur performanya secara bertahap, mulai dari 1 simpul 2 simpul dan seterusnya. Pada saat tree mulai terbentuk, kemudian dilakukan pengujian dengan data validasi. Disini diperhatikan grafik perform tree. Biasanya performanya akan meningkat ketika simpul2nya ditambah. Namun akan ada satu titik dimana performanya akan menurut. Nah pada saat inilah terjadi overfitting, dan sebaiknya pada saat ini dihentikan penambahan simpulnya.

Sementara pada teknik MDL diukur ukuran tree dan ukuran kesalahan klasifikasinya (misclassification). Pada MDL ini dicari ukuran tree yang kecil namun kesalahannya juga kecil. Titik ini yang disebut optimal. Karena bisa saja ukuran tree nya membesar dan error nya mengecil.

Teknik lainnya adalah Pruning (reduced-error pruning). Disini pohon ditumbuhkan dulu sampai penuh. Teknik ini menggunakan data validasi juga. Kemudian dilakukan pemotongan simpul, kemudian diuji performanya dengan data validasi. Bila performanya meningkat, kemudian lakukan lagi pemotongan simpul berikutnya dan diuji lagi performanya dengan data validasi. Proses ini dilakukan berulang-ulang hingga didapat nilai performa yang terbaik dengan tree terkecil. Metode pruning ini bisa meningkatkan performa pada data tes.

Bagaimana bila datanya sedikit? bisa digunakan juga metode cross-validation.

Sampai disini dulu. Semoga Bermanfaat!

Wolfram – New Kind of Science

Hari ini saya baru baca buku Stephen Wolfram – New Kind of Science. Wolfram ini ahli fisika, komputer dan matematika. Jadi dia berkesimpulan bahwa perkembangan komputer dan pemrograman ini didukung oleh perkembangan matematika. Namun pada kenyataannya di dunia banyak hal yang terlalu kompleks untuk dijelaskan dengan rumus matematika. Misalnya bentuk pohon, bagaimana kita bisa menjelaskan bermacam-macam bentuk pohon dengan rumus matematika yang ada. Atau bentuk kristal salju yang bermacam-macam. Komputer bisa saja membuat program untuk menghitung bentuk pohon maupun kristal salju. Namun membutuhkan algoritma pemrograman yang panjang dan kompleks.

Dia mengusulkan perlu pendekatan baru untuk menjelaskan berbagai hal kompleks tersebut. Caranya dengan membuat sebuah program sederhana yang kemudian bisa berkembang menghasilkan berbagai bentuk yang kompleks. Menurut dia penemuan ini bisa membuat revolusi baru dalam ilmu fisika, kimia, biologi dan bidang lainnya.

Contohnya adalah dia menggunakan celular automata yang dia sebut untuk mengembangkan bentuk yang sangat kompleks seperti pada gambar berikut:

Bukunya bisa diakses secara daring pada tautan berikut:

https://www.wolframscience.com/nks/

Sedikit penjelasan tentang buku ini bisa dilihat disini:

https://writings.stephenwolfram.com/2017/05/a-new-kind-of-science-a-15-year-view/

https://en.wikipedia.org/wiki/A_New_Kind_of_Science

Tentang Stephen Wolfram:

https://en.wikipedia.org/wiki/Stephen_Wolfram

Video penjelasan wolfram tentang teorinya bisa dilihat disini:

Video kuliah umumnya di kampus university of california bisa dilihat disini:

Decision Tree-2

Saya lanjutkan pembahasan tentang Decision Tree (DT). Tahapan yang dilakukan adalah dari dataset yang telah memiliki label dilakukan training yang menghasilkan model classifier. Model ini kemudian digunakan untuk melakukan prediksi terhadap instance yang belum memiliki label.

Beberapa pertimbangan kapan menggunakan algoritma DT:

  • Instance dapat dideskripsikan sebagai pasangan atribut dan nilai
  • Fungsi target memiliki nilai diskret
  • Diperlukan Hipotesisnya yang disjunctive (tidak banyak keterhubungan)
  • Bila training datanya ada noise atau ada data yang hilang

Contoh

Diagnosa medis, diagnosa alat, analisa resiko kredit, pemodelan kecenderungan penjadwalan

Algoritma DT untuk memilih main loop

  1. Pilih A: Atribut terbaik yang jadi node
  2. Tentukan A sebagai atribut decision pada node
  3. Pada setiap nilai A, buat turunan (descendant) dari node
  4. Urutkan contoh data training ke daun (leaf node)
  5. Bila contoh data training sudah terklasifikasi dengan baik, maka berhenti, bila belum ulangi lagi dengan node daun baru

Maksud terklasifikasi dengan baik, misalnya datanya tidak tercampur yang positif dengan negatif (homogen)

Nilai atribut akan digunakan utnuk memilah-milah dataset. Bagaimana cara untuk memilih atribut terbaik? Beberapa caranya adalah:

  1. Random: pilih atribut secara acak
  2. Least value: Atribut dengan memiliki kemungkinan nilai yang paling sedikit
  3. Most Value: atribut yang memiliki kemungkinan nilai paling banyak
  4. Max Gain: atribut yang memiliki information gain terbesar

Metode pemilihan dengan max Gain adalah yang banyak digunakan contohnya algoritma ID3.

Idealnya atribut yang baik dapat langsung memisahkan sampel menjadi menjadi bagian yang semuanya positif dan semuanya negatif (homogen). Pohon diusahakan seringkas mungkin tapi mampu mengklasifikasikan dataset dengan baik.

Entropi adalah mengukur tingkat ketidakmurnian dalam satu grup. Rumusnya adalah:

dengan S adalah sampel dari data training,

p adalah jumlah sampel positif dalam S

n adalah jumlah sampel negatif dalam S

Rumus umumnya entropi adalah :

Information Gain menjelaskan seberapa penting atribut dari fitur vektor. Rumus Information gain dari X dan Y adalah:

Information Gain adalah mutual information dari atribut A dan variabel target Y.

Gain (S,A) adalah besarnya penurunan (reduksi) entropi setelah sampel dipilah-pilah berdasarkan nilai dari Atribut A tersebut

Atribut yang dipilih adalah yang memiliki nilai Gain paling besar. Kelemahan Information Gain adalah cenderung memilih atribut yang jumlah nilai atributnya lebih banyak dan memotong menjadi subset yang lebih kecil. Untuk mengatasi masalah ini bisa digunakan metode normalisasi dengan Quinlan Gain Ratio.

ID3 melakukan pencarian heuristik pada space hipotesis. Pencarian berhenti pada tree terkecil yang dapat diterima, berdasarkan prinsip occam razor. Occam razor cenderung memilih hipotesis yang sederhana yang bisa menjelaskan fenomena pada data.

Proses pencarian hipotesis

  1. Ruang Hipotesis decision tree lengkap (fungsi target pasti ada)
  2. Hanya memilih satu hipotesis
  3. Proses pencarian hipotesis tidak melakukan backtracking
  4. Proses pencarian hipotesis berbasis statistik (tahan terhadap noise atau labelnya salah)
  5. Algoritma pencarian cenderung untuk mencari pohon yang pendek (inductive bias)

Pohon yang baik adalah pohon yang mampu melakukan generalisasi dengan baik. Backtracking itu balik lagi. Didapatkan lokal optima.

Sampai disini dulu. Semoga Bermanfaat!

Decision Tree

Hari ini saya belajar tentang Decision Tree (DT). DT ini bisa dibilang salah satu algoritma klasik pada machine learning. DT ini memiliki masalah overfitting. Yaitu pada saat training performanya bagus, namun pada saat test performanya jelek. Hal ini bisa jadi karena dia kehilangan kemampuan melakukan generalisasi, karena sangat ditune pada training datanya.

Secara keseluruhan Machine learning adalah studi terhadap algoritma untuk meningkatkan performa P, pada beberapa task T berdasarkan pengalaman E: (P,T,E).

Untuk mendapatkan fungsi yang akan kita pelajari, kita memiliki :

  • sekumpulan instance X (ruang input/dataset),
  • ada fungsi target yang kita tidak ketahui f:X–>Y
  • kumpulan hipotesis H={ h | h : X –> Y} (calon solusi)

Input sistem adalah pasangan

dari tipe fungsi target f

Outputnya adalah hipotesis h yang merupakan bagian dari H, yang paling mendekati fungsi target f

dari slide tom mitchell, machine learning

Contohnya pada gambar diatas kolom-kolomnya (outlook, temperature, humidity dan wind) adalah fitur dari Xi. Baris-barisnya menunjukan instance label <xi, yi>. Label kelasnya pada tabel ini adalah kolom berwarna biru yang menunjukan yes dan no.

Contoh decision tree dari tabel diatas F:<Outlook, Humidity, Wind, Temp> –> play tennis

Setiap internal node menyatakan atribut tes Xi. Node pada gambar diatas berbentuk kotak, yaitu outlook, Humidity, dan wind.

Setiap cabang dari sebuah node menunjukan nilai dari sebuah node Xi. Contoh cabang pada gambar diatas ada sunny, overcast dan rain.

Setiap daun (leaf node) adalah hasil prediksinya (yes dan no) atau bisa disebut juga keputusan.

Ada banyak kemungkinan pohon, namun yang dicari adalah yang optimal, sependek mungkin. Kalau ada atribut yang tidak relevan, bisa saja dia hilang dari pohon DT.

Pohon ini kemudian digunakan untuk prediksi kelas dari sebuah input. Misalnya kita punya input berikut: <outlook=sunny, temperature=hot, humidity=high, wind=weak> . Bila kita masukan input tersebut ke pohon, maka akan mengikuti jalur keputusan outlook=sunny, humidity= high berarti keputusannya adalah playtennis=no. Dari contoh input ini temperature dan wind menjadi atribut yang tidak relevan dan tidak digunakan.

Bila datanya berupa numerik atau kontinyu, digunakan threshold atau ambang batas sebagai fitur. Misalnya untuk humidity high dan normal bisa diganti threshold >75% dan <75%. Atau bisa juga dikatakan data kontinu diubah menjadi data kategorikal. Sampai disini dulu. InsyaAllah besok akan saya lanjutkan dengan bahasan decision tree learning

Referensi:

Mitchell, Tom. “Machine learning.” (1997): 870-877.

Bayes Net

Bayes Net sering disebut sebagai model-model grafik. Ide utamanya adalah menggunakan asumsi conditional independence. Prinsip ini sudah digunakan juga di Naive Bayes (NB). Manfaatnya adalah membuat perhitungan probabilitas menjadi sederhana. Dengan NB kita hanya perlu 2n+1 parameter. Sementara pake Bayes rules dibutuhkan 2^n. Namun asumsi NB ini cukup ekstrem karena menyamaratakan semua conditional independensi dari semua atribut yang terlibat.

Bayesnet sedikit menetralisir permasalahan tersebut. Kalau kita mempunyai pengetahuan tambahan keterkaitan antara satu variabel dengan variabel lainnya, maka bisa dimasukan dalam perhitungan. Sehingga bisa dikatakan Bayesnet berada ditengah antara NB dan Bayes rules. Keterkaitan hubungan ini dibuat dalam bentuk graph. Graph ini menunjukan joint probability distribution dari sekumpulan variabel/nodes.

Ada 2 tipe model graph: yaitu directed graph (yang digunakan pada bayesnet) dan yang undirected graph (tidak terarah seperti markov random fields)

Model Graph ini memasukan pengetahuan kita tentang domain dalam bentuk dependensi atau independensi. Serta mengamati data untuk melakukan estimasi parameter. Model Graphs ini adalah salah satu perkembangan Machine Learning yang penting. Prinsip model graph ini digunakan untuk probabilistic inference dan learning (pembelajaran). Metode ini digunakan pada analisa teks, model time series, diagnosa, sistem bantuan (help system) dll.

X disebut conditional independen terhadap Y|Z bila distribusi probabiliti X tidak bergantung pada Y

P(X|Y,Z)=P(X|Z)

contohnya P(Guntur|Hujan, Kilat)= P(Guntur|Kilat)

X independen secara marginal terhadap Y bila Probabiliti kemunculan X dan Y dinyatakan sebagai perkalian probabiliti X dan Y:

P(X=xi|Y=yj) = P(X=xi)

P(Y=yi|X=xj) = P(Y=yi)

Contoh hubungan joint probability distribution terhadap variabel berikut:

Graph diatas menunjukan hubungan sebab akibat antara variabel misalnya merokok (smoking) menyebabkan kanker paru (Lung Cancer) dan bronkitis. Kemudian tuberkolosis disebabkan oleh kunjungan ke asia dst.

P(X1,X2,X3,X4,X5,X6,X7,X8)=P(X1).P(X2).P(X3|X1).P(X4|X2).P(X5|X2).P(X6|X3,X4).P(X7|X6).P(X8|X5,X6)

Keterhubungan ini tidak ada pada NB, karena asumsi semua variabel adalah conditional independence. Untuk 8 variabel diatas dengan Bayes rules kita membutuhkan perhitungan sebanyak 2^8

Sementara dengan Bayes net kita hanya membutuhkan perhitungan sebanyak: X1,…,X8 –> 2+2+4+4+4+8+4+8=36

Untuk X1 dan X2 hanya perlu 2 probability, contohnya untuk X1 = yes, X1=no ;

Untuk X3 punya 1 parent X1 juga sehingga ada 4 probability yaitu untuk kondisi X1X3: 00, 01,10,11 ;

Untuk X6 punya 2 parent yaitu X3 dan X4 sehingga ada 8 probability untuk kondisi X3X4X6 berikut: 000,001,010, 011, 100,101,110,111

Sampai disini dulu. Insyaallah nanti akan lanjutkan dengan contoh Bayesnet lainnya pada tulisan berikutnya. Semoga Bermanfaat!

Referensi:

Mitchell, Tom. “Machine learning.” (1997): 870-877.

Bayesian Network Learning

Pada tulisan sebelumnya telah dibahas tentang Bayesian Network Learning. Ada 4 kategori. Kali ini akan dibahas tentang kasus pertama yaitu yang graphnya diketahui dan variabelnya juga fully observed.

Contohnya pada kasus berikut:

dari slide tom mitchell

Misalnya Flu dan alergi memiliki kemungkinan menyebabkan penyakit sinus, dan sinus memiliki gejala pusing (headache) dan hidung meler (running nose). Maka probability sinus dapat ditulis sebagai berikut:

dari slide tim mitchell

dengan S= 1 adalah probabilitas sinus given F=i adalah probabilitas Flu bernilai i dan A=j adalah probabilitas alergi bernilai j. Kalau i & j boolean bisa bernilai 0 & 1. Nilai maksimum likelihood estimatenya (MLE) adalah:

dari slide tom mitchell

dengan k adalah jumlah data training, delta = 1 jika kondisi terpenuhi, dan 0 jika tidak terpenuhi. Delta terpenuhi bila nilai fk=i, nilai ak=j dan nilai Sk=1, dibagi dengan jumlah data. Rumus Maximum likehood estimate:

MLE untuk kasus sinus adalah:

Nah untuk kasus ini, yaitu graphnya diketahui dan nilai variabelnya fully observed, maka perhitungan masih mudah, yaitu menggunakan MLE seperti pada rumus diatas. Selanjutnya bagaimana bila nilai variabelnya ada yang tidak diketahui?

Misalnya untuk kasus diatas, Flu, Allergy, Headache dan Nose diketahui. Namun nilai Sinus tidak diketahui. Maka perhitungan MLE tidak bisa dilakukan. Terus bagaimana perhitungan untuk kasus in? Insyaallah saya akan bahas pada tulisan berikutnya. Semoga Bermanfaat!

Referensi

Klik untuk mengakses GrMod3_10_18_2011.pdf