Sesi berikutnya adalah diskusi antara Lex Fridman, Yoshua Bengio dan Yann Lecunn tentang human level intelligence.
Menurut yoshua, AI saat ini masih jauh dari level kecerdasan manusia. Dia cerita tentang beberapa task, yang manusia sangat mudah memahami, namun mesin sulit untuk memahami. Contohnya kemampuan untuk melakukan generalisasi sebuah task baru atau situasi baru. Otak kita memiliki kemampuan proses conscious (alam sadar), preferences, bias induktif dll. Kemampuan ini yang harus kita kembangkan dalam neural network. Pengetahuan dapat dibagi menjadi modular, dengan bagian komunikasi dapat digunakan untuk menyelesaikan masalah, dapat berkomunikasi dengen bottleneck komunikasi. Proses komunikasi dengan stokastik hard attention, serta bagaimana otak kita memilih, Proses ini mempengaruhi pilihan yang kita ambil, bagaimana kita berinteksi dengan dunia, bagaimana melakukan tindakan (intervensi), bagaimana kita memahami atau menjelaskan apa yang kita lihat. Hal ini yang sedang coba dilakukan dengan deep learning.
Yoshua kemudian bercerita tentang berbagai istilah seperti Out of distribution,modular, composing pieces together. Dia kemudian menjelaskan tentang out of distribution, maksudnya AI yang ditraining pada dataset tertentu, tapi kemudian diuji pada kondisi yang berbeda. Kemampuan ini yang dapat dilakukan manusia dengan mudah. Misalnya kita belajar nyetir mobil di amerika (setir kanan), kemudian kita diminta nyetir mobil di inggris (setir kiri), maka otak kita memiliki kemampuan cepat untuk belajar dan menyesuaikan dengan kondisi yang berbeda. Padahal situasinya berbeda, cara nyetirnya berbeda, yang satu setir kanan, yang satunya kiri. Otak kita menggunakan pengetahuan yang sudah ada, kemudian beradaptasi dengan kondisi yang berbeda. Menurut yosha walaupun nyetir di amerika dan inggris berbeda, tapi tetap ada pengetahuan yang sama yang bisa digunakan oleh otak kita untuk menyesuaikan pada aturan berkendara yang berbeda di inggris. Hal ini yang coba ditiru dengan transfer learning.
Yann kemudian cerita tentang berbagai manusia dan binatang bisa belajar sesuatu jauh lebih cepat dibandingkan AI. Manusia bisa belajar dengan beberapa kali percobaan (trial and eror), belajar dari beberapa contoh dst. Apa kemampuan belajar yang dimiliki manusia yang belum bisa dilakukan oleh AI? Kenapa orang bisa belajar nyetir hanya dalam beberapa jam? sementara mesin membutuhkan jutaan jam, untuk mencapai tingkat keandalan tinggi. Menurut yann, manusia memiliki kemampuan untuk memahami bagaimana dunia bekerja (world model). Misalnya bagaimana orang mengenal aturan fisika yang mengatur benda di bumi. Sementara sistem AI harus mempelajarinya lebih lama, dan melakukan training ribuan kali untuk dapat memahami. Manusia belajar hanya dari mengamati, dan membentuk model tentang dunia, misalnya benda ini diam, benda ini bergerak, kemudian bergeraknya seperti apa, dunia 3 dimensi, dst. Ini yang disebut seperti common sense (akal sehat). Yoshua menambahkan world model ini harus terstruktur, seperti diotak, kemampuan dibagi menjadi bagian2 kecil independen, yang dapat digunakan kapan saja termasuk pada kasus out of distribution.
Apa paradigma learning yang dilakukan, dan arsitektur apa yang akan digunakan untuk mencapai human intelligence?
Menurut yann, konsep learning yang digunakan akan mirip dengan deep learning menggunakan gradient based. Paradigma yang diusulkan yann adalah self-supervised learning (SSL). Misalnya kita belajar dari pengetahuan yang dapat diamati, serta pengetahuan yang tidak dapat diamati. Misalnya inputnya terhalang atau tidak diamati, atau obyek yang diamati saat ini dan dari pengetahuan sebelumnya, kemudian kita mencoba membuat model dan melakukan prediksi. Bagaimana kita menangani ketidakpastian dalam prediksi, bagaimana abstraksi tentang sistem yang kita buat. Menurut yann, kita memiliki common sense, yang merupakan gabungan dari berbagai sistem kecerdasan. Common sense juga memahami ada constraint atau batasan apa dalam hukum fisika. Model SSL apa yang bisa digunakan? Menurut Yann, sistemnya akan berbeda dengan model SSL yang ada saat ini. Misalnya model saat ini bisa bila kita mempunyai potongan video, kita bisa memprediksi apa yang akan terjadi kemudian. Tapi SSL yang lebih pada level tinggi, yang bisa membuat abstraksi dan representasi dari dunia. Abstraksi ini bisa didapatkan dari pengetahuan kita tentang fisika, dll.
Menurut yoshua otak kita melibatkan pilihan diskrit dari beberapa alternatif, ini mirip dengan teori diskrit attention. Ini berbeda dengan end-to-end learning. Perlu ada modul dan ada komunikasi antar modul. Yoshua mengusulkan gabungan dari sistem kecerdasan yang dibagi menjadi beberapa modul, dan sistem kecerdasan end-to-end learning yang dia sebut global workspace theory. Yann menambahkan, selain world model harus memiliki multiple modul, tapi tidak perlu multiple modul dalam hirarki. Tapi world modul butuh ada cost modul. Modul ini yang digunakan untuk mempertimbangkan biaya (cost) dan menghitung cost yang optimal, atau plus minus dari langkah apa yang kita ambil. Ada yang disebut sebagai hard-wired cost seperti komputasi, perlu ada short-term memori, (hippocampus) kemudian perlu modul lagi yang mempertimbangkan urutan aksi apa yang harus diambil untuk melakukan optimasi cost. Struktur model ini mungkin tidak banyak berbeda, namun perlu ada sebuah arsitektur makro yang mengatur model-model ini.
Menurut Yoshua, modularity dapat membantu membuat abstraksi yang benar. Dia cerita tentang sistem enkapsulasi dalam programing, dimana kita membagi kode menjadi modul2 independen kecil, dimana modul2 itu harus saling berkomunikasi melalui argument dan return values. Informasi apa yang dihasilkan bila komunikasi dibatasi adalah abstrak dimana informasi minimal yang dibutuhkan agar sistem dapat berjalan. Detil tentang bagaimana sebuah fungsi itu bekerja disimpan dalam modul, tapi bottle neck komunikasi memaksa dibuatnya konsep abstrak yang dikirim antara modul. Contohnya bagaimana evolusi membuat batasan pada ukuran otak manusia dan hewan, seperti ukuran memori pada hewan ada yang kecil, padahal ukuran otak besar menurut yosua batasan ini timbul tekanan proses evolusi. Menurut yoshua constraint ini adalah fitur bukan bug, memaksa dibuatnya abstraksi.
Apa sumber consciousness dari orang otak yang bisa dipelajari oleh AI?
Yoshua cerita ada banyak teori tentang conscius, kalo kita belajar dari otak maka teori global workspace dengan ide bottleneck adalah salah satu bagian penting. Walaupun ada bagian yang kurang, tapi kalo kita lihat teori neurosmind, ada teori baru yang membantu memahami ilusi tentang conscious. Kemudian cerita tentang attention scheme theory dari graziano, ada modul attention dalam otak kita, yang mengatur dimana kita menempatkan perhatian (attention), dimana kita akan menempatkan perhatian, seperti mini modul dari cortex, seperti homoculus yang dapat merancang sequence pilihan attention yang kita ambil, seperti cartesian biologi yang kita rasakan tapi sebenarnya hanya efek samping dari arsitektur attention ini.
Yann cerita tentang world model yang kita gunakan adalah model yang sesuai dengan task yang akan kita selesaikan. Menurut yann kita hanya bisa melakukan satu task pada sebuah waktu. Kemudian ada juga tentang persepsi, dan modul konfigurator, yang membentuk ilusi dari consciousnes. Semacam meta observer yang mengatur attention otak kita. Yann cerita juga ketika kita fokus pada satu hal, kita terlihat seperti mengabaikan (buta) pada hal lain yang ada di depan kita. Menurut yann consciousnes ini dibentuk bukan oleh fakta bahwa otak kita cerdas, namun justru oleh fakta bahwa otak kita terbatas. Bila otak kita memiliki kecerdasan tak terbatas, maka kita gak perlu konfigurator, yang mengatur task mana yang kita kerjakan.
Yoshua cerita tentang attention blindness yaitu ketika kita fokus pada satu hal, kemudian seolah2 kita abaikan hal lain yang sedang terjadi. Menurut yoshua sebenarnya bagian otak kita melihat juga hal yang kita abaikan tersebut, dan bisa juga melakukan tindakan.
Lex menanyakan perubahan apa yang mereka pelajari setelah mengembangkan deep learning pada awal tahun 90an?
Yann kemudian bercerita proses learning, representasi, hirarki arsitektur, yang kemudian diterjemahkan oleh mereka jadi neural network, deep learning. Kemudian tentang persepsi karena mahluk intelegen dapat mengestimasi kondisi lingkungan. Dia kemudian mempelajari deep learning, dan sekarang self supervised learning. Yoshua dan hinton pada awal tahun 2000an sudah berdiskusi tentang bagaimana manusia belajar. Tidak hanya belajar tentang membuat representasi pengetahuan dan dunia tapi juga prediksi, merencanakan, reasoning dll.
Yoshua pada awal tahun 90an, fokus pada bagian kecil dari machine learning. Saat ini dia merasa sudah mendapat gambaran besar tentang AI, berasal dari pengetahuan dia tentang cara otak bekerja, dan pengetahuan mereka tentang deep learning.
Yoshua memberi saran untuk mahasiswa yang ingin terjun di bidang machine learning, untuk tidak hanya membaca paper, mengambil ide yang ada kemudian mencoba menerjemahkannya ke dalam hal teknis, dan mencoba menggalahkan hasil benchmark yang sudah ada. Tapi juga selalu bertanya mengapa? dan mencoba memahami lebih dalam sebuah masalah dan metoda, dan mencari jalan keluarnya.
Yann cerita dulu ketika mereka masih mempelajari neural network, tidak banyak orang yang meneliti tentang hal ini. Dan mereka bisa fokus untuk mengembangkan tentang neural network. Namun sekarang banyak peneliti yang tertarik tentang neural network. Yann menyarankan mencari balance antara proyek riset yang ambisius untuk menemukan inovasi yang baru, dengan riset yang lebih kecil yang menggabungkan ide yang ada ke domain baru.
Menurut yann kedepannya AI akan membantu manusia menjadi lebih produktif, lebih kreatif. Menurut yoshua, augmentasi akan membantu kita menemukan inovasi science dan riset lebih baik. Contohnya kita bisa lebih memahami bagaimana kenker bekerja, sel bekerja dll. Kita membuat tools yang bisa membantu inovasi lebih baik. Menurut yann, membuat model terhadap hal yang kompleks, seperti cuaca, material, penyimpanan energi, produksi hidrogen, kontrol plasma, reaktor dll akan membantu memecahkan berbagai permasalahan. Melakukan analisa data dengan AI dan machine learning akan membantu perkembangan teknologi. Yoshua menambahkan ada banyak hal yang selama ini hanya dapat dipahami oleh otak secara mudah, namun sulit untuk dijelaskan. Kita kemudian dapat menggunakan AI untuk membuat model, representasi dan menjelaskan hal-hal tersebut.
Sampai disini dulu, besok insyaallah saya lanjutkan dengan presenter berikutnya.
Videonya bisa dilihat disini: