Presenter berikutnya adalah Alborz Geramifard tentang Cairaokee – personal asisten yang cerdas.
Cairokee ini model convAI (conversational AI) yang dibangun dengan 4 teknologi dasar, Natural language understanding (BART), Dialog state tracking, Dialog policy management (blender bot) dan natural language generation (GPT-2).
Menurut Alborz, personal asisten masa depan itu ditanam di Smart glasses, dia bisa ngelihat apa yang kita lihat, bisa denger juga, dan bisa memahami konteks dan situasi kita berada. Personel asisten harus bisa mengenali perbedaan situasi, ketika kita sedang berada di meeting, lagi di gym atau di rumah. Terus bisa berinteraksi dengan kita menggunakan suara. Selain itu bisa memahami gesture dan ekspresi.
Saat ini voice personal asisten bisa dibagi 3:
Yang level 1 (painful) kayak pas kita nelpon customer service, kalo mau menghubungi siapa tekan 1, kalau mau apa tekan 2 dst. Dia menyediakan berbagai macam pilihan.
Level 2 (mechanical): ini kayak yang kita gunakan di rumah. Dia bisa berinteraksi tapi tidak bisa memahami konteks yang berbeda.
Level 3 (supercharged): ini bisa di personalisasi, bisa memahami misalnya warna favorit kita.
Ada berbagai macam teknologi yang dibutuhkan untuk membangun personal asisten. Yang pertama untuk understanding. AI membangun sistem yang menerjemahkan input menjadi output, contohnya kita memberi perintah “bangunkan saya dalam 2 jam”, AI berusaha membuat transkrip perintah suara tersebut menjadi teks, kemudian membuat alarm yang akan membangunkan kita dalam 2 jam lagi.
atau contoh lain adalah mengenali tulisan tangan.
Teknologi lainnya adalah interaction. James meminta sistem personal asistennya untuk mengirimkan pesan ke temannya nick, bahwa dia bakalan telat 5 menit. Terus dia nanya ke asistennya, kira2 berapa lama dia nyampe kesana? kata asistennya 10 menit. Terus james minta untuk pesannya yang tadi diganti jadi 10 ment.
Interaction jauh lebih sulit dibandingkan understanding, karena membutuhkan sequential decision making. Namun pada prakteknya ternyata interaksi jauh lebih mudah dibandingkan understanding. Dan umumnya teknologi yang ada masih mengandalkan engineering (programming) dibandingkan AI. Contohnya pada gambar berikut:
Bagian hitam adalah engineering. Cairokee berusaha membuat semua sistemnya menggunakan AI, seperti bagan berikut:
Cairokee diharapkan dapat berinteraksi dengan kita dan melakukan berbagai kemampuan seperti pada bagan berikut:
Contoh lain, James ingin mengirim pesan ke patrick, bilang dia udah nyampe. Personal Asisten mencari nama patrick di address book, dan mengirimkan pesan ke patrick beserta lokasi james. Kemudian james tertarik dengan sebuah makanan, dia menanyakan ini makanan apa? asistennya mencari di di internet makanan yang sedang dilihat james apa, kemudian menampilkan infonya. Namun james ingin makan seafood, maka asistennya mencari dimana makanan seafood terdekat.
Model cairokee dibangun dengan BART, yaitu model NLP dengan self supervised, sistem ini kemudian berinteraksi dengan berbagai API dan berinteraksi dengan user.
Alborz menampilkan contoh sistem personal asisten yang bisa membantu kita masak makanan seperti resep yang disukai ibu kita, menggunakan smart glasses. Sampai disini dulu, besok insyaallah saya lanjutkan dengan sesi berikutnya dari webinar inside the lab.
Videonya bisa dilihat disini: