OpenVINO – optimasi model Deep Learning

Kemaren saya ikut webinar yang diadakan oleh FAST Germany dan Intel. Di acara itu mereke mengenalkan tools OpenVINO, tools untuk optimasi model deep learning. Pembicaranya ada Say Chuan Tan dari Intel Malaysia, Razvan Bresug dari Intel Germany dan Stefanus Palapa dari Fast Germany.

Jadi Intel ngembangin tools namanya OpenVINO (Open Visual Inference and Neural Network Optimization). Tools ini open source, fungsinya untuk optimasi model Deep Learning pada Intel Hardware. Tools ini ada tersedia untuk Windows, Linux, Mac. Dia bisa dipake untuk berbagai hardware Intel, kayak CPU, GPU, VPU dan FPGAs. VPU ini kayak USB tapi isinya prosessor.

Jadi model Deep Learning kan biasanya berat dan butuh komputasi tinggi, OpenVINO bisa mempercepat proses komputasi model Deep Learning pada hardware Intel. Contohnya pada gambar dibawah, say chuan nampilin hasil optimasinya.

Misalnya model Deep Learning tanpa optimasi berjalan dengan kecepatan 0,18 detik/request. Setelah dioptimasi pake OpenVINO, model yang sama dijalankan di CPU bisa dijalankan dengan kecepatan 0,15 detik/request. Sementara kalo pake GPU kecepatannya jadi 0,066 detik/request.

Model Deep Learning yang mau dioptimasi didevelop dan ditraining dulu dengan platform lain. Terus pas deploynya baru dioptimasi pake Openvino. Platform yang disupport sama OpenVino diantaranya TensorFlow, Caffe, Pytorch, mxnet, Keras dan Onnx. Jadi klo pake OpenVINO ini model deep learning bisa dipasang di IoT dan perangkat edge lainnya.

Mereka nyediain juga model Zoo, ini tuh kumpulan model yang udah dibangun dan siap pake. Ada macem2 task misalnya Human Pose estimation, Instance Segmentation, Text Detection, dll

Pas bagian demo Razvan nunjukin, proyek yang mereka kembangin buat sebuah kampus di Swis. Kampus di Swis ini dia selama pandemi kan ujian dilakukan online, jadi mereka pengen ada sistem yang bisa mendeteksi kalo siswanya curang pas lagi ujian. Yang dideteksi itu suara, jadi kalo ada suara orang yang ngebisikin jawaban, atau siswanya nanya ke orang lain, sistemnya bisa mengenali. Selain itu sistem ini bisa mendeteksi juga gerakan mata dan kepala siswa. Misalnya siswanya ngelirik ke kanan, mungkin ada contekan disebelah kanan dst. Seru menurut saya persentasinya, mereka share beberapa link tentang openVINO berikut ini: