Paper Title: Exploting Adversarial Examples in Malware Detection
Authors: Octavian Suciu, Scott E.Coull, Jeffrey Johns
Venue: IEEE Security and Privacy Workshops 2019 , US
URL: https://www.computer.org/csdl/proceedings-article/spw/2019/350800a008/1dx8zJ2NowE
Problem:CNN telah digunakan pada deteksi malware. Namun teknik deteksi ini dapat dikelabui oleh pembuat malware menggunakan teknik adversarial. Paper ini mempelajari tentang teknik adversarial malware yang digunakan untuk mengelabui sistem deteksi malware yang menggunakan CNN.
Contribution:
1. Mempelajari teknik adversarial yang ada saat ini dan apa saja batasannya.
2. Mengungkapkan kelemahan arsitektur deteksi malware berbasis CNN menghadapi serangan append-based (Kolosnjaji et.al 2018)
3. Mengusulkan serangan baru yang lebih efektif daripada serangan append-based
Method/solution
Melakukan training pada dataset 12,5 juta binary, dan menguji serangan adversarial malware. Dataset ini didapat dari 16,3 juta binary file yang dikumpulkan dari VirustTotal, Reversing Labs dan FireEye. Untuk pengujian digunakan 3,8 juta samples. Dari dataset tersebut terdapat 2,2 juta malware pada training dan 1,2 juta pada pengujian.
Pengujian dilakukan menggunakan model CNN Malconv (Raff et.al 2017). Pengujuan menggunakan Random Append, Gradient Append, Benign Append, FGM append dan Slack FGM
Main result
Akurasi 0,89 dan AUC (area under ROC Curve) 0,97. Serangan Random Append tidak berhasil mengelabui deteksi malware. Serangan Benign Append sedikit lebih baik dari Random Append. FGM append memiliki nilai keberhasilan paling tinggi. Serangan FGM append membutuhkan modifikasi jumlah byte yang besar. Model Malconv rentan terhadap serangan FGM append. Serangan Slack FGM memiliki hasil yang serupa dengan FGM tanpa harus melakukan modifikasi byte yang besar.
Limitation:
- Terjadi overfitting pada pengujian dengan dataset kecil
- Pengujian hanya dilakukan pada model deteksi malware Malconv
- Adversarial malware yang diujikan terbatas
Implementasi CNN pada malware detection: Raff et al. 2017; Krcˇa ́l et al. 2018
Evasion malware detection: Biggio et al. 2013 ; sampel dimodifikasi oleh penyerang sehingga classifier menghasilkan klasifikasi yang salah.
State-of-the art attack pada image classifier: Szegedy et al. 2013; Goodfellow, Shlens, and Szegedy 2014; Papernot et al. 2017; Carlini and Wagner 2017 ; penyerang menambahkan gangguan pada input pixel, yang menyebabkan terjadinya large shifting pada klassifier feature space, yang menggeser hasil klasifikasi ke decision boundary. Penyerang tidak merubah semantik dari gambar, sehingga gambar masih terlihat sama.
Pada adversarial malware, terdapat tantangan domain spesifik berikut untuk menerapkan teknik adversarial pada image classifier. Yaitu:
- Pembatasan semantik yang ketat pada file binary, menyebabkan penambahan gangguan pada input space. Karena ada ketergantungan struktural antara bytes yang berdekatan, merubah sebuah nilai byte dapat merusak fungsi dari binary tersebut
- Keterbatasan dataset maupun model publik membatasi riset. Serangan yang ada (Kolosnjaji et.al, 2018) menggunakan model yang dilatih dengan dataset yang kecil dan menghindari masalah semantik dengan menambahkan noise pada akhir binary
Background
CNN populer pada computer vision, seperti image classification (He et.al 2016). Yang diikuti dengan implementasi pada text classification dari fitur character level (Zhang, Zhao dan LeCun 2015). Ternyata text classification memiliki kemiripan dengan masalah klasifikasi malware. Sebuah dokumen natural language direpresentasikan sebagai sebuah urutan karakter dan CNN diaplikasikan pada sebuah strem 1 dimensi karakter.
CNN mampu mempelajari fitur kompleks secara otomatis, seperti urutan kata ke kata, dengan melakukan observasi komposisi dari raw signal yang diekstrak dari sebuah karakter. Pendekatan ini juga menghindarkan kebutuhan untuk mendefinisikan rule semantik bahasa, dan masih dapat menangani anomali pada fitur, seperti word mispelling (typo).
Sistem mengkode setiap karakter menjadi sebuah vector embedding yang fix. Urutan embedding ini kemudian menjadi input pada sebuah set layer konvolusi, yang digabungkan dengan layer pooling, kemudian diikuti dengan layer yang fully-connected. Layer konvolusi bertindak sebagai receptor, memilih fitur tertentu dari input, sementara pooling layer bertindak sebagai filter untuk melakukan down sample dari feature space. Layer yang fully connected bertindak sebagai sebuah klasifier non-linear pada sebuah representasi feature instance.
Klasifikasi malware dengan CNN telah diteliti oleh Raff et al. 2017; Krcal et al. 2018. Seperti text, sebuah file dapat dijadikan sebagai sebuah urutan bytes yang diatur menjadi higher-level feature, seperti instruksi ataupun functions. Dengan CNN classifier akan mempelajari feature secara otomatis. Manual feature engineering memunculkan perlombaan antara analis malware dan penulis malware (Ugarte-Pedrero et al. 2015).
Dataset
Rasio Malware dan goodware dirancang mendekati kondisi riil. Dataset dibuat dari 33 juta sampel yang diperolehdari teknik sampling berlapis berbasis dari algorirma clustering vhash dari Virustotal, yang menggunakan fitur statis dan dynamis dari binary. Penggunaan algoritma ini memastikan uniform coverage over the canonical types dari binari pada dataset. Selain itu membatasi bias dari malware family yang populer.
Selain itu dibuat juga dataset yang lebih kecil dimana ukuran dan distribusinya lebih sesuai dengan pengujian Kolosnjaji, yang terdiri dari 4000 goodware dan 4598 malware. Dataset pengujian dipisahkan dari dataset training. Penggunaan dataset mini ini untuk mempelajari apakah hasil Kolosnjaji dapat menggeneralisasi sebuah model kualitas produksi atau hanya artifak dari properti dataset
reference:
K. He and D. Kim, "Malware Detection with Malware Images using Deep Learning Techniques," in 2019 18th IEEE International Conference On Trust, Security And Privacy In Computing And Communications/13th IEEE International Conference On Big Data Science And Engineering (TrustCom/BigDataSE), Rotorua, New Zealand, 2019 pp. 95-102. doi: 10.1109/TrustCom/BigDataSE.2019.00022