Kategori: malware

Paper Title: Malware Images: visualization and automatic classification

Authors: L Nataraj, S.Karthikeyan, G.Jacob, B.S.Manjunanth

Venue         : ACM Proceedings of the 8^th International Symposium on Visualization for Cyber Security

URL: https://doi.org/10.1145/2016904.2016908

Problem: Metode deteksi malware saat ini menggunakan analisa statik dan dinamik. Namun keduanya membutuhkan waktu yang besar dan membutuhkan resource hardware yang memadai. Selain itu juga beberapa malicious behaviour tidak dapat diamati dengan setting environment yang ada. Untuk itu perlu ada pendekatan analisa malware baru

Contribution: 

1. Mengajukan metode baru dalam analisa malware. Malware sampel diubah dari bentuk binary string 0 dan 1, menjadi sebuah matrix dan menjadi gambar. 
2. Menemukan bahwa terdapat kemiripan visual dari texture gambar dari sampel malware yang berada dalam family yang sama
3. Metode yang diajukan resilient terhadap teknik obfuscation seperti encryption

Method/solution

1. Binary malware dibaca sebagai sebuah vector 8 bit integer, kemudian diatur menjadi array 2 dimensi
2. Vector 8 bit diubah menjadi gambar grayscale (0: black; 255 white)
3. Lebar gambar fix, tingginya berbeda-beda mengikuti ukuran file
4. Untuk menghitung feature texture gambar digunakan GIST, yang menggunakan dekomposisi wavelet dari gambar
5. Menggunakan steerable pyramid dengan 8 orientasi dan 4 skala pada gambar
6. Representasi lokal dari gambar   N=20 adalah jumlah sub-band
7. Untuk menangkap properti global namun tetap mendapatkan property local dihitung nilai rata-rata dari magnitude feature local :  ; w(x) adalah averaging window
8. Hasil representasi di downsampled menjadi 4×4 pixel; 
9. Dimensi GIST feature adalah 320
10. Menggunakan k-NN dengan Euclidiean distance untuk klasifikasi
11. Melakukan 10 fold cross validation, dimana pada setiap tes, sebuah subset random dari sebuah kelas digunakan untuk training dan testing
12. Pada setiap iterasi,tes memilih secara random 90% data dari sebuah kelas pada training dan 10% pada testing
13. Sampel berasal dari Anubis, diklasifikasikan menjadi beberapa family berdasarkan label dari Microsoft Security Essentials
14. Dataset terdiri dari 8 family malware dengan total 1713 gambar
15. GIST image feature dihitung pada setiap gamber, rata2 waktu utk menghitung feature GIST pada sebuah gambar adalah 54ms
16. High dimensi GIST Feature diproyeksikan ke lower dimensional space untuk analisa
17. Pengujian ditambahkan sampel 123 benign dari file system Win32 dan aplikasi
18. Distribusi sampel 335 instantaccess.(A), 485 Yuner.A (B); 111 obfuscator.AD (C); 80 skintrim.N (D), 298 Fakerean(E), 88 Wintrim.BX(F), 97 VB.AT(G) dan 219 Allaple.A(H)
19. Pengujian berikutnya dengan 25 family malware dengan total 9458

Main result

1. Ditemukan bahwa sections malware yang berbeda menghasilkan texture gambar yang berbeda; contohnya sections text, rdata, data dan rsrc memiliki pola gambar yang berbeda
2. Section .text umumnya berisi kode executable, pada kasus trojan Dontovo.A polanya bada bagian awal terlihat halus (fine grained), yang diikuti dengan zeros (hitam), yg menunjukan zero padding pada bagian akhir section
3. Section .data memiliki pola uninitialized code (black patch) dan initialized data (fine grained)
4. Section .rsrc yang berisi semua resource dari modul terlihat hitam
5. Feature poin pada family Allaple.A, VB.AT, Wintrim.BX, Yuner.A dan Fakerean mudah dipisahkan
6. NAmun pada family Instantaccess, Obfuscator.AD dan Skintrim.N agak sulit dipisahkan, dan terlihat serupa
7. Menggunakan k-NN (k-3) dengan 10 fold cross validation diperoleh classification rate 0,9993 dengan standar deviasi 0,0019 dari 10 pengujian
8. Dari dataset baru classification rate 0,9929 dari 10 fold cross validation dengan standar deviasi 0,002
9. Family Yuner.A, VB.AT, Malex.gen!J, Autorun.K, Rbot!gen dipack dengan UPX
10. Akurasi Classification 0,9718 pada 25 family
11. Akurasi setelah packing 0,9808
12. Dapat melakukan klasifikasi pada malware yang memasukan engine polymorphic dan section encryption

Limitation:

1. Malware yang menggunakan teknik packing terklasifikasi sebagai family yang sama
2. Rentan terhadap teknik relocating section binary atay menambah redundant data.

Paper Title: Malware Analysis through High-level Behaviour

Authors: Xiyue Deng, Jelena Mirkovic

Venue: Usenix Workshop on Cyber Security Experimentation and Test 2018

URL: https://www.usenix.org/conference/cset18/presentation/deng

Problem: Malware semakin kompleks dan menggunakan banyak teknik stealth, agar tidak terdeteksi. Bagaimana cara mendeteksi malware dari behaviour nya di jaringan secara aman, dan menghindari resiko jaringan terinfeksi malware

Contribution: 

1. Melakukan studi behaviour malware di jaringan
2. Mengajukan platform baru Fantasm untuk melakukan analisa behaviour malware di jaringan secara aman dan efektif

Method/solution

1. Membangun platform analisa aktifitas malware Fantasm
2. Malware dijalankan pada sebuah host windows 
3. Aktifitas jaringannya ditangkap dan dianalisa menggunakan sebuah host linux (gateway) yang berada diantara host windows dan internet 
4. Fantasm memutuskan komunikasi mana yang dipalsukan, yang mana yang diteruskan, dan yang mana yang didrop
5. Setiap komunikasi keluar (flow) dicatat IP tujuannya, port tujuan dan protocol yang digunakan
6. Setiap flow secara default diset non-essential dan didrop
7. Bila Tindakan tersebut menyebabkan aktifitas malware berhenti, maka analisa distop, direstart dan diubah statusnya menjadi essensial
8. Fantasm kemudian membuat relpy palsu (impersonator) 
9. Jika tidak menyebabkan malware berhenti, fantasm akan mengevaluasi resiko dari koneksi ersebut. Bila koneiksi tersebut berbahaya maka akan didrop
10. Bila tidak berbahaya maka akan di teruskan ke internetm namun tetap dimonitor. Bila kemudian mencurigakan akan di abort
11. Service atau protokol yang diberi label tidak berbahaya adalah DNS, HTTP dan HTTPS
12. Service atau protokol yang diberi label berbahaya dan dapat dipalsukan adalah FTP, SMTP, ICMP_Echo
13. Service lainnya diberi label berbahaya dan tidak dipalsukan
14. Flow yang diijinkan keluar bisa jadi adalah bagian dari scanning atau DDoS
15. Aktifitas jaringan dimonitor, dan dibatasi 10 koneksi. Koneksi yang melebihi 10 akan diabort
16. Impersonator adalah server yang dirancang untuk memberikan respon seperti pada server asli di internet
17. Layanan yang disediakan impersonator adalah ICMP, SMTP dan FTP
18. Impersenator memberi positive reply pada setiap request ICMP_ECHO
19. Malware berkomunikasi menggunakan SMTP untuk spam, impersonator menyediakan sebuah email server yang memberi jawaban „250 OK“ pada setiap request
20. Impersonator menyediakan layanan FTP yang menerima semua kombinasi nama dan password
21. Impersonator juga menyediakan DNS caching proxy untuk setiap request DNS malware
22. Beberapa trafik malware dijaringan yang dipantau diantaranya: Downloading, reporting, scanning, scamming, spamming (malicious URL/attachment), komunikasi C&C (melalui IRC) dan propagating (melalui FTP, samba, NFS, dll
23. Fantasm melakukan monitoring sequence network behaviour, misalnya koneksi ke port 25,465 atau 587 dan mengirimkan email diberi kategori spam
24. Fantasm dibangun berbasis DesterLab Testbed
25. Satu ronde analisa Fantasm adalah: a) monitoring pada gateway linux; b) reload OS; c) Deploy binary malware selama waktu tertentu (5 menit); d) kill malware proses dan save network traces
26. Sampel malware menggunakan Georgia Tech Apiary project, 999 sampel malware pada Maret 2016
27. Sampel disubmit ke virustotal

Main result

1. Dari 999 sampel aktivitas terbanyak adalah: Scanning 28,5% ; Propagating 11,5%; Downloading 10,9%;  Reporting 5,6% Spamming 2,2 %; Komunikasi  c&c 0,2%; tidak terdeteksi aktifitas jaringan 57%
2. Persentasi malware yang memiliki 1 behaviour adalah 67,5%; 2 behaviour 28,2%; 3 behaviour 3,4%; 4 behaviour 0,7%; lebih dari 5 behaviour 0%
3. Untuk 57% yang tidak memiliki aktifitas jaringan, kemungkinan disebatkan oleh: a) waktu observasi yang pendek; b) malware menunggu trigger eksternal; c) outdate atau dormant
4. Kombinasi behaviour tertinggi adalah: Scanning+propagating 43,1%; Downloading+propagating 16,5%; Scanning+Spamming 12,2%

Limitation:

1. Hanya membatasi pada 6 behaviour  jaringan (high level), tidak mempertimbangkan behaviour low-level
2. Tidak mempertimbangkan malware polymorphic dan teknik evading malware

Paper Title: Towards Large-Scale Hunting for Android Negative-day Malware

Authors: Lun-Pin Yuan, Wenjun Hu, Ting Yu, Peng Lie, Senchun Zhu

Venue: Usenix 22^nd International Symposium on Research in Attacks Intrusions and ­Defenses

URL: https://www.usenix.org/system/files/raid2019-yuan.pdf

Problem: Dibutuhkan waktu minimum 6 bulan bagi para peneliti malware untuk membuat signature sebuah malware Zero Day. Bagaimana cara mendeteksi malware pada fase awal sebelum malware di deploy (Negative-Day)?

Contribution:

1. Mengajukan sistem Lshand (Large Scale Hunting for Android Negative-Days), yang dapat mendeteksi malware Android Neg-Day (malware yang masih dalam tahap development) melalui analisa submission pada online scanner
2. Merancang dan implementasi Lshand untuk mengatasi 3 tantangan berikut: hubungan malware yang minim pada binary, minimnya bukti pengembangan malware terkait identity dan scalability
3. Menguji Lshand dengan 2 dataset, 10 kasus neg-day malware yang disubmit ke Virustotal pada Januari 2016 dan 15 kasus neg-day pada bulan Mei 2018

Method/solution

1. Mencari kesamaan dari submisi malware
2. Memilih feature yang tidak diobfuscasi, seperti set of permissions, contacted hosts, numbers of components, dll
3. Lshand terdiri dari: sebuah data digestor, sebuah report clusterer, sebuah AMDT (Android Malware Development Trace) extractor dan sebuah Neg-Day alerter
4. Lshand melakukan clustering report malware (format text terstruktur), bila dibutuhkan melakukan klasifikasi sampel (binary) berdasarkan kemiripan dan maliciousness
5. Data digestor mencari submisi baru terkait android, contohnya memiliki label android, dari package information, informasi kompresi (apk, dex); 
6. Submisi baru dilihat dari „last-seen“ atau timestamp last-scan dari metadata
7. LShand Report clusterer mencari DT (development trace) setiap submisi. Dengan mencari hubungan antara sampel-malware
8. Feature yang diekstrak adalah submission timestamp, package information, compression information, behavioral information
9. AMDT extractor mengekstrak AMDT, dengan menguji deteksi ratio r
10. Neg-day memberi alert
11. Model clustering yang digunakan adalah incremental density-based clustering 
12. Weighted diperoleh dengan mengumpulkan 50 AMDT dan dilakukan kategori light, medium dan heavy. Kategori heavy ada 3 yaitu package number of activity, number of services dan number permission by category
13. Clustering threshold τ awalnya diset besar, kemudian dituning kebawah
14. Pengujian dilakukan pada dataset 1: submisi virustotal pada bulan Januari 2016, yang memiliki 1,3 juta submission android dari 3852 submitter.
15. Pengujian dilakukan pada dataset 2: submisi virustotal bulan mei 2018
16. Beberapa teknik Obfuscation yang dipertimbangkan dalam perancangan Lshand: package name, class name, method and variable name, inter-component interaction injection, dataflow-analysis evasive code injection, native code and bytecode injection, daummy and benign methods injection and dropper payload loadin
17. Beberapa teknik Evasion yang dipertimbangkan: incrementally adding large number of dummy activities, dummy services, irrelevant files (number of activities, service and files)
18. Beberapa teknik anonym yang digunakan penulis malware yang dipertimbangkan: menggunakan akun free yang berbeda, menggunakan proxy berbeda (atau tor) , submit irrelevant apps, tidak submite 100 sampels per hari,akun, proxy

Main result

1. Lshand berhasil 10 kasus neg-day pada dataset 1, yang terdiri dari 48 sampel malware hanya dalam waktu 1 jam. 48 sampel tersebut diberi label benign oleh 62 antivirus pada virusTotal pada bulan januari 2016, 
2. Sampel tersebut dianalisa secara manual dan discan dengan Palo Alto Networks Wildfire dan terdeteksi sebagai malware
3. Lshand menemukan 15 neg-day pada dataset 2. Hasil analisa manual  menemukan 80% sampel adalah malware atau greyware
4. Kasus Neg-day malware yang dideteksi diberi label, Dnotua, Dowgin, Ewind, Huer, Jiagu, Rootnik, SmsPay, SMSref, dan Triada, SLocker, Triada
5. 96 dari 253 sampel menggunakan teknik xor-encrypted
6. Ditemukan 2 kasus false-positive (54 app) yang dibuat oleh Appbyme
7. Memperoleh similarity score 96,77% dan skor maliciousness 31,25%
8. Menghasilkan performa lebih baik dibandingkan metode SSDC dengan akurasi 99,16%

Limitation:

1. Hanya dapat mendeteksi sampel yang disubmit dan revisi berulang
2. Tidak dapat medeteksi sampel yang dibuat dengan sebuah proxy app-creation platform
3. Tidak dapat mendeteksi malware yang menambahkan large number of dummy component atau files
4. Tidak melakukan pengujian ground-truth

Paper Title: Binary Malware image Classification using Machine learning with local binary pattern

Authors: Jhu-sin Luo, Dan chia-tien lo

Venue: 2017 IEEE international Conference on Big Data

URL: 10.1109/BigData.2017.8258512

Problem: Klasifikasi malware adalah bagian penting dalam pengamanan jaringan. Namun metode klasifikasi malware saat ini masih mengandalkan metode deteksi tradisional untuk mendeteksi malware, yaitu analisa statik dan dinamik. Teknik ini memiliki beberapa kelemahan, untuk itu dibutuhkan pendekatan baru dalam klasifikasi malware. 

Contribution:

Mengajukan metode klasifikasi malware baru menggunakan image binary dan ekstraksi local binary pattern (LBP) feature

Method/solution:

1. Melakukan konversi malware ke greyscale dalam range [0,255], dengan lebar fix dan tinggi bebas
2. Binary malware dibaca sebagai sebuah vector 8 bit unsigned integer, kemudian diatur menjadi array 2D
3. Setiap pixel dari image malware diatur menjadi grid 3×3 agar memudahkan proses ekstraksi descriptor LBP
4. Nilai pixel central adalah threshold. * pixel tetangganya dibandingkan dengan nilai central pixel. 
5. Bila nilai pixel tetangganya lebih besar dari central pixel, maka nilai tetangga menjadi 1
6. Bila lebih kecil dari threshold, maka ditulis 0.
7. Hasil threshold dikalikan dengan weight yang merupakan pangkat 2.
8. Central value adalah jumlah dari hasil perkalian.
9. Untuk setiap pixel lakukan proses yang sama
10. Descriptor LBP final didapatkan dengan menghitung histogram gambar
11. Training dan testing menggunakan tensorflow
12. Convolutional filter yang digunakan 3×3 dengan RelU, kemudah dilakukan 2×2 max pooling layer dengan stride 2 untuk downsample
13. Nilai convolutional filter pertama adalah 16
14. Ukuran convolutional filter kedua juga 3×3 dengan 32 filter. 
15. Output max pooling adalah multi dimensi
16. Dataset terdiri dari 32 family dengan jumlah 12000 image malware greyscale.
17. Tipe malware adalah trojan, password steeler dan virus
18. 20% malware digunakan untuk training, dan sisanya untuk pengujian
19. Menggunakan tensorflow untuk klasifikasi fitur LBP, dan menggunakan fitur LBP untuk training klasifier SVM dan classifier KNN
20. Menggunakan fitur GIST dengan tensorflow dengan KNN dan SVM

Main result

1. Malware family 28,29,30 yaitu Virut.A, Virut.AC dan Virut.AT lebih sulit untuk diklasifikasi
2. Tensorflow dapat membedakan ketiga malware tersebut dengan akurasi yang lebih tinggi
3. Waktu eksekusi lebih pendek dengan GPU
4. Akurasi dengan fiture LBP lebih baik 93,17% 
5. Waktu eksekusi lebih baik daripada sistem pembanding

Limitation:

1. Metode ini dapat dikelabui oleh malware yang di-rewrite dengan cara lain atau menggunakan instruksi yang berbeda
2. Jumlah family malware terbatas
3. Tidak mencoba menggunakan RGB

Paper Title: File Entropy signal analysis combined with wavelet decomposition for malware classification

Authors: Hui Guo, Shuguang huang, Cheng huang, Zulie pan, Min zhang, fan shi

Venue: IEEE access vol 8 – 158961 – 158971

URL: https://doi.org/10.1109/ACCESS.2020.3020330

Problem: Penulis malware banyak menggunakan (reuse) source code malware yang sudah ada untuk membuat malware baru. Malware ini biasanya memiliki kemiripan dan dapat digolongkan ke dalam variant malware atau family malware yang sama. Melakukan klasifikasi variant malware ini membutuhkan waktu dan resource computing yang besar. Untuk itu diperlukan pendekatan baru untuk melakukan klasifikasi varian malware.

Contribution: 

1. Mengajukan metoda klasifikasi baru menggunakan feature entropy biner. Metode ini melakukan konversi raw bytes malware menjadi sequence entropy dan melakukan ekstraksi feature struktural berbasis pada teknik sinyal prosesing
2. Implementasi MESRF, sebuah framework untuk mengekstrak feature dari malware dan mengkombinasi mereka dengan sebuah classifier untuk melakukan klasifikasi variant malware. Framework ini dapat meningkatkan kemampuan untuk melakukan klasifikasi variant malware pada family yang sama
3. Hasil pengujian menunjukan MESRF dapat menyelesaikan permasalahan kesalahan klasifikasi family malware yang sama dibandingkan metode yang sudah ada

Method/solution

1. Ekstrak sequence entropy dary raw bytes ke malware
2. Mining feature di entropy, dan menampilkan sequence entropy menjadi sinyal
3. Menggunakan 2 feature global dan local. 
4. Global feature diekstrak dari karakteristik statik seperti length, nilai mean, maximum, standard deviation dan rasio minimum. 
5. Untuk karakteristik lokal (struktural) sinyal entropy diperoleh dengan algoritma Discrete wavelet decomposition dan vektorisasi feature lokal berbasis model bag-of-words.
6. Kemudian ditrain dengan machine learning dan malware diklasifikasikan untuk menentukan family dari sampel malware baru
7. Raw byte malware dibagi menjadi blok 256, agar bisa mendapatkan value 00-FFh
8. Bila ukuran blok tidak 256 dan bisa mencapai 128 maka byte ditambah dengan zero, bila kurang maka byte akan dibuang
9. Nilai entropy dihitung menggunakan rumus:  ; x_i nilai raw byte dan p_i Probability (frekuensi blok)
10. Global feature yang digunakan: length (Panjang sequence entropy); square root; mean; standev; max; max_7, min_0
11. Malware diekstraksi menjadi 2 fungsi pada saat decopmposisi yaitu father wavelet (scaling function) dan mother wavelet (fungsi wavelet)
12. Fungsi Wavelett dan fungsi scaling dengan  Haar Wavelett transform menggunakan rumus:

    ;  

1. Sebelum dekomposisi sinyal serangkaian transformasi fungsi pada mother wavelett dan father wavelett dilakukan.
2. Pemilihan wavelet dibandingkan fourier karena detail sinyal bisa didapatkan dari berbagai skala prosesing. Hasilnya adalah power dari sebuah sinyal pada beberapa frequency berbeda.
3. Haar wavelet memproyeksikan sinyal menjadi sebuah set gelombang kotak dengan tinggi, widt dan struktur berbeda.
4. Menggunakan enropy sequence sebagai sebuah sinyal dan Transformasi Haar Wavelett untuk mengekstrak structure feature
5. Fungsi transforming dijelaskan pada persamaan berikut:   
6. Feature dikonversi ke vectore menggunakan model bag-of-words; tahapannya terdiri dari : a) codebook generation dan b) komputasi histogram
7. Algoritma K-means diimplementasikan untuk menghasilkan cluster center
8. Kemudian sampel malware dikonvert ke vector dengan codebook
9. Histogram dari code words digunakan untuk representasi feature lokal dari sequence entropy
10. Sistem MESRF (malware entropy sequences reflect the family) dikembangkan dengan python 2.7 dengan pywt library dan sklearn library.
11. Prototipe sistem dijalankan pada sebuah PC dengan Intel ® Core ™ i7-4790 CPU (3,6 GHz) dan 20 GB RAM
12. Dataset I didapat dari malware research lab yang terdiri 9339 sampel malware dari 25 family, yang diperoleh dari real environment dan diklasifikasikan dengan platform Microsoft security
13. Dataset II didapat dari Microsoft Malware Classification Challenge (BIG 2015) terdiri dari 10.868 sampel terdiri dari 9 family (Ramnit, Lollopop, Kelihos_ver3, Vundo, Simda, Tracur, Kelihos_ver1, Obfuscator.ACY, GATAK)
14. Pengukuran menggunakan akurasi, presisi, recall, ROC Curve (Receiver Operating Characteristic Curve) dan AUC (Area Under ROC Curve), F1
15. Klassifier ditraining menggunakan Random Forest (RF), Multi-layer Perceptron (MLP), k-Nearest Neighbor (KNN), SVM dan DT
16. Setiap sampel memiliki 263 feature (7 dari global dan 256 feature local)
17. nilai K dari KNN diset 2, SVM menggunakan linear kernel function, classifier lainnya menggunakan parameter konfigurasi default dari sklearn
18. Hasil pengujian dibandingkan dengan 4 model yaitu: GIST+KNN, LBP+KNN, GIST+DSIFT+KNN dan VGG16

Main result

1. KNN memiliki performa terburuk, dengan akurasi 98,5%, sementara akurasi classifier lainnya diatas 99%, SVM menghasilkan performa terbaik 99,82%
2. SVM mendapatkan nilai F1-score dan AUC terbaik pada saat eksperimen, namun waktu training membutuhkan 7 detik dengan 9000 sampel
3. RF menghasilkan efisiensi terbaik
4. Akurasi klasifer yang menggunakan local feature yang diekstrak dengan DWT dan BOW mencapai 99,75%
5. Penggunaan feature global dan local secara bersamaan menghasilkan akurasi terbaik 99,83%
6. MESRF menghasilkan performa terbaik daripada 4 model pembanding, dengan waktu yang lebih pendek
7. Dari sisi akurasi dan efisiensi MESRF juga lebih baik dibandingkan 4 sistem pembanding yaitu 97,88

Limitation:

1.Jumlah family yang diuji terbatas

2. Analisa attribute dari feature penting belum dilakukan

Paper Title: SourceFinder: Finding malware source-code from ublicly available repositories in Github

Authors: Md Omar Faruk Rokon, Risul Islam, Ahmad Darki, Evangelos E.Papalexakis

Venue: Usenix 23^rd International Symposium on Research in attacks, intrusions and defences

URL: https://www.usenix.org/conference/raid2020/presentation/omar

Problem: Untuk memahami malware, peneliti perlu mempelajari source code malware. Bagaimana mencari source code malware dari repositories di internet seperti Github?

Contribution: 

1. Mengajukan sistem SourceFinder, sistem untuk mengidentifikasi repository source code malware menggunakan machine learning
2. Mengumpulkan 97ribu repository terkait malware dari Github, 
3. Mempelajari pola dan tren repository malware, termasuk property, behaviour temporal dan author centric
4. Membuat arhive source malware dengan 7504 repository

Method/solution

1. Repository dikumpulkan melalui API Github dengan keyword malware
2. Keyword dibagi 3 tipe: a) keyword terkait malware dan security, seperti malware dan virus; b) time malware, seperti ransomware dan keylogger; c) nama popular malware: seperti mirai
3. Membuat groundtruth dengan 2013 repository
4. Membuat 3 set keywords: a) Q1 set, hanya mengandung keyword malware; b) Q50 set yang memiliki 50 keywords; c) Q137 set yg memiliki 137 keywords; Q137 adalah superset dari Q50; dan Q50 adalah superset dari Q1
5. Query dilakukan menggunakan PyGithub, kemudian dilakukan cleaning
6. Ground truth dilakukan dengan 3 komputer scientist melakukan label 1000 repository secara manual (malicious atau benign). Hasil labelin diberi nama LD137, LD50 dan LD1
7. Pada tahapan preprocessing dilakukan: a) character level preprocessing; b) word level preprocessing; c) entity level filtering
8. Setelah preprocessing dilakukan pelabelan repository fields.
9. Untuk text field representation digunakan Bag of Words dan word embedding
10. Tahap ketiga adalah selecting the fields
11. Tahap keempat adalah pemilihan engine ML
12. Tahap kelima detecting source code repository
13. Pengujian dilakukan untuk mengetahui tentang: a) repository fields selection; b) field representation; c) feature selection; d) ML algoritma selection; e) efektifitas klasifikasi; f) Identifikasi repo malware; g) identifikasi repo source code malware
14. Field yang dipilih adalah title, description, topics, readme file, nama file dan nama folder
15. Field representation menggunakan bag of words mencapai akurasi 86%, sementara word embedding 85%
16. Pemilihan jumlah kata per field didapatkan top 550 kata

Main result

1. Pengujian klasifikasi repository malware menghasilkan akurasi 89%, recall 86% dan F1 score 87% dengan 5 field dari repository
2. Jumlah malware baru pada repository meningkat 3x lipat setiap 4 tahun
3. Membuat ranking repository yang paling popular berdasarkan jumlah watcher, forks dan stars
4. 3% penulis malware memiliki follower > 300 
5. 0,2% penulis malware memiliki lebih dari 7 repository malware
6. Ada penulis malware yang membuat 336 repository malwre
7. Berhasil mengidentifikasi 18 penulis malware professional, contohnya 3vilp4wn penulis keylogger
8. Q1 diperoleh 2775 repositry, Q50 14332 dan Q137 97375
9. Multinomial Naïve Bayes memperoleh nilai F1-score 87%; dengan presisi 89% dan recal 86%
10. Deteksi benign class diperoleh presisi 92%, 94% recall dan 93% F1-score.
11. F1 score pada algoritma lain (Logistic regression, decision tree, random forest, KNN, Linear discriminant analysis dan SVM) dibawah 79%
12. KNN, LR, dan LDA memperoleh presisi lebih tinggi dengan recall lebih rendah
13. Setelah dilakukan 10-fold cross validation diperoleh presisi diatas 89% dan recall diatas 77% untuk ketiga dataset
14. 2% repository memiliki pengaruh kuat denan minimum 100 forks; 78% repository hanya memiliki forks < 2
15. 2% repository memiliki stars > 250; 75% repository memiliki stars <3
16. 8 repository memiliki pengaruh tertinggi adalah: ytisf (thezoo), n1nj4sec, Screetsec, malwaredllc, RoganDawes, Visgean, Ramadhan, dana-at-cp
17. Kategori terbanyak malware adalah keylogger (679 repo)
18. Windows dan Linux adalah target paling popular (1592 – windows; 1365 – linux)
19. Hanya ada sedikit MacOs repo (380)
20. Aktifitas malware sedikit menurun pada tahun 2018
21. Malware IoT dan iphone mulai muncul tahun 2014
22. Malware windows dan linux masih dominan, tapi ada tren penurunan. Sementara IoT dan android meningkat
23. Username unik muncul pada berbagai platform online seperti Offensive community, ethical hacker dan hackthissite
24. Username penulis malware tercatat memiliki aktifitas hacking 
25. Repository digunakan penulis malware untuk meningkatkan reputasinya

Limitation:

1. Hanya melakukan analisa pada github yang diset public, dan memiliki keyword tertebtu
2. Hanya melakukan analisa pada Github, masih ada platform sharing malware lainnya seperti darkweb

Paper Title: Do and Don’ts of machine learning in computer security

Authors: Daniel Arp, Erwin Quiring, Feargus Pendlebury, Alexander Warnecke, Fabio Pierazzi, Christian Wressnegger, Lorenzo Cavallaro, Konrad Rieck

Venue: underreviewed; Technical Report: Arxiv:2010.09470, October 2020

URL: https://arxiv.org/abs/2010.09470

Problem: Machine learning mulai banyak digunakan di bidang security. Namun ada beberapa pitfall yang dapat menurunkan performa dan menyebabkan implementasinya tidak sesuai dengan standar task security di mesin learing

Contribution:

1. Identifikasi 10 pitfall machine learning di security yang mempengaruhi workflow sistem, serta melakukan analisa longitudinal pada 30 paper security yang telah dipublikasikan pada 30 top-tier conference pada 10 tahun terakhir
2. Melakukan eksperimen analisa impact pitfall tersebut pada 4 domain security berbeda, apakah menimbulkan bias eksperimen, hasil yang membesar, dan menimbulkan misinterpretasi
3. Memberi rekomendasi dos and don’t bagi peneliti dan praktisi keamanan dalam pengembangan dan penggunaan machine learning di bidang security

Method/solution

1. Melakukan studi longitudinal, dengan focus pada 6 tahun terakhir, 30 paper yang dipublikasikan pada 4 conference terbaik dibidang security yaitu ACM CCS, IEEE S&P, USENIX Security dan NDSS. 
2. 6 paper tentang deteksi malware, 4 paper tentang deteksi serangan pada jaringan, 4 paper tentang vulnerability discovery (mencari celah keamanan sistem), 4 paper tentang serangan website pingerprinting, 3 paper tentang abuse social media, 3 paper tentang analisa kode binary, 2 paper tentang atribusi kode, 1 paper masing-masing tentang steganography, online scam, game bots dan ad blocking
3. Setiap paper di review oleh 2 orang reviewer yang menguji artikel apakah mengandung 10 pitfall machine learning
4. Reviewer terdiri dari 6 peneliti yang telah memiliki publikasi pada tema machine learning dan security pada minimal 1 conference diatas.
5. Setelah 2 reviewer selesai mereview 1 paper, mereka mendiskusikan hasil temuannya dengan reviewer ketiga
6. Pada setiap paper pitfall dikategorikan sebagai, present (ada), not present (tidak ada), unclear from text (tidak jelas), atau does not apply (tidak berlaku)
7. Pengujian dilakukan pada 4 domain; mobile malware detection (P1,P4,P7), vulnerability discovery (P2,P4,P6); source code authorship attribution (P1,P4) dan network intrusion detection (P6, P9)

Main result

10 pittfall machine learning:

1. Sampling bias: dataset yang dikumpulkan tidak merepresentasikan distribusi data pada permasalahan security yang sesungguhnya (60%)
2. Label Inaccuracy: label ground truth pada klasifikasi tidak akurat, tidak stabil, mengandung eror, dan mempengaruhi performansi sistem secara keseluruhan (10%)
3. Data Snooping: Model melakukan training pada data yang umumnya tidak ada di dunia nyata. (57%)
4. False Causality: Artifak yang tidak berhubungan dengan permasalahan yang dihadapi, menyebabkan shortcut pattern pada kelas yang berbeda. Sehingga model tidak menyelesaikan task yang diberikan tapi beradaptasi terhadap artifak tersebut (57%)
5. Bias pemilihan parameter: Parameter akhir dari metode yang digunakan tidak fix pada saat training. Sehingga parameter ini tergantung pada set test (20%)
6. Inappropriate baseline: Pengujian dilakukan tanpa baseline atau, dengan baseline yang terbatas. Sehingga sulit untuk mengetahui peningkatan dari state-of-the-art (23%)
7. Inappropriate performance measures: Pengukuran performa yang digunakan tidak memperhatikan Batasan aplikasi, seperti imbalanced data atau kebutuhan untuk tingkat false-positive yang rendah (40%)
8. Base Rate Fallacy: Imbalance kelas besar diabaikan Ketika melakukan interpretasi pengukuran performa, sehingga menyebabkan overestimasi dari performa (13%)
9. Lab-only evaluation: Sistem hanya diuji pada laboratorium tanpa memperhatikan Batasan implementasinya di dunia nyata (43%)
10. Inappropriate threat model: Keamanan machine learning yang dibangun tidak dipertimbangkan, misalnya dengan serangan poisoning dan evasion attack (17%)
    • Inter-rater reliability review berdasarkan Krippendorff’s alpha adalah α = 0.832 dimana α > 0.800 adalah reliably
    • Pitfall yang paling banyak ditemukan adalah Sampling bias (P1) dan data snooping (P3) yang ditemukan pada lebih dari 73% paper
    • Lebih dari 50% paper memiliki pitfall inappropriate threat model (P10), lab-only evaluations (p9) dan inappropriate baselines (p6)
    • Setiap paper setidaknya memiliki 3 pittfalls
    • Pengumpulan dataset masih menjadi masalah
    • Beberapa dataset yang tersedia masih belum sempurna
    • Keberadaan beberapa pitfall masih belum jelas dari paper yang ada dibandingkan pitfall lain. Contohnya biased parameter selection (p5) pada saat tidak ada deskripsi dari hyperparameter atau prosedur tuning diberikan; false causality (p4) ketika tidak ada percobaan untuk menjelaskan pemilihan model dan data snooping (P3) ketika pembagian dataset atau prosedur normalisasi tidak secara eksplisit dijelaskan.
    • Semua pitfall ditemukan pada penelitian, dengan range 23%-90%
    • Hanya 20% paper memiliki bagian discussion
    • Rekomendasi: Mengumpulkan data yang berhubungan tentang security, handling noisy label, explainable learning, calibrating security systems, performance metrics, security baselines, deployment for security, security of deployment.

Limitation:

1. Hasil review bisa bias, tergantung dari perspektif reviewer
2. Jumlah paper yang direview terlalu sedikit

Paper Title : Long short-term memory-based Malware classification Method for information Security

Authors: Jungho Kang, Sejun Jang, Shuyu Li, Young-Sik Jeong, Yunsick Sung

Venue: Elsevier Computers & electrical engineering, Vol 77, July 2019, pages 366-375

URL: https://doi.org/10.1016/j.compeleceng.2019.06.014

Problem: 

Deteksi malware signature based yang banyak digunakan saat ini tidak mampu mendeteksi berbagai macam teknik obfuscation malware. Diperlukan pendekatan deteksi malware baru.

Contribution:

1. Mengajukan metoda deteksi malware menggunakan Word2vec untuk klasifikasi malware. Word2vec dan one-hot encoding telah banyak diimplementasikan pada NLP
2. Metoda klasifikasi malware baru menggunakan LSTM
3. Mengajukan metode klasifikasi menggunakan API function dan opcode. Klasifikasi malware tradisional banyak menggunakan opcode atau API function name. Namun memiliki batasan dalam akurasi

Method/solution:

1. Source assembly degenerate dari malicious file kemudian diekstrak opcode dan nama API function.
2. Pada fase training, word2vec dan LSTM dilatih untuk melakukan klasifikasi malware ke dalam family
3. Tahapan training adalah: input, preprocessing dan learning
4. Pada tahap input, tool disassembly digunakan untuk mengekstrak label source assembly dari label file malicious.
5. Pada tahap preprocessing, opcode dan nama API function diekstrak dari label source assembly
6. Model Word2vec mempelajari opcode dan nama API function dengan network word2vec dan terdiri dari sebuah kamus dan matrix embedding.
7. Opcode dan nama API function yang diekstrak diindeks dengan kamu berbasis vocabulary
8. Embedding dilakukan dengan melakukan embedding matrix word2vec menggunakan index2vec
9. Pada tahapan learning, network LSTM dilatih dengan vektor dari opcode dan nama function API dan label2nya
10. Pada tahapan eksekusi, family dari sebuah malicious file ditentukan dengan mempelajari model word2vec dan network LSTM
11. Proses preprocessing terdiri dari 8 tahap: 1) ekstrak opcode dan nama API function; 2) model word2vec belajar dari opcode dan api; 3) matrix embedding dan vocabulary degenerated; 4) Vocabulary-based dictionary degenerated dengan sorting; 5) index opcode dan api function dibuat dari dictionary berbasis word2index; 6) Jika opcode dan index function API lebih pendek dari maximum sequence length, ukurannya disamakan dengan zero-padding
12. Label vector dibuat dengan one-hot encoding
13. Vektor berbasis index degenerate dengan matrix embedding melalui fungsi index2vec
14. Panjang vector opcode dan function API adalah 300, weight setiap cell pada hidden layer diinisialisasi dengan 1.
15. Hidden layer memiliki 128 cell
16. Output vector dikirim ke layer softmax
17. Dataset menggunakan Microsoft malware classification challenge berukuran 500GB dan 10,868 malware pada 9 family
18. Pada setiap malware setiap source assemblu degenerate dengan idapro
19. 90% dataset digunakan pada training, 10% pada testing

Main result:

1. Akurasi akhir yang dihasilkan adalah 97,59%
2. Akurasi awal pada proses training adalah 77,11% dan secara bertahap meningkat menjadi 97,59%
3. Akurasi sistem 0,5% lebih tinggi dibandingkan sistem pembanding one-hot encoding
4. Proses konvergen juga lebih cepat 10 menit dibandingkan sistem pembanding
5. Loss pada metode yang diusulkan adalah 0,73 dan menuru secara gradual menjadi 0,05. Sementara pada sistem pembanding lossnya adalah 1,21 dan konvergen menjadi 0,09. Loss yang didapat 0,04 lebih rendah dibandingkan metode one-hot encoding

Limitation:

1. Komputasi besar karena menggunakan 2 fitur opcode dan function API
2. Belum dilakukan klasifikasi malware berdasarkan family
3. Pengujian hanya dilakukan pada malware Windows (PE)

Paper Title: Neurlux: Dynamic Malware Analysis Without Feature Engineering

Authors: Chani Jindal, Christopher Salls, Hojjat Aghakhani, Keith Long, Christopher Kruegel, Giovanni Vigna

Venue: ACM Annual Computer Security Applications Conference-2019

URL : https://dl.acm.org/doi/abs/10.1145/3359789.3359835

Problem: Pendekatan deteksi malware dengan machine learning masih mengalami kendala pada proses feature extraction. Proses ekstraksi feature membutuhkan waktu yang lama dan sulit untuk mengidentifikasi feature terbaik, karena berbagai macam jenis malware

Contribution

1. Mengusulkan Neurlux, klasifikasi malware berbasis behavioural report yang dihasilkan oleh sandbox. Dengan cara ini maka tidak diperlukan proses feature engineering. Preprocessing dilaporkan dengan cleaning report menjadi kata-kata tertentu. Model kemudian mempelajari sequence dari kata-kata tersebut untuk membuat prediksi
2. Membuat dan melakukan pengujian klasifikasi malware pada report analisa dinamis, termasuk metoda baru seperti stacking ensemble pada integrated feature dan model feature count.
3. Menguji kemampuan generalisasi Neurlux dengan melakukan pengujian terhadap dataset baru dan format laporan baru, contohnya yang dibuat oleh sandbox baru
4. Melakukan share source dan dataset di github

Method/solution

1. Mengimplementasikan teknik klasifikasi document dengan word sequence dari NLP
2. Memanfaatkan hasil report analisa dinamis cuckoo sandbox dengan neural network.
3. Hasil report termasuk aktifitas network, perubahan registry, file actions dll
4. Sebagai pembanding digunakan juga hasil report dari sandbox dari perusahaan antivirus, pada penelitian ini dinamakan VendorSandbox
5. Menggunakan 2 dataset, dari antivirus (VendorDataset) dan EmberDataset
6. VendorDataset terdiri dari 27.540 sampel windows x86 binary dengan 50% benign dan 50% malware. Sampel teridiri dari 1000 family malware
7. DatasetEmber merupakan potongan dari dataset standar Ember, terdiri dari 42ribu bniaru windowsx86 dengan 50% benign dan 50% malware
8. Membandingkan dengan MalDy dari Karbab et.al
9. Data cleaning dilakukan untuk mengubah format report dalam bentuk dokumen JSON menjadi sequence word. Karekater seperti bracket dihilangkan. Kemudian dokumen diberi token untuk sejumlah kata tertentu, sehingga 10ribu kata yang paling banyak muncul dikonversi menjadi sequence numerik
10. Data formatting dilakukan dengan konversi kata ke vektor, dengan representasi kata dalam continuous vector space.
11. Menggunakan word embedding yang bisa ditraining, sehingga kata-kata yang mirip memiliki vektor yang sesuai.
12. Model menggunakan kombinasi CNN, BiLSTM network dan Attention network. Model diharapkan dapat memahami pattern lexical tersembunyi pada malicious dan benign.
13. Model terdiri dari sebuah layer CNN dan 2 pasang layer BiLSTM dan attention. Dua pasang BiLSTM dan Attention adalah implementasi dari metode hierarchical attention network
14. CNN melakukan ekstrak feature local dan deep feature dari text input
15. LSTM menghasilkan representasi high-level dari bidirectional LSTM menggunakan hidden unit dari forward dan backward LSTM. LSTM dapat menemukan temporal relationship dari feature
16. Input adalah trainable word embedding dengan dimensi 256
17. Bagian berbeda dari report memiliki importance yang berbeda dalam menentukan malicious behavior dari sampel
18. Output Neurlux adalah skor 0-1 dimana 0 benign dan 1 adalah malicious
19. 6 Feature utama adalah: API sequence calls, Mutexes, File system change, Registry changes dan loaded DLL
20. Proses input generation terdiri dari: Feature selection, data cleaning, data formatting dan model training

Main result

1. Menghasilkan akurasi 96,8% pada validasi K-fold
2. Neurlux menghasilkan performa yang lebih baik dibandingkan pendekatan klasifikasi malware yang menggunakan feature engineering
3. Menghasilkan generalisasi yang lebih baik dibanding metode pembanding
4. Terdapat perbedaan report dari sampel yang sama dari sandbox yang berbeda. Namun perbedaan hanya pada penamaan feature
5. Performa pada validation accuracy lebih baik daripada metode pembanding
6. Teknik NLP pada klasifikasi dokumen berhasil diimplementasikan dengan baik, dan memiliki performa yang lebih baik daripada Neural network raw model
7. Model dapat mempelajari kombinasi terbaik dari features. Model dapat mengenali operasi file yang dilakukan oleh malware dan API Calls
8. Neurlux lebih kuat dibandingkan model yang diuji, dengan akurasi yang lebih tinggi pada pengujian dengan dataset dan format report yang berbeda. Sementara model raw bytes memiliki performa tidak baik pada klasifikasi di dataset dan format report berbeda.

Limitation:

1. Hanya melakukan klasifikasi setelah proses analisa dinamis
2. Membutuhkan data training besar dan akurat.
3. Hanya diuji pada malware windows

Note

Model pembanding MalDY menggunakan NLP untuk memproses report sanbdbox. Teknik ini menggunakan model BOW (Bag of words) dan Common N-grams (CNG).