Ada tulisan bagus yang jelasin cara kerja antivirus dari hackers-arise. Menurut mereka antivirus biasanya 4 mesin deteksi malware berikut:
- Statik
- Dinamik
- Heuristik
- Unpacking
Mesin analisa statik biasanya udah punya database malware dalam bentuk signature. Contohnya signature YARA. Cara kerja mesin statik adalah dia membandingkan signature file dengan database malware.
Mesin analisa dinamis, biasanya mendeteksi malware berdasarkan behaviournya (perilakunya). Yang pertama dilihat biasanya API calls (Application programming interfaca). Mesin dinamis menggunakan system hooks untuk mencari behaviour malware. Selain itu digunakan juga sandbox. Maksudnya antivirus membuat sebuah virtual mesin terpisah dari memori komputer host dan menjalankan malware, kemudian dianalisa perilakunya.
Mesin heuristik biasanya membuat beberapa rules untuk mendeteksi malware. Misalnya kalo ada file yang melakukan enkripsi file maka kemungkinan besar itu adalah ransomware. Contoh rules lainnya antivirus mencari proses yang berinteraksi dengan proses LSASS.exe, proses dengan signature dari vendor software bereputasi, sebuah proses yang mencoba tetap berjalan secara terus menerus, atau sebuah proses yang mencoba mengakses sebuah server C&C. Antivirus bikin skor terhadap file yang discan kemudian analisa statik akan menentukan probabilitas file tersebut adalah malware. Kekurangan heuristik adalah munculnya tingkat false positif, atau alarm palsu.
Mesin unpacking biasanya digunakan untuk mendekompresi sampel. Karena malware banyak menggunakan teknik packing atau kompresi untuk mengelabui antivirus. Biasanya mesin unpacking ini berbeda untuk setiap software packer. Teknik ini biasanya lambat tapi diperlukan.
Tulisan lengkapnya bisa dilihat disini:
https://www.hackers-arise.com/post/evading-antivirus-how-antivirus-works
Semoga bermanfaat!