Dasar Python – 5

Kali ini kita lanjutkan pembahasan dasar pemrograman python dengan membuat grafik sederhana dengan matploblib. Di python ada banyak library yang bisa digunakan untuk membuat grafik, diantaranya matplotlib dan seaborn. Matplotlib dapat membuat berbagai jenis grafik seperti scatter/plot, line, bar dll. Pada contoh berikut ini dari tutorial dari dqlab, kita akan mengolah data penduduk kemudian dibuat menjadi grafik sederhana

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

table=pd.read_csv(“https://storage.googleapis.com/dqlab-dataset/penduduk_gender_head.csv”)
table.head()

x_label=table[‘NAMA KELURAHAN’]
plt.bar(x=np.arange(len(x_label)),height=table[‘LAKI-LAKI WNI’])
plt.xticks(np.arange(len(x_label)),table[‘NAMA KELURAHAN’],rotation=30)
plt.show()

Contoh lainnya dari tabel yang sama kita akan menampilkan persebaran jumlah penduduk laki-laki di jakarta pusat, dengan kode berikut:

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

table=pd.read_csv(“https://storage.googleapis.com/dqlab-dataset/penduduk_gender_head.csv”)
table.head()

x_label=table[‘NAMA KELURAHAN’]
plt.bar(x=np.arange(len(x_label)),height=table[‘LAKI-LAKI WNI’])
plt.xticks(np.arange(len(x_label)),table[‘NAMA KELURAHAN’],rotation=90)
plt.xlabel(‘Kelurahan di Jakarta Pusat’)
plt.ylabel(‘Jumlah Penduduk Laki-laki’)
plt.title(‘Persebaran Jumlah Penduduk Laki-laki di Jakarta Pusat’)

plt.show()

Semoga Bermanfaat!

Malware classification one dimensional CNN

Saya lagi baca paper Efficient malware classification by binary sequences with one dimensional convolutional neural network karya Wei-cheng lin dan yi-ren yeh dari jurnal mathmatics mdpi. Menurut dia mengkonversi malware ke gambar grayscale merusak struktur kode binary yang 1 dimensi. Karena lebar gambar yang udah fix akan memotong urutan kode biner. Jadi mereka mengusulkan metode 1 dimensi CNN untuk klasifikasi malware. Mereka pake 2 dataset benchmark. Performanya lebih baik dibandingkan klasifikasi dengan 2 dimensi. Mereka menggunakan komputasi yang lebih kecil karena pake sequence bit/byte level yang lebih kecil.

Mereka mencoba beberapa urutan. Yang pertama adalah urutan byte. setiap urutan 8 bit di encode menjadi byte. Namun urutan byte akan menjadi panjang. Selain itu ukuran sampel yang berbeda menyulitkan implementasi di CNN. Mereka menggunakan juga resizing atau konpresi untuk menetapkan panhang urutan byte. Setiap sampel di resize menjadi 1×1024, 1×2304, 1×4906 dan 1×16.384. Setelah preprocessing kemudian diklasifikasi dengan CNN 1 dimensi.

Pada model yang diusulkan ada 5/6 blok konvolusi. Sebagian besar blok komvolusi memiliki layer konvolusi 1×3 dengan fungsi aktivasi Leaky RelU. Digunakan juga layer max-pooling setelah blok konvolusi. Kemudian ditambahkan layer konvolusi 1×8 dengan 8 striding dan zero-padding untuk mengubah ukuran input jadi 1 x 1 x 16.384. Layer konvolusi 1 x 8 akan mengurangi ukuran input dari 1 x 1 x 16.384 menjadi 1 x 1 x 2048.Setelah blok konvolusi terakhir tidak ditambahkan layer max-pooling.

Kemudian dicoba juga input sequence bit. Dilakukan resize juga untuk mendapatkan panjang yang tetap. Proses resizing ini sama seperti kompresi data. Dataset yang digunakan adalah Microsoft malware classification challenge dan Malimg. Data dibagi menjadi 80% training, 10% validasi dan 10% testing.

Hasil pengujian pada dataset microsoft diperoleh akurasi 95,49 % untuk sequence 1 x 1024 dan 96,32 untuk sequence 1×2304. Sementara pada dataset malimg diperoleh akurasi 98,47%

Semoga Bermanfaat!

Papernya bisa dilihat disini:

https://www.mdpi.com/2227-7390/10/4/608

Malware detection visualization- Pinhero

Saya lagi baca paper malware detection employed by visualization and deep neural network, karya Pinhero dkk dari Jurnal computers and security elsevier. Menurut dia klasifikasi malware secara otomatis masih banyak masalah:

  1. Ekstraksi fitur: analisa statik bisa dihindari dengan teknik obfuscation. Sementara itu analisa dinamik butuh waktu lama dan bisa dikelabui dengan teknik evasion
  2. Membangun model prediksi: Dataset training kualitasnya akan menurun seiring waktu sehingga tidak cukup untuk mendeteksi family malware tertentu.

Pinhero coba pake teknik visualisasi malware, dengan klasifikasi deep learning. Mereka menguji 12 arsitektur neural network berbeda dengan dataset sebanyak 20.199 malware mendapatkan hasil F-measure 99,97%. Dataset yang dipake dari Microsoft malware classification challenge BIG 2015 dan Malimg. Sampel Benign dikumpulkan dari berbagai sumber dan dianalisa dengan virustotal. Dataset malimg di reverse menjadi hexadesimal, kemudian diindeks ke colourmap, dimana intersection dari baris dan indeks kolom menentukan sebuah piksel.

Dataset Microsoft Malware classification (BIG 2015) memiliki 10.860 malware dengan 9 family. Dari dataset ini yang digunakan adalah data raw (rheksadesimal dari konten file biner). Dataset benign terdiri dari 12.971 sampel, dikumpulkan dari berbagai market place seperti: softonic, sourceforge, portable freeware dan driverpack solution. Kemudian diuji ke virustotal. Hanya yang 100% benign dari hasil virustotal yang digunakan.

Malware divisualisasikan sebagai grayscale, RGB dan markov. Dilakukan juga analisa teksture dengan filter gabor. Ukuran gambar diubah jadi 4 macam, 32×32, 64×64, 128×128 dan 256×256. Arsitektur yang digunakan diantaranya VGG3, ResNet50.

Dari hasil pengujian didapat hasil terbaik pada gambar RGB 256×256 dengan akurasi 97,38% untuk dataset pertama dan 99,21% untuk dataset ke dua. Klasifer dengan markov menghasilkan akurasi dan nila F-measure lebih baik dibandingkan gambar rgb dan grayscale.

Gabor menghasilkan nila F 99,2%. Dilakukan segmentasi eksekutable menjadi blok berikut: computed block entropy, dan representasikan blok entropi dalam bentuk gambar.

Varian malware pada family yang sama memiliki entropy gambar yang mirip. Model CNN terbaik adalah VGG3 baseline, VGG3 dengan dropout, VGG3 dengan dropout dan batch normalization dan ResNet-50

referensi:

https://www.sciencedirect.com/science/article/pii/S0167404821000717?casa_token=bsiakb1xWt4AAAAA:Js1WlNtizUsg6ahl9Jl9zG9FUSOgwqxWQiF0nPOYht3Red53DEpyP2UcmtpNgOr6vD5SP9z_Qtw

Install Telegram di Debian

Setelah upgrade debian, saya perlu nginstall telegram. Setelah baca-baca ternyata ada beberapa alternatif cara nginstall tele. Saya coba pake snap. Snap ini paket manager yang dimaintain sama ubuntu. Cara instalasinya :

su

apt install snapd

systemctl restart snapd

ln -s /var/lib/snapd/snap /snap

snap install core

snap install telegram-desktop

tar untuk update tinggal pake perintah

snap refresh

klo mau dihapus

snap remove telegram-desktop

Semoga Bermanfaat!

referensi:

https://www.linuxcapable.com/how-to-install-telegram-on-debian-11-bullseye/

Upgrade Debian 10 ke 11

Hari ini saya coba pas lagi ngoprek ternyata versi linux saya udah jadul. Pas cek versi debian saya pake terminal dengan perintah berikut:

lsb_release -a

ternyata saya masih pake versi 10. Dan udah ada versi debian 11 yang terbaru. Akhirnya saya coba upgrade debian 10 ke 11. Caranya ternyata gampang.

  1. Backup dulu data penting
  2. update versi sekarang dan reboot
  3. Jadi root (su) edit file /etc/apt/sources.list ganti buster dengan bullseye di semua baris
  4. apt update
  5. apt upgrade –without-new-pkgs
  6. apt full-upgrade
  7. reboot

Alhamdulillah lancar jaya. Semoga Bermanfaat!

referensi:

https://www.cyberciti.biz/faq/update-upgrade-debian-10-to-debian-11-bullseye/

Buku Approaching (almost) Any machine learning Problem

Saya lagi baca buku Approaching (almost) any machine learning problem. Buku ini tulisan Abhisekk Thakur. Buku ini kayak repository python khususnya vision. Menurut penulisnya buku ini beda sama buku tradisional. Kayaknya masih terus diupdate. Buku ini bukan pengenalan tentang algoritma mesin learning. Jadi sebelum baca buku ini baiknya udah punya dasar tentang ML.

Selain itu gak ada penjelasan matematik. Penulisnya fokus pada berbagai masalah ML yang sering dihadapi. Mr Thakur ini ahli data science dan 4x grandmaster di kaggle. Isi bukunya:

  • Supervised vs unsupervised learning
  • Cross-validation
  • Evaluation metrics
  • Arranging machine learning projects
  • Approaching categorical variables
  • Feature engineering
  • Feature selection
  • Hyperparameter optimization
  • Image classification and segmentation
  • Text classification and regression
  • Ensembling and stacking
  • Reproducible code and model serving

bukunya bisa diunduh disini:

https://github.com/abhishekkrthakur/approachingalmost/blob/master/AAAMLP.pdf

Semoga Bermanfaat!

Referensi:

Film The Social Dilemma

Kemaren pas acara lustrum FTI Unand, pak Ismail Fahmi sharing banyak hal menarik. Diantaranya dia cerita tentang disinformasi di social media. Dia cerita juga tentang film the social dilemma. Menurut dia film ini cerita banyak tentang berbagai bahaya dari social media.

Diantaranya tentang mental health, ancaman terhadap demokrasi dan diskriminasi. Film ini ada interview dari para pakar seperti Tristan Harris (mantan pakar etiknya google), Jaron Lanier (computer scientist dan ahli virtual reality), Shoshana Zuboff (profesor harvard business school) dll.

Menurut mereka social media saat ini kayak sedang memprogram ulang masayarkat kita. Orang juga semakin addict dengan sosmed. Konon menurut studi dari American Journal of Epidemiology tahun 2017 semakin banyak kita menggunakan sosmed, ada hubungannya dengan masalah mental, kesehatan fisik dan kebahagiaan. Menurut new york times tahun 2019, semakin banyak negara yang mengalami kampanye disinformasi politik di sosmed. Menurut hasil studi internal Facebook, 64% orang yang bergabung dengan grup ekstrimis bergabung karena akibat dari algoritma mereka. Film ini

Trailernya bisa dilihat disini:

https://www.netflix.com/id-en/title/81254224

Web resmi filmnya bisa dilihat disini:

Semoga Bermanfaat!

Kumpulan Materi Reinforcement Learning

Berikut ini kumpulan materi Reinforcement learning online dari berbagai kampus keren:

UC Berkeley

Deepmind

Polytechnique Montreal

https://chandar-lab.github.io/INF8953DE/

Pieter Abbeel

Semoga Bermanfaat!

Referensi:

https://github.com/dair-ai/ML-YouTube-Courses/blob/main/README.md#deep-reinforcement-learning

Video tentang Society 5.0

Kemaren pas nyiapin materi sharing acara lustrum unand nemu beberapa video tentang Society 5.0 berikut ini:

tentang drone, kulkas cerdas, autonomous bus:

yg ini tentang teknologi robot, dan AR

yg ini tentang medis

Semoga Bermanfaat

Cybersecurity Privacy di era Society 5.0

Hari ini saya diminta sharing pada acara lustrum FTI Universitas Andalas. Sebenernya yang diundang pak BR, cuman karena beliau berhalangan, saya diminta jadi stuntman. Tema besar yang diminta panitia tentang Society 5.0, saya diminta ngebahas dari sisi Cybersecurity dan privacy.

Ternyata panelisnya para dewa semua, ada Prof Wisnu Jatmiko dari UI, Ismail Fahmi PhD dari Drone Emprit & Muammar Ghadafi CEO PT Amanah Karya. Pesertanya lumayan banyak ada 220an. Berikut ini materi sharing yang saya sampaikan.

pas sesi tanya jawab ada pertanyaan tentang ransomware

  1. Gimana nanganin ransomware?
  2. Klo bayar bakal dapet kunci gak?
  3. Gimana pencegahan biar gak kena ransomware

Kalo udah kena, emang susah buat ngebalikin data. Yang jelas sebisa mungkin jangan bayar. Cari tau dulu jenis ransomwarenya apa, bisa keliatan dari ekstensi file, atau pesan ransomnya. Untuk cek jenis ransom bisa dilihat di web

https://www.nomoreransom.org/id/

Kalo udah tau jenisnya, kemudian cari tools decryptornya. Untung2 ada di web tadi. Kalo gak ada bisa coba googling. Kemungkinan terburuk instal ulang OSnya. Klo bayar gak dijamin juga dapet kunci ya.

Klo pencegahan, selalu update sistem operasi, pake antivirus, jangan pake software bajakan, selengkapnya bisa dilihat disini:

https://www.nomoreransom.org/id/prevention-advice-for-users.html

Trus ada pertanyaan tentang serangan cyber, benarkah selalu terjadi setiap detik?

Benar. Ada beberapa web yang mantau serangan cyber, pernah saya bahas disini:

Apakah benar serangan meningkat pas ada event tertentu?

benar, misalnya pas pemilu, atau ada lagi ribut dengan malaysia dst. Alasannya kenapa? nah belum tau juga

Bagaimana dengan ACAD-CSIRT? fungsinya apa? bagaimana cara buatnya?

sebenarnya sama dengan CERT dan CSIRT lainnya, yaitu nanganin insiden. hanya saja scopenya di kampus. Cuman sementara ini Acad-csirt lagi kurang aktif. Karena Pak Ign Mantra gak ada. Cara buatnya bisa nanti kontak ID-SIRTII

https://idsirtii.or.id/halaman/tentang/kontak-kami.html

atau ID-CERT

https://www.cert.or.id/kontak/id/

Kalo dokumen yang harus disiapkan adalah rfc 2350, contohnya kayak gini:

https://www.cert.or.id/rfc/id/

Semoga Bermanfaat! Selamat Lustrum FTI Unand

%d blogger menyukai ini: