Bumiayu.id – Deep Learning berkembang pesat dalam hal model dan set datanya. Di sisi aplikasi, pasar pembelajaran mendalam didominasi oleh pengenalan gambar, diikuti oleh pengenalan karakter optik dan pengenalan wajah dan objek.
Menurut Allied Market Research, pasar pembelajaran mendalam global bernilai US$6,85 miliar pada tahun 2020 dan diproyeksikan mencapai US$179,96 miliar pada tahun 2030, dengan CAGR 39,2° dari tahun 2021 hingga 2030. Model besar dan kompleks dianggap bekerja paling baik , tetapi sekarang hampir menjadi mitos.
Seiring berkembangnya AI edge, semakin banyak teknik yang digabungkan untuk mengubah model besar dan kompleks menjadi model sederhana yang dapat dijalankan di edge, dan semua teknik ini digabungkan untuk melakukan kompresi model.
Apa itu Kompresi Model?
Kompresi model adalah proses penerapan model deep learning SOTA (state-of-the-art) ke perangkat edge dengan daya komputasi dan memori rendah tanpa mengorbankan kinerja model dalam hal akurasi, presisi, recall, dll. untuk mempengaruhi.
Kompresi model umumnya mengurangi dua hal. dalam model, yaitu ukuran dan latensi. Mengubah ukuran berfokus pada penyederhanaan model dengan mengurangi parameter model, sehingga mengurangi persyaratan RAM runtime dan persyaratan penyimpanan dalam memori.
Pengurangan latensi mengacu pada pengurangan waktu yang dibutuhkan model untuk membuat prediksi atau memperoleh hasil. Ukuran model dan latensi sering kali berjalan beriringan, dan sebagian besar teknik mengurangi keduanya.
Teknik Kompresi Model Populer
1. Pruning
Pemangkasan / Pruning adalah teknik kompresi model paling populer yang menghilangkan parameter yang berlebihan dan tidak penting. Parameter ini dalam jaringan saraf dapat berupa konektor, neuron, saluran, atau bahkan lapisan. Ini populer karena mengurangi ukuran model dan meningkatkan latensi secara bersamaan.
2. Kuantisasi
Saat kami menghapus neuron, koneksi, filter, lapisan, dll. dalam pemangkasan untuk menurunkan jumlah parameter berbobot, ukuran bobot berkurang selama kuantisasi. Nilai dari kumpulan besar dipetakan ke nilai dalam kumpulan yang lebih kecil dalam proses ini. Dibandingkan dengan jaringan input, jaringan output memiliki rentang nilai yang lebih sempit tetapi menyimpan sebagian besar informasi. Untuk detail lebih lanjut tentang metode ini, Anda dapat membaca artikel mendalam kami tentang kuantisasi model di sini.
3. Penyulingan Pengetahuan
Dalam proses distilasi pengetahuan, kami melatih model yang kompleks dan besar pada dataset yang sangat besar. Setelah menyempurnakan model besar, model ini bekerja dengan baik pada data yang tidak terlihat. Setelah tercapai, pengetahuan ini ditransfer ke Neural Network atau model yang lebih kecil. Keduanya, jaringan guru dan jaringan siswa digunakan. Ada dua aspek di sini yaitu, distilasi pengetahuan di mana kami tidak mengubah model guru sedangkan dalam pembelajaran transfer kami menggunakan model dan bobot yang tepat, mengubah model sampai batas tertentu, dan menyesuaikannya untuk tugas terkait.
4. Faktorisasi Matriks Rendah
Matriks membentuk sebagian besar arsitektur saraf yang paling dalam. Teknik ini bertujuan untuk mengidentifikasi parameter redundan dengan menerapkan dekomposisi matriks atau tensor dan membuatnya menjadi matriks yang lebih kecil. Teknik ini ketika diterapkan pada DNN yang padat mengurangi persyaratan penyimpanan dan faktorisasi lapisan CNN dan meningkatkan waktu inferensi.
Keakuratan dan kinerja model sangat bergantung pada faktorisasi dan pemilihan peringkat yang tepat. Tantangan utama dalam proses faktorisasi peringkat rendah adalah implementasi yang lebih sulit dan komputasi yang intensif. Secara keseluruhan, faktorisasi matriks lapisan padat menghasilkan model yang lebih kecil dan kinerja yang lebih cepat jika dibandingkan dengan representasi matriks peringkat penuh.
Metode ini saling melengkapi satu sama lain dan dapat digunakan di seluruh tahapan saluran AI secara keseluruhan. Kerangka kerja populer seperti TensorFlow dan Pytorch sekarang menyertakan teknik seperti pemangkasan dan kuantisasi.
