Intelligenza Artificiale sotto Attacco: la Nuova Frontiera del Malware

Transcript

1 Pattern Recognition and Applications Lab Intelligenza Artificiale sotto Attacco: la Nuova Frontiera del Malware Davide Maiorca, Ph.D. Forum ICT Security Roma - 24 Ottobre 208 Dipartimento di Ingegneria Elettrica ed Elettronica Università di Cagliari, Italia

2 Malware Fonte: McAfee Fonte: Symantec McAfee 2

3 Rilevazione Malware Fonte: Avast Fonte: MalwareBytes Kaspersky 3

4 Machine Learning: Motivazioni Capacità di generalizzazione da esempi Predizione di nuovi attacchi (zero-day) Resistenza al polimorfismo (varianti) Altissima accuratezza e pochi falsi positivi invoke-super EVIL CALL const-string SUSPICIOUS STRING const-string BENIGN STRING invoke-virtual ANOTHER EVIL CALL invoke-super EVIL CALL const-string SUSPICIOUS STRING const-string BENIGN STRING invoke-virtual DIFFERENT EVIL CALL Senza ML: Maligno Con ML: Maligno Senza ML: Benigno Con ML: Maligno 4

5 Problema Risolto? Il Machine Learning si evolve verso il Deep Learning Usato soprattutto per la Computer Vision Riconoscimento di immagini estremamente efficiente Tempio Ostrica Tempio Perturbazione Ostrica Fonte: Hackernoon.com 5

6 Machine Learning e Sicurezza Il problema non riguarda solo il Deep Learning e la Computer Vision Cosa succederebbe se un attaccante riuscisse ad ingannare l intelligenza artificiale con un malware? Qualcuno ha iniziato a chiederselo 2 anni fa, in una conferenza di sicurezza informatica (ASIACCS 2006) 6

7 Sistemi di Machine Learning Esempio SPAM Addestramento x x 2 x d x x x x x x xx xx x x xx x x Classificatori Lineari: assegnano un peso a ciascuna feature e classificano un campione basandosi sul segno dello score Dati training (con label) pre-processing ed estrazione feature Addestramento classificatore start bang portfolio winner year university campus SPAM Start 2007 with a bang! Make WBFS YOUR PORTFOLIO s first winner of the year x 0 0 start bang portfolio winner year university campus w start bang portfolio winner year university campus 7

8 Sistemi di Machine Learning Esempio SPAM Test x x 2 x d x x x x x x xx xx x x xx x x Classificatori Lineari: assegnano un peso a ciascuna feature e classificano un campione basandosi sul segno dello score Dati di test pre-processing ed estrazione feature Valutazione Score x w Start 2007 with a bang! Make WBFS YOUR PORTFOLIO s first winner of the year 0 0 start bang portfolio winner year university campus start bang portfolio winner year university campus +6 > 0, SPAM (correctly classified) 8

9 Sicurezza Machine Learning: Esempio SPAM 9

10 Come Evadere «Sistematicamente» il Machine Learning? Il PRALab è stato fra i «pionieri» di questi studi* Due modi per «bucare» un sistema di machine learning Modificare il training set con dati «corrotti» (poisoning) Modificare direttamente i dati visti dal classificatore in fase di test (test-time evasion) Qui ci occuperemo soltanto della seconda tipologia Prima di tutto, bisogna costruire un modello di attaccante Goal Conoscenza Capacità *B. Biggio, I. Corona, D. Maiorca, B. Nelson, N. Srndic, P. Laskov, G. Giacinto, and F. Roli, «Evasion attacks against machine learning at test time», in European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD), 203, vol 890, pagg

11 Goal/Conoscenza/Capacità Goal: cambiare la decisione del classificatore su un attacco correttamente rilevato Conoscenza Perfetta (l attaccante conosce le feature e il classificatore target) Limitata (l attaccante conosce solo parte delle feature ed il tipo di classificatore senza sapere con quali dati è stato addestrato) Capacità: l attaccante può inserire o togliere informazioni (o entrambi) Strategia: «confondere» il classificatore col numero minore di modifiche possibili, attraverso algoritmi di discesa del gradiente

12 Applicazione al Malware Il PRALab è fra i primi ad aver studiato questo problema sui malware Studi approfonditi sui malware contenuti in documenti PDF 3 0 obj << /Kids [ 0 R 0 R ] /Type /Page >> end obj 7 0 obj << /Type /Encoding /Differences [ 0 /C0032 ] >> endobj Features: conteggio keyword /Type 2 /Page /Encoding Capacità: Sola aggiunta di keyword! 2

13 Risultati su PDF Test su 500 campioni modificati Provati diversi classificatori con due livelli di conoscenza Nel caso di conoscenza limitata, il classificatore è stato riaddestrato con dati surrogati 20 modifiche bastano ad evadere modelli lineari e non lineari! 3

14 Strategie Alternative È possibile anche modificare dei campioni benigni* Idea: effettuare il minor numero di modifiche possibili che trasformino un campione benigno in malware Strategia empirica, legata ad una conoscenza «sommaria» del sistema target (ma ugualmente efficace) *D. Maiorca, I. Corona, G. Giacinto, «Looking at the Bag is not Enough to Find the Bomb: an Evasion of Structural Methods for Malicious PDF Files Detection», in 8th ACM Symposium on Information, Computer and Communications Security (ASIACCS 203), Hangzhou, China, 203 4

15 Difese* Abbiamo proposto anche alcune difese per migliorare la robustezza contro attacchi evasivi Idea: se i classificatori lineari danno troppa importanza ad alcune feature, possiamo «regolarizzare» i pesi dei classificatori (cioè renderli più simili l uno all altro) Abbiamo «potenziato» un classificatore lineare SVM (Sec- SVM) per migliorare Drebin, un malware detector per Android Si scambia più «robustezza» con una minore accuratezza *A. Demontis, M. Melis, B. Biggio, D. Maiorca, D. Arp, K. Rieck, I. Corona, G. Giacinto, e F. Roli, «Yes, Machine Learning Can Be More Secure! A Case Study on Android Malware Detection», IEEE Trans. Dependable and Secure Computing, In Press. 5

16 Risultati Sec-SVM 6

17 Conclusioni e Sviluppi Futuri Le macchine «pensano» in maniera diversa dagli umani Sono molto accurate, ma altrettanto «stupide» Può bastare davvero poco per riuscire a «confonderle» Paradossalmente, quello che può darci più sicurezza rischia di indebolirci Serve tantissima ricerca! Difese per algoritmi non lineari Implementazione di attacchi «reali» Difese per algoritmi di deep learning Sviluppo di sistemi «secure by design» Ricerca di feature non manipolabili e molto altro! 7

18 Grazie! 8