Multimedia Forensics. Mauro Barni

Transcript

1 Multimedia Forensics Tecnologie a sostegno dell indagine: - identificazione del dispositivo sorgente - rivelazione di contraffazioni dei contenuti Mauro Barni Università di Siena - VIPP Group

2 Sommario Motivazioni Principio base Alcuni esempi Conclusioni

3 Vedere per credere? Le immagini fotografiche hanno perso la loro innocenza (se mai ne hanno avute una) molto tempo fa

4 Vedere per credere?

5 Vedere per credere? Con l avvento della fotografia digitale la validità delle immagini come prove documentali è definitivamente tramontata Basta leggere le notizie di cronaca

6 Vedere per credere? Illuminazione frontale Illuminazione laterale

7 Vedere per credere?

8 Vedere per credere? = +

9 Anche gli scienziati

10 Non solo fotomontaggi CG CG Real CG Real CG Real CG Real Real

11 Vedere per credere? Sonda Phoenix su Marte??? Pesca miracolosa? Incontro tra amici?

12 Risvolti legali Validità probatoria delle immagini digitali Manipolazione dell opinione pubblica Esempio: legislazione contro la child pornography negli USA

13 Analisi forense dei dati visuali Elaborazione di immagini/video: dai problemi alle soluzioni Principio base Ogni dispositivo di acquisizione introduce una firma caratteristica che lo contraddistingue La stessa cosa vale per gli strumenti di elaborazione delle immagini

14 Immagine digitale: il pixel Ad ogni pixel corrisponde un valore compreso in [0, 255] con 0 = nero, 255 = bianco

15 Immagine digitale: il ciclo di vita scena reale lenti & filtro ottico Pattern del CFA sensore dei colori CCD/CMOS Interpolazione dei colori FOTOCAMERA DIGITALE bilanciamento del bianco; saturazione del contrasto; Compressione JPEG Imperfezioni nei sensori (CCD) ad es. pixel difettosi/rumorosi Soluzioni tecnologiche specifiche dei singoli produttori Elaborazioni fuori dalla camera immagine digitale finale

16 Esempio: le immagini a colori B G R

17 Esempio: le immagini a colori Le macchine digitali acquisiscono una sola immagine con i pixel rossi, verdi e blu mischiati secondo una specifica maschera dipendente dal produttore. Luce incidente Strato del filtro Array del sensore Pattern risultanti

18 Esempio: le immagini a colori Ad es. per il canale verde Dall immagine acquisita alle 3 bande di colori Ogni produttore utilizza una procedura di riempimento (interpolazione) diversa.

19 Allo stesso modo Si distinguono immagini generate da una macchina fotografica (digitale) da quelle acquisite mediante scanner Si può capire se un immagine (o porzione di immagine) è stata ridimensionata Come si ingrandisce un immagine?

20 Allo stesso modo x6 pixel x12 pixel Come calcoliamo il valore dei pixel mancanti? Ancora una volta mediante una tecnica di interpolazione

21 Rivelazione di copia&incolla Aggiustamenti delle dimensioni lasciano una firma facilmente identificabile La maggior parte dei fotomontaggi implica un ridimensionamento delle parti incollate, e quindi una interpolazione.

22 Esempio: rumore della camera Le imperfezioni lasciate dal sensore della fotocamera può essere modellato da due principali componenti di rumore: Fixed Pattern Noise (FPN) Differenza pixel a pixel quando non c è presenza di luce (dark current). Nella maggior parte delle fotocamere questa differenza è equalizzata sottraendo il rumore ipotizzato dalla foto. Rumore additivo, dipendente dalla temperatura e dal tempo di esposizione.

23 Esempio: rumore della camera Photo-Response Non-Uniformity (PRNU) Imperfezioni dovute al processo produttivo del semiconduttore, diverse per ciascun sensore Rumore moltiplicativo, non dipendente dalla temperatura e dal tempo. E una impronta 2D deterministica sovrapposta a ciascuna immagine acquisita. Utile per creare un link distintivo tra fotocamera e le sue foto.

24 Esempio: rumore della camera Riferimento del rumore per la fotocamera Filtro di Denoising Rumore estratto Media dei rumori estratti

25 Esempio: rumore della camera Riferimento del rumore per la fotocamera Rumore estratto Attribuzione della relazione tra foto e camera

26 Esempio: rivelazione di clone Una parte dell immagine è copiata e incollata su un altra parte per nascondere del contenuto IDEA: rivelare aree dell immagine innaturalmente simili Originale Manipolata Mappa The image cannot be displayed. Your computer may not have enough memory to open the image, or the image may have been corrupted. Restart your computer, and then open the file again. If the red x still appears, you may have to delete the image and then insert it again. The image cannot be displayed. Your computer may not have enough memory to open the image, or the image may have been corrupted. Restart your computer, and then open the file again. If the red x still appears, you may have to delete the image and then insert it again.

27 Esempio: rivelazione di copia&incolla La compressione JPEG lascia dei segni ai bordi dei blocchi 8x8 usati per comprimere Nel caso di doppia compressione le tracce della vecchi compressione rimangono disallineati rispetto alla nuova compressione

28 Esempio: rivelazione di copia&incolla

29 Esempio: aberrazione L effetto arcobaleno prodotto dalle lenti ha una tipica configurazione spaziale che permette di individuare operazioni di copia incolla

30 Esempio: aberrazione

31 Esempio: luci e ombre L. H. Oswald è stati incriminato per l assassinio di J. F. Kennedy, nel 1963 Nel tempo sono stati sollevati molti dubbi sule prove a suo carico Questa foto di Lee Harvey Oswald nel suo giardino è stata a lungo sospettata di essere un fotomontaggio

32 Esempio: luci e ombre La ricostruzione 3D della scena mostra che le ombre sono del tutto plausibili.

33 Esempio: dipendenza tra immagini E utile per: Definire l immagine sorgente originaria (root) del contenuto Raggruppare immagini che provengono dalla stessa root Capire il ruolo di differenti siti web per la formazione delle opinioni Ricostruire come l uso dell informazione veicolata dall immagine root evolve nello spazio e nel tempo Cosa significa trovare le dipendenze? Date 2 immagini rappresentanti lo stesso contenuto, si vuole capire se la seconda è stata prodotta a partire dalla prima

34 Esempio: dipendenza tra immagini Ipotesi: I = [I C, I R ] Le immagini I A, I B sono indipendenti se e solo se I (I A,R ; I B,R ) = 0 Si cerca di determinare la funzione che può essere stata usata per produrre I B a partire da I A e si usa il coefficiente di correlazione per prendere una decisione:! (I A,R, f * (I B ) R ) > T

35 Esempio: dipendenza tra immagini Concatenazione di 3 funzioni elementari: Trasformazione geometrica (! g ) Trasformazione dei colori (! c ) Compressione JPEG (! J ) Queste trasformazioni rappresentano la maggior parte delle attività di un tipico utente. Il sistema può essere esteso per includere altre funzioni di modifica.

36 Esempio: dipendenza tra immagini

37 Esempio: dipendenza tra immagini Le ultime 3 immagini sulla sinistra hanno una cornice bianca. Le immagini figlie sulla destra hanno i colori modificati rispetto all immagine padre L immagine figlia sulla sinistra sembra essere mal localizzata rispetto ai colori dell immagine padre.

38 Conclusioni Multimedia forensics: un settore di ricerca molto interessante e molto attivo Sebbene ancora giovane Disponibilità di molti algoritmi che considerano differenti problemi Non c è ad oggi una teoria generale disponibile (è possibile?) L analisi dal punto di vista della sicurezza (e robustezza) è necessaria