POTENZIALITA E LACUNE DELL INGEGNERIA DEL SUONO APPLICATA ALLE INTERCETTAZIONI AUDIO PER IL SETTORE FORENSE

Transcript

1 Dott.ssa Sonia Cenceschi POTENZIALITA E LACUNE DELL INGEGNERIA DEL SUONO APPLICATA ALLE INTERCETTAZIONI AUDIO PER IL SETTORE FORENSE 23 ottobre 2014 Laboratorio di informatica forense Dipartimento tecnologie innovative SUPSI - 1

2 ESEMPI DI CONSULENZA Comparazione vocale Miglioramento dell intelligibilità del parlato Determinazione del sesso del parlatore Individuazione di eventuali manomissioni Estrapolazione di informazioni sonore significative dallo sfondo sonoro (non vocali) LA PERIZIA REALIZZATA A REGOLA D ARTE E : Scientificamente solida Chiara anche a persone non appartenenti al settore Basata su materiale originale Basata su fatti e non su opinioni IL PERITO NON DEVE INOLTRE basare le proprie conclusioni su versioni modificate del materiale originale dott.ssa Sonia Cenceschi - 2

3 L AUDIO FORENSE SFRUTTA CONOSCENZE ATTINTE DA ALTRI CAMPI SCIENTIFICI ESEMPI RICERCA IN CAMPO INFORMATICO: CODIFICA FORMATI AUDIO (ES: CODIFICA MPEG7) RICERCA AUTOMATICA DI MELODIE RICONOSCIMENTO VOCALE PER SOFTWARE DI DETTATURA / TRASCRIZIONE RICERCA IN CAMPO MEDICO DIFETTI DELLA PRODUZIONE ORALE MONITORAGGIO E ALLENAMENTO PROSODICO RICERCA IN CAMPO ARTISTICO: RESTAURO MUSICALE RESTAURO DI TESTIMONIANZE STORICHE ANALISI STORICO MUSICALE dott.ssa Sonia Cenceschi - 3

4 REGISTRAZIONE VOCE Disturbi impulsivi (passi o porte) Disturbi continui (pioggia o radio) RIMOZIONE DEI DISTURBI ANALISI DELLA VOCE Segnale aperiodico e complesso con: SPETTRO HZ / energia massima Hz Articolazione di vocali e consonanti in un continuo temporale dott.ssa Sonia Cenceschi - 4

5 VOT (Voice Time onset) Tempo che intercorre tra l inizio della vibrazione delle corde vocali e l inizio di una vocale (discrimina la pronuncia delle consonanti) MFCC Mel Frequency Cepstral Coefficents Serie di valori che approssimano la percezione auditiva cerebrale di un particolare timbro vocale FLATNESS / HARMONICITY Utile per quantificare il livello di componente rumorosa in una parola dott.ssa Sonia Cenceschi - 5

6 SPECTRAL CENTROID Indicatore relativo al baricentro energetico di un fonema. Più si sposta sugli alti, più la voce Acquista è brillante SCALA BARK Scala di valutazione psicoacustica delle Formanti vocaliche: tiene conto della trasformazione Percettiva che avviene nel cervello al momento della ricezione di un segnale vocalico. Utile per comprendere la discriminazione delle vocali PITCH Frequenza fondamentale del suono armonico (vocalico). Serve per distinguere il sesso del parlatore o per caratterizzarne la voce e i fonemi. E anche definita come la «frequenza fondamentale» e varia con umore e tono di voce dott.ssa Sonia Cenceschi - 6

7 Modulazione e filtro dell apparato fonatorio Filtro e riduzione di banda ( Hz ca) SEGNALE COMPLESSO NEL TEMPO ASCOLTO E TRASCRIZIONE (se realizzabili, vengono fornite più versioni) RIMOZIONE DISTURBI + AMPLIFICAZIONE + TONAL GAIN dott.ssa Sonia Cenceschi - 7

8 VOCALI CONSONANTI ARTICOLAZIONE DEI FONEMI: SUONI DIFFICILMENTE SEPARABILI NEL CONTINUO TEMPORALE SILENZI dott.ssa Sonia Cenceschi - 8

9 VOCALI CONSONANTI VOCALI: maggiormente indicative per la caratterizzazione del parlatore (corde vocali) CONSONANTI: componente rumorosa (create dalle interruzioni del flusso d aria dalla cavità orale) SILENZI (background noise) dott.ssa Sonia Cenceschi - 9

10 La conoscenza della COMPLESSITA DELL APPARATO AUDITIVO UMANO rende meno banale l atto della trascrizione MEMBRANA BASILARE SEGNALE VIBRAZIONI IMPULSI NERVOSI INTERPRETAZIONE TRASCRIZIONE ORGANO DEL CORTI dott.ssa Sonia Cenceschi

11 LA RICOSTRUZIONE MENTALE DEL SIGNIFICANTE IN UN SEGNALE DEGRADATO DIPENDE DA: PREDICIBILITA ACUSTICA PREDICIBILITA DELLA CONOSCENZA LIBRI O. SACKS * COMPLESSITA CEREBRALE Aree principali del linguaggio Più aumenta il rumore più aumenta la componente di INTERPRETAZIONE INFLUENZANO LA COMPRENSIONE: Intelligibilità Naturalezza Gradevolezza Accettabilità e Semantica Background culturale ( ) AREA DI WERNICKE : comprensione AREA DI BROCA : produzione delle parole GIRO ANGOLARE : lettura, scrittura, interpretazione (funzioni complesse) dott.ssa Sonia Cenceschi

12 AUDITIVA AUTOMATICA SEMI-AUTOMATICA Dominio della psicoacustica: ASCOLTO E CONFRONTO DIRETTO Utile su vasto campione di ascoltatori, ma non sufficiente SOFTWARE AUTOMATICI Molto costosi e in continua evoluzione Nessun metodo fornisce prova certa della coincidenza di due parlatori. I risultati sono fortemente influenzati dalle condizioni della registrazione e dalla durata del parlato ANALISI STATISTICA DELLA SOMIGLIANZA DELLE FORMANTI VOCALICHE VOCE IGNOTA VOCE NOTA dott.ssa Sonia Cenceschi

13 PERIZIA A (2000): soggetto considerato colpevole sulla base di una perizia basata su 1 solo ascolto soggettivo e una valutazione liguistica Il condannato (dopo 10 anni di carcere) chiede la revisione del processo con eventuale risarcimento dei danni subiti per circa 400 mila franchi al perito A. Il perito B esegue una controperizia (triplice, secondo i metodi citati) che smonta l inconsistenza della precedente. PROBLEMATICHE L ascolto soggettivo va eseguito su un vasto campione di uditori acusticamente normodotati. Non esistevano software automatici di livello, ma poteva essere eseguita la comparazione semi-automatica Il personale tecnico è responsabile personalmente del proprio operato La comparazione dell accento può essere un argomento a favore, ma solo se eseguito a regola d arte dott.ssa Sonia Cenceschi

14 ESEMPI DI POST-PRODUZIONE RIDUZIONI DI VOLUME DISTURBI ARTIFICIALI TAGLIA E CUCI MASCHERAMENTO DEL TIMBRO IN FASE DI REGISTRAZIONE TELEFONI MODIFICATI E APPARECCHIATURE ELETTRONICHE SMASCHERAMENTO MANUALE : ANALISI DELLO SPETTRO SEMI-AUTOMATICO : ANALISI DEI DISTURBI CONTINUI CON SISTEMI AUTOMATICI ESEMPIO dott.ssa Sonia Cenceschi

15 ISOLAMENTO ANALISI E RICOSTRUZIONE DI: rumori impulsivi (es: arma da fuoco) disturbi continui (es: stazione radio e conseguente individuazione eventuale del luogo) contesto ambientale (es: stazione o automobile e conseguente indizi sugli spostamenti) azioni (es: maltrattamenti fisici) LIMITI DELL APPARATO AUDITIVO Compressione dell informazione audio in entrata Mascheramento simultaneo Mascheramento temporale Banda limitata (20 Hz 16/20 khz) soglia inferiore di intensità variabile con la frequenza Molti altri problemi PSICOACUSTICI PRIMA DOPO dott.ssa Sonia Cenceschi

16 INTERCETTATI UFFICIALMENTE apparecchi [ persone] analisi del traffico telefonico apparecchi [ mila persone] volume compessivo di alcune centinaia di migliaia di conversazioni 3 milioni di singoli eventi (sms/conversazioni...) REGISTRAZIONI UFFICIALI NON TELEFONICHE ( CIMICI etc...in fase di indagine, numerosissime e difficili da quantificare) REGISTRAZIONI PRIVATE (difficili da quantificare) dott.ssa Sonia Cenceschi

17 ASSUMENDO CHE 1 PERITO LAVORI 5 gg/sett * 4 h/gg 46 sett/anno, POTREBBE ASCOLTARE: 1100 h di registrazione TENENDO CONTO CHE: ogni minuto di registrazione richiede un tempo minimo di elaborazione di 20 minuti 1100 * 60 = MINUTI 66000/20 = 3300 MINUTI EFFETTIVI DI CONVERSAZINE ELABORATA =55 ORE/ANNO CONSIDERANDO DALLA SLIDE PRECEDENTE : 30mila apparecchi intercettati: se ciascuno producesse solo 2h di conversazione sensibile/anno, il totale sarebbe h Se altrettante fossero prodotte da privati, intercettazioni e eventi singoli, avremmo in totale 180mila ore/anno, ovvero lavoro annuale per /55 = 3272 PERITI Il calcolo è irrealistico: le ore di registrazione sono molte di più e quelle effettivamente analizzabili non sono quantificabili, ma il «gioco» serve a dare un idea della mole di materiale e lavoro prodotti. dott.ssa Sonia Cenceschi

18 MAIN FUNCTIONS Speech analysis and features extraction: spectral analysis (spectrograms) pitch analysis formant analysis intensity analysis jitter, shimmer, silents Cochleagram (Bark) Annotation moden let s you write under the waveform 18

19 MAIN CONTROLS Denoiser / Hum Removal [continuous noise] Declip / Declick [impulsive noise] Spectral Repair (interpolation of selected areas on a time-frequency spectrogram) De-construct (increases tonal or noisy component) Spectrum analyzer and partial selection EXAMPLES TAGLIO DI AREE DI FRQUENZA SELEZIONE DELLE SINGOLE ARMONICHE AUMENTO DEL GAIN DELLA PARTE TONALE (for voice and music) EQUALIZZAZIONE (...) izotope RX è un software professionale dedicato al solo restauro audio. Contiene comandi, come il Deconstruct, particolarmente indicati per aumentare l intelligibilità del parlato. 19

20 AUDIO FORENSICS Investire in ricerca e formazione significa aumento della sicurezza per collettività e singolo cittadino minore spreco di risorse aumento delle potenzialità investigative Dott.ssa Sonia Cenceschi cenceschi@perizieaudiocencor.it 20