potenzialita’ e lacune dell’ingegneria del suono … · dell’ingegneria del suono applicata...
TRANSCRIPT
POTENZIALITA’ E LACUNE DELL’INGEGNERIA DEL SUONO APPLICATA ALLE INTERCETTAZIONI AUDIO PER IL SETTORE FORENSE
1
Dott.ssa Sonia Cenceschi [email protected]
WWW.PERIZIEAUDIOCENCOR.IT
Dott.ssa Sonia Cenceschi [email protected]
WWW.PERIZIEAUDIOCENCOR.IT
23 ottobre 2014 Laboratorio di informatica forense Dipartimento tecnologie innovative
SUPSI - www.supsi.ch/forense
23 ottobre 2014 Laboratorio di informatica forense Dipartimento tecnologie innovative
SUPSI - www.supsi.ch/forense
ESEMPI DI CONSULENZA • Comparazione vocale • Miglioramento
dell’intelligibilità del parlato • Determinazione del sesso del
parlatore • Individuazione di eventuali
manomissioni • Estrapolazione di
informazioni sonore significative dallo sfondo sonoro (non vocali)
LA PERIZIA REALIZZATA A REGOLA D’ARTE E’: • Scientificamente solida • Chiara anche a persone non
appartenenti al settore • Basata su materiale originale • Basata su fatti e non su
opinioni IL PERITO NON DEVE INOLTRE basare le proprie conclusioni su versioni modificate del materiale originale
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 2
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 3
L’AUDIO FORENSE SFRUTTA CONOSCENZE ATTINTE DA ALTRI CAMPI SCIENTIFICI
ESEMPI • RICERCA IN CAMPO INFORMATICO: CODIFICA FORMATI AUDIO (ES: CODIFICA MPEG7) RICERCA AUTOMATICA DI MELODIE RICONOSCIMENTO VOCALE PER SOFTWARE DI DETTATURA / TRASCRIZIONE
• RICERCA IN CAMPO MEDICO DIFETTI DELLA PRODUZIONE ORALE MONITORAGGIO E ALLENAMENTO PROSODICO • RICERCA IN CAMPO ARTISTICO: RESTAURO MUSICALE RESTAURO DI TESTIMONIANZE STORICHE ANALISI STORICO MUSICALE
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 4
Disturbi impulsivi (passi o porte) Disturbi continui (pioggia o radio)
VOCE
REGISTRAZIONE
ANALISI DELLA VOCE
RIMOZIONE DEI DISTURBI
Segnale aperiodico e complesso con: SPETTRO 60-10.000 HZ / energia massima 300-3.000 Hz Articolazione di vocali e consonanti in un continuo temporale
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 5
• VOT (Voice Time onset) Tempo che intercorre tra l’inizio della vibrazione delle corde vocali e l’inizio di una vocale (discrimina la pronuncia delle consonanti) • MFCC Mel Frequency Cepstral Coefficents Serie di valori che approssimano la percezione auditiva cerebrale di un particolare timbro vocale • FLATNESS / HARMONICITY Utile per quantificare il livello di componente rumorosa in una parola
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 6
• SPECTRAL CENTROID Indicatore relativo al baricentro energetico di un fonema. Più si sposta sugli alti, più la voce Acquista è brillante • SCALA BARK Scala di valutazione psicoacustica delle Formanti vocaliche: tiene conto della trasformazione Percettiva che avviene nel cervello al momento della ricezione di un segnale vocalico. Utile per comprendere la discriminazione delle vocali • PITCH Frequenza fondamentale del suono armonico (vocalico). Serve per distinguere il sesso del parlatore o per caratterizzarne la voce e i fonemi. E’ anche definita come la «frequenza fondamentale» e varia con umore e tono di voce
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 7
RIMOZIONE DISTURBI + AMPLIFICAZIONE +
TONAL GAIN
Modulazione e filtro dell’apparato fonatorio
Filtro e riduzione di banda (300-3400Hz ca)
SEGNALE COMPLESSO NEL TEMPO
ASCOLTO E TRASCRIZIONE
(se realizzabili, vengono fornite più versioni)
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 8
CONSONANTI VOCALI
SILENZI ARTICOLAZIONE DEI FONEMI: SUONI DIFFICILMENTE SEPARABILI NEL CONTINUO TEMPORALE
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 9
SILENZI (background noise)
VOCALI CONSONANTI
VOCALI: maggiormente indicative per la caratterizzazione del parlatore (corde vocali) CONSONANTI: componente rumorosa (create dalle interruzioni del flusso d’aria dalla cavità orale)
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 10
La conoscenza della COMPLESSITA’ DELL’APPARATO AUDITIVO UMANO rende meno banale l’atto della trascrizione
ORGANO DEL CORTI
SEGNALE
VIBRAZIONI
MEMBRANA BASILARE
IMPULSI NERVOSI
INTERPRETAZIONE
TRASCRIZIONE
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 11
INFLUENZANO LA COMPRENSIONE: • Intelligibilità • Naturalezza • Gradevolezza • Accettabilità e Semantica • Background culturale (…)
LA RICOSTRUZIONE MENTALE DEL SIGNIFICANTE IN UN SEGNALE DEGRADATO DIPENDE DA: • PREDICIBILITA’ ACUSTICA • PREDICIBILITA’ DELLA
CONOSCENZA Più aumenta il rumore più aumenta la componente di INTERPRETAZIONE
COMPLESSITA’ CEREBRALE Aree principali del linguaggio
AREA DI WERNICKE : comprensione AREA DI BROCA : produzione delle parole GIRO ANGOLARE : lettura, scrittura, interpretazione (funzioni complesse)
LIBRI O. SACKS *
AUDITIVA
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 12
AUTOMATICA SEMI-AUTOMATICA
Dominio della psicoacustica: ASCOLTO E
CONFRONTO DIRETTO
Utile su vasto campione di
ascoltatori, ma non sufficiente
Dominio della psicoacustica: ASCOLTO E
CONFRONTO DIRETTO
Utile su vasto campione di
ascoltatori, ma non sufficiente
SOFTWARE AUTOMATICI
Molto costosi e in continua evoluzione
SOFTWARE AUTOMATICI
Molto costosi e in continua evoluzione
ANALISI STATISTICA DELLA SOMIGLIANZA DELLE
FORMANTI VOCALICHE
ANALISI STATISTICA DELLA SOMIGLIANZA DELLE
FORMANTI VOCALICHE
Nessun metodo fornisce prova certa della coincidenza di due
parlatori.
I risultati sono fortemente influenzati dalle condizioni della registrazione e dalla
durata del parlato
VOCE IGNOTA
VOCE NOTA
PROBLEMATICHE • L’ascolto soggettivo va eseguito
su un vasto campione di uditori acusticamente normodotati.
• Non esistevano software automatici di livello, ma poteva essere eseguita la comparazione semi-automatica
• Il personale tecnico è responsabile personalmente del proprio operato
• La comparazione dell’accento può essere un argomento a favore, ma solo se eseguito a regola d’arte
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 13
PERIZIA A (2000): soggetto considerato colpevole sulla base di una perizia basata su 1 solo ascolto soggettivo e una valutazione liguistica
Il condannato (dopo 10 anni di carcere) chiede la revisione del processo con eventuale risarcimento dei danni subiti per circa 400 mila franchi al perito A.
Il perito B esegue una controperizia (triplice, secondo i metodi citati) che smonta l’ inconsistenza della precedente.
ESEMPI DI POST-PRODUZIONE • RIDUZIONI DI VOLUME • DISTURBI ARTIFICIALI • TAGLIA E CUCI • MASCHERAMENTO DEL
TIMBRO
IN FASE DI REGISTRAZIONE • TELEFONI MODIFICATI E
APPARECCHIATURE ELETTRONICHE
SMASCHERAMENTO • MANUALE : ANALISI DELLO
SPETTRO • SEMI-AUTOMATICO : ANALISI
DEI DISTURBI CONTINUI • CON SISTEMI AUTOMATICI
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 14
ESEMPIO
ISOLAMENTO ANALISI E RICOSTRUZIONE DI:
• rumori impulsivi (es: arma da fuoco)
• disturbi continui (es: stazione radio e conseguente individuazione eventuale del luogo)
• contesto ambientale (es: stazione o automobile e conseguente indizi sugli spostamenti)
• azioni (es: maltrattamenti fisici)
ISOLAMENTO ANALISI E RICOSTRUZIONE DI:
• rumori impulsivi (es: arma da fuoco)
• disturbi continui (es: stazione radio e conseguente individuazione eventuale del luogo)
• contesto ambientale (es: stazione o automobile e conseguente indizi sugli spostamenti)
• azioni (es: maltrattamenti fisici)
LIMITI DELL’APPARATO AUDITIVO • Compressione dell’informazione
audio in entrata • Mascheramento simultaneo • Mascheramento temporale • Banda limitata (20 Hz – 16/20 kHz) • soglia inferiore di intensità
variabile con la frequenza • Molti altri problemi
PSICOACUSTICI
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 15
PRIMA DOPO
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 16
volume compessivo di alcune centinaia di migliaia di
conversazioni
INTERCETTATI UFFICIALMENTE 30.000 apparecchi [20.000 persone]
REGISTRAZIONI PRIVATE (difficili da quantificare)
analisi del traffico telefonico 150.000 apparecchi
[50-100 mila persone]
3 milioni di singoli eventi (sms/conversazioni...)
REGISTRAZIONI UFFICIALI NON TELEFONICHE (“CIMICI” etc...in fase di indagine,
numerosissime e difficili da quantificare)
dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 17
1100 * 60 = 66000 MINUTI 66000/20 = 3300 MINUTI
EFFETTIVI DI CONVERSAZINE ELABORATA =55 ORE/ANNO
CONSIDERANDO DALLA SLIDE PRECEDENTE :
30mila apparecchi intercettati: se ciascuno producesse solo 2h di conversazione sensibile/anno, il totale sarebbe 60000 h
Se altrettante fossero prodotte da privati, intercettazioni e eventi singoli, avremmo in totale 180mila ore/anno, ovvero lavoro annuale per
180000/55 = 3272 PERITI
ASSUMENDO CHE 1 PERITO LAVORI 5 gg/sett * 4 h/gg
46 sett/anno, POTREBBE ASCOLTARE: 1100 h di registrazione
TENENDO CONTO CHE: ogni minuto di registrazione richiede un tempo minimo di elaborazione di 20 minuti
Il calcolo è irrealistico: le ore di registrazione sono molte di più e quelle effettivamente analizzabili non sono quantificabili, ma il «gioco» serve a dare un’idea della mole di materiale e lavoro prodotti.
Speech analysis and features extraction: • spectral analysis (spectrograms) • pitch analysis • formant analysis • intensity analysis • jitter, shimmer, silents • Cochleagram (Bark) • Annotation moden let’s you write under the
waveform
MAIN FUNCTIONS
18
MAIN CONTROLS • Denoiser / Hum Removal [continuous
noise] • Declip / Declick [impulsive noise] • Spectral Repair (interpolation of selected areas
on a time-frequency spectrogram) • De-construct (increases tonal or noisy component) • Spectrum analyzer and partial selection
EXAMPLES • TAGLIO DI AREE DI
FRQUENZA • SELEZIONE DELLE SINGOLE ARMONICHE • AUMENTO DEL GAIN DELLA
PARTE TONALE (for voice and music) • EQUALIZZAZIONE (...)
iZotope RX è un software professionale dedicato al solo restauro audio. Contiene comandi, come il Deconstruct, particolarmente indicati per aumentare l’intelligibilità
del parlato. 19
AUDIO FORENSICS Investire in ricerca e formazione significa • aumento della sicurezza per
collettività e singolo cittadino • minore spreco di risorse • aumento delle potenzialità
investigative
20
Dott.ssa Sonia Cenceschi [email protected]
WWW.PERIZIEAUDIOCENCOR.IT
Dott.ssa Sonia Cenceschi [email protected]
WWW.PERIZIEAUDIOCENCOR.IT