elaborazione del suono con strumenti open source

Elaborazione del suono con strumenti Open Source

!

Paolo Dal Checco Consulente Informatico Forense

Elaborazione del Suono con Strumenti Open Source - Paolo Dal Checco

festival ICT - 6 novembre 2014 - Milano

Chi sono• PhD in Computer & Network Security

• Consulente Informatico Forense

• Procure, Tribunali, Avvocati, Aziende, Privati

• Co-Titolare Digital Forensics Bureau (DiFoB)

• Founder DEFT Association

• Socio IISFA, AIP, CLUSIT



Perché elaborazione del Suono• Più che di elaborazione, abbiamo cominciato a

occuparci (tra le altre cose) di audio forensics:

• Pulizia del suono (noise/crackle/click/clip/hum/reverb removal)

• Rilevamento contraffazioni audio (tagli, sovrapposizioni, composizioni)

• Confronto timbrico e riconoscimento vocale

• Trascrizioni e riconoscimento parole



Miti e realtà dell’audio forensics



Il suono• Variazione, rispetto a un valore costante,

della pressione dell’aria



Il suono• La variazione ha andamento sinusoidale



Il suono• Il numero di cicli al secondo è la frequenza



Il suono• Il periodo è il tempo impiegato per un ciclo



Il suono• La lunghezza d’onda è la distanza tra due punti

corrispondenti (per esempio due massimi successivi)



Il suono• L’ampiezza è lo scostamento massimo

dalla posizione neutra di equilibrio



Campionamento• Convertire tempo e ampiezza da continui a

discreti, quantizzandoli in base all’esigenza



Campionamento• Maggiore è la frequenza, migliore il campionamento



Campionamento• Errori di campionamento dovuti a frequenza di

campionamento più bassa di quella del segnale

• Frequenza di Nyquist: la frequenza di campionamento deve essere almeno il doppio della max frequenza presente nel segnale



Rappresentazioni del suono

• Tempo-Ampiezza (Waveform)




• Tempo-Frequenza (Spectrogram)

Lineare




• Tempo-Frequenza (Spectrogram)

Logaritmico



Rappresentazioni del suono• Per farci un’idea

indicativa dello spettrogramma, pensiamo a un carillon: il tempo scorre e i buchi sulla piastra indicano le note da suonare



Software Commerciali• Sony Sound Forge + Spectra Tools

• Adobe Audition

• Avid Pro Tools

• iZotope RX 4

• Speech Pro

• Multi Speech 3700



Software Open Source

• Audacity

• PRAAT

• Sonic Visualizer

• Speech Filing System

• SoX



• Multipiattaforma

• Open Source

• Plugin, filtri ed effetti (anche VST)

• Multitraccia

• Potenti funzioni di analisi e visualizzazione



Audacity• Waveform



Audacity• Spettrogramma



Audacity• Waveform + Spettrogramma



Audacity• Plot Spectrum



Audacity• Livello del suono in uscita (RMS Value)

CR: media livello

CP: livello corrente

RP: livello recente

MP: livello massimo

CPCR MP ML



Audacity• Riproduzione continua: SELECT + SHIFT + PLAY



Audacity• Noise Removal



Audacity• Rimozione frequenze alte/basse (low/high pass)



Audacity• Rimozione frequenze specifiche (ad esempio disturbi da linea elettrica)



Audacity• Riproduzione a rallentatore o velocizzata



Audacity• Funzioni di analisi



Audacity• Filtri ed effetti



Audacity• Filtri ed effetti di terze

parti



• Scritto da Paul Boersma e David Weenink, Phonetic Sciences, University of Amsterdam


• Potente per analisi e sintesi fonetica

• Con un po’ di lavoro arrivaai livelli dei sw professionali

• Supporta scripting

• Sì, ha un logo assurdo…

PRAAT



• Una volta caricato il file è possibile scegliere tra numerose attività, per ora ci limitiamo alla visualizzazione delle forme d’onda e degli spettrogrammi

PRAAT



PRAAT



PRAAT• Disegno di

spettrogrammi di un intervallo

• Seleziono intervallo: Spectrum -> View Spectral Slice



PRAAT• Sullo

spettrogramma possiamo decidere di ascoltare soltanto le frequenze desiderate isolando le altre



PRAAT• Esempio di utilizzo: valutare se esiste un taglio nella

registrazione utilizzando intensità o frequenze caratteristiche



PRAAT• Esempio di utilizzo: segmentare le parole

per riconoscere il parlato e confrontarlo



SOX - Sound Exchange• “Coltellino svizzero” dell’audio processing

• Conversione da numerosi formati

• Applicazione di effetti

• Disegno di spettrogrammi


• Open Source



SOX - Sound Exchange• Applicazione di effetti a

catena

• sox telefonata.wav out.wav remix - norm -3 highpass 22 gain -3 rate 48k norm -3 dither

• sox telefonata.wav test.wav reverse reverb



SOX - Sound Exchange• Sintesi del

suono (es. LA-7 con suono di organo)

• play -n -c1 synth sin %-12 sin %-9 sin %-5 sin %-2 fade h 0.1 1 0.1



SOX - Sound Exchange

sox telefonata.wav -n spectrogram



Immagini e suoni• I suoni possono essere visualizzati come

immagine, editati e ricodificati/ascoltati (es. per rimuovere/copiare/incollare frequenze)

• Spectra Layers, RX4, ma anche con PRAAT e Audacity

• Questo significa che si può “sintetizzare” un’immagine e ascoltarne il contenuto dove la posizione dei pixel indica le frequenze e il colore l’intensità del suono



Immagini e suoni

Inverto i colori



Immagini e suoni



Immagini e suoni• Free & OS

• imageSpectrogram: https://github.com/plurSKI/imageSpectrogram

• Free

• Audio Paint: http://www.nicolasfournel.com/audiopaint.htm

• Virtual Ans: http://www.warmplace.ru/soft/ans/

• Commerciali

• PhotoSounder: http://photosounder.com/

• MetaSynth: http://www.uisoftware.com/MetaSynth/index.php

• Audible Ink: https://itunes.apple.com/it/app/audible-ink/id331533183

• SonicPhoto: http://www.skytopia.com/software/sonicphoto/



Q & A• Domande?

• Suggerimenti?

• Osservazioni?

• Contatti?

[email protected] - @forensico www.dalchecco.it / www.difob.it