Lezione 7: Suoni (2)

Informatica Multimediale

Docente:

Umberto Castellani

Sommario

Introduzione al suono

Rappresentazione del suono

Elaborazione digitale

Standard MIDI

Elaborazione digitale audio

“L‟elaborazione digitale del segnale audio (digital signal processing - DSP) si occupa di segnali rappresentati come serie di numeri ed esplora i cambiamenti che possono essere effettuati in questa serie”, (Strawn 1985)

Il segnale viene modificato intervenendo sulla sequenza numerica. Una volta modificata la sequenza, il segnale viene riconvertito in onde acustiche.

L‟elaboraziona avviene applicando tecniche matematiche sui segnali digitali

Editing dell’audio digitale

Un editor per audio digitale (o Sound editor, o Sound Sample Editor) è un programma che consente di modificare un segnale audio digitale (sia esso campionato o sintetizzato)

– Modifiche non distruttive (i.e., possibilità di „undo‟).

– Ci sono diverse funzioni di editing: registrazione, campionamento, riduzione del rumore, effettistica, etc.

– I software sono specializzati in alcune di queste funzioni

– Spesso esiste un software di base per il quale le funzioni particolari sono inserite tramite i plug-in (modularità del software)

– E‟ importante l‟interfaccia grafica con le sue metafore (traccia, canale, manopole, indicatori di volume, mixer, etc.)

Editing di base

Taglia, copia e incolla:

come per testo si può selezionare una

porzione audio allo scopo di rimuoverla,

riprodurla, sostituirla, etc. L‟incolla prevede

sia la sostituzione e sia il missaggio, o la

dissovelza (crossfading).

Marcatori e regioni:

È possibile inserire degli indicatori di posizione che

consentono di navigare velocemente nel file audio

allo scopo di modificare più volte esattamente le

stesse aree.

– Cue list: lista di tutte le posizioni temporali o intervalli tra

due punti definiti dall‟utente

– Play list: è la lista che comprende l‟ordine di ascolto delle

porzioni selezionate (che è indipendente dall‟ordine del file

audio)

Resampling:

È possibilie ridefinire il tasso di campionamento di un segnale, la quantizzazione e i canali

– Es. tipicamente mentre si lavora il segnale viene quantizzato in maniera dettagliata per poi essere „ridotto‟ alla fine del lavoro

– Antialiasing audio (eliminando le frequenze alte)

– Dithering audio (si ottiene aggiungengo una componente di rumore artificiale al segnale per ridurre l‟errore di quantizzazione)

Operazioni che imitano gli effetti analogici

Invert:

– Il segnale viene invertito rispetto all‟asse delle

ordinate (i picchi diventano gole e viceversa)

– Non c‟è variazione dal punto di vista percettivo.

L‟operazione è utile per missare o incollare un

segnale con un altro

Reverse:

– Il segnale viene invertito rispetto all‟asse delle

ascisse (il tempo). Equivale ad una lettura dalla

fine all‟inizio del segnale

– Si ottiene un effetto „aspirato‟. Molto usato nella

musica elettronica.

Suono originale Suono elaborato

Filtri

Filtro: “un filtro è un dispositivo che lascia passare certe

frequenze meglio di altre”(Bianchini, Cipriani 98).

Il filtro agisce sullo spettro del segnale enfatizzando o

attenuando determinate frequenze.

passa basso (passano solo le frequenze basse), passa-alto

(passano solo le frequenze alte), passa banda (passa solo un

certo intervallo), elimina banda (si elimina un certo intervallo e

passa il resto).

Il cambio dello spettro per effetto del filtro causa una variazione

del timbro del suono

Equalizzatore grafico:

Un equalizzatore è un banco di filtri passa banda.

Suddivide il segnale in aree spettrali (bande) e

consente di aumentare/diminuire l‟energia a essa

associata (guadagno o gain).

– Cambia lo spettro e quindi il timbro. In particolare è molto

usato per rinforzare le basse frequenze

– Gli equalizzatori grafici presentano per ogni banda di

frequenza un cursore

Suono originale Equalizzazione a V Equalizzazione a

Equalizzatore parametrico:

In un equalizzatore parametrico la larghezza di

banda non è predeterminata (come

nell‟equalizzatore grafico), ed è possibile controllare

in maniera indipendente più parametri di filtraggio

(frequenza centrale, larghezza di banda e

guadagno).

– Si usa per intervenire su bande di frequenze definite senza

modificare le altre (es. per togliere il sibilo)

Suono originale Equalizzazione parametrica

Ritardi (delay)

In questa categoria ci sono la maggior parte degli „effetti‟ che si basano su una qualche forma di ritardo del suono.

Intuitivamente, si tratta di creare una copia del segnale di partenza e di effettuarne una miscelazione con l‟originale dopo un certo tempo (delay time).

Gli algoritmi di ritarno sono tra i più importanti nell‟elaborazione digitale dei suoni

Lo scopo è quello si simulare gli echi prodotti dalle riflessioni dell‟onda negli ambianti reali

Chorus:

Il chorus simula la presenza di più fonti sonore insieme (il canto

di un coro: tante persone cantano la stessa melodia ma

ogniuna con frequenze diverse e con leggere variazioni del

tempo). Una variante del chorus è costituita dal vibrato inteso

come rapida e continua variazione dell‟ampiezza del segnale

– Il chorus permette di dare „corpo‟ al suono (suoni

naturalistici)

– I parametri sono il numero di voci simultanee, il tempo

massimo di ritardo, il controllo del vibrato

Chorus

Flanger:Si otteneva attraverso un rallentamento meccanico delle bobine

di registrazione contenti due tracce identiche. Il segnale

originale viene sovrapposto a se stesso modulato nel tempo e

in frequenza (a causa delle variazioni di velocità di

riproduzione).

– E‟ molto usato in ambiente musicale (con le chitarre)

– I parametri sono l‟intervallo di variazione del ritardo e la

frequenza di variazione

Suono originale Suono con flanger

Phaser:

Il segnale viene combinato con una sua copia sulla quale viene effettuato uno spostamento della fase (quindi in un intervallo di tempo molto ridotto). La copia viene fatta passare attraverso un banco di filtri che non modificano la frequenza del segnale.

– E‟ simile al flanger e può condurre ad effetti molto diversi (es. wah-wah)

– Occorre decidere qual è la frequenza centrale attorno alla quale si produce l‟effetto, il tasso di variazione e la profondità

Delay:

Il delay semplicemente aggiunge una o più copie del segnale al

segnale stesso dopo un certo intervallo di tempo (delay time).

– Nel caso di delay multipli le copie vengono ripetute con

volumi decrescenti (effetto echo) fino al tempo di

decadimento.

– Il delay simula diverse dimensioni ambientali (dall‟ambiente

„asciutto‟ al gran canyon)

– I parametri sono il tempo di ritardo e il tempo di

decadimento del segnale

Suono originale Delay multiplo

Reverbero:

Il riverbero simula, attraverso l‟impiego di più linee di ritardo

autonome e non in fase, l‟ambiente acustico in cui si diffonde il

suono e da cui quest‟ultimo viene „colorato‟ (ovvero modificato

spettralmente)

– Impiega più linee di ritardo per ogniuna è possibile

individuare il tempo di ritardo e l‟offset (cioè da dove parte il

suono)

– Generalmente il reverbero è combinato con un filtro per

l‟eliminazione del rumore

– E‟ molto utilizzato per simulare la presenza di un ambiente

acustico

Operazioni sulla dinamica

Un segnale si presenta con un certo inviluppo d‟ampiezza a cui

precettivamente corrisponde una certa evoluzione del volume e

del timbro. Agire sulla dinamica implica operare sul segnale in

modo tale da ottenere un risultato percepito in termini di

volume, anche se in parte si è modificato lo spettro del segnale

(e dunque il timbro)

– Amplificazione/Inviluppo

– Normalizzazione

– Panning

– Elaborazione della dinamica

– Distorsione

Amplificazione/Inviluppo:È la moltiplicazione del valore di tutti i campioni per una costante. Il risultato è un aumento dell‟ampiezza del segnale che non ne modifica il contenuto spettrale e che percettivamente si traduce in aumento del volume.

– Si possono creare delle dissolvenze in entrata (fade in) o in uscita (fade out).

– Musicalmente equivale and un crescendo/decrescendo

– In certi casi è possibile delle progressioni non lineari della dinamica (andamento dell‟ampiezza nel tempo) definendo un inviluppo arbitrario

– Il controllo dell‟ampiezza è fondamentale quando si mescolano suoni diversi che devono diventare omogenei.

Normalizzazione

La normalizzazione consiste nella massima

amplificazione possibile del segnale senza

che si produca distorsione digitale (il

clipping).

– Utile quando occore riquantizzare il suono

– Utile prima che il suono sia compresso

Panning:

Il posizionamento e il movimento laterale del suono

su duo o più canali. Nel caso stereofonico consiste

nel bilancimento (costante o variabile) del fronte tra i

due autoparlanti.

– E‟ fondamentale per ottenere una

spazializzazione del suono

Elaborazione della dinamica:

Variare il livello di uscita sulla base del livello di

entrata.

– Compressione: riduce l‟escursione dinamica di un segnale

(si ottiene una omogeneizzazione del segnale)

– Limitazione: si occupa di „limitare‟ la parte del segnale la cui

ampiezza supera una certa soglia (es. quando il segnale di

input supera una certa soglia viene riportato su valori

inferiori). Serve per evitare i picchi senza dover

proporzionamente diminuire l‟intera ampiezza del segnale

– Espansione: svolge una funzione opposta al compressore:

dilata l‟escursione dinamica di un segnale, aumentando

l‟ampiezza in uscita per valori più elevati in entrata e

diminuendola per i valori più bassi (dato un segnale

estremamente omogeneo può incrementarne la ridotta

varietà dei piani dinamici

– noise gating: agisce in modo opposto al limitatore,

diminuendo la parte del segnale sotto una soglia. E‟ utile

per eliminare il brusio di fondo (es. nelle pause di un

discorso)

Distorsione:

Si possono intendere due diversi concetti tra loro correlati. Da

un lato distorsione indica il fatto che la forma d‟onda del

segnale possa essere stata modificata. Nella computer music

invece, la distorsione è un metodo di sintesi che produce un

timbro del suono particolare

Rappresentazione musicale: il MIDI

Informazione musicale

Livelli di rappresentazione

Differenza tra audio e musica

Introduzione al MIDI

– Principi di definizione

– Tipi di informazione

Musica e informazione

Rappresentazione del suono in quanto musica

Qualsiasi scambio di informazioni richiede che si

definisca una qualche forma di linguaggio attraverso

il quale realizzare la comunicazione

Una volta che l‟informazione ha assunto una forma

precisa, è possibile, oltre allo scambio, anche la

trasformazione/manipolazione

Serve un linguaggio per la rappresentazione

dell‟informazione

Informazione musicale

Nel caso della musica occorre scambiare l‟informazione

musicale definendo un codice o linguaggio musicale

Già con la digitalizzazione del suono si ottiene una codifica, ora

si vuole andare verso una semantica del suono musicale

occorre selezionare quali aspetti della musica (tipi di

informazione) debbano essere rappresentabili dal linguaggio

Una volta stabilito un codice per la rappresentazione della

musica è possibile effettuarne anche la

trasformazione/manipolazione

– Es: data una sequenza di note farne la trasposizione

armonica di un tono

Livelli di rappresentazione

La rappresentazione della musica avviene a diversi livelli.

Ogni forma di rappresentazione della musica deve collocarsi al livello adatto allo scopo

– Es: il suono (la performance) prodotto da un clarinettista non può essere determinato solo dallo spartito

In particolare i livelli di rappresentazione sono:– Livello fisico

– Livello percettivo

– Livello operativo

– Livello strutturale Suono di basso eseguito

con tecniche diverse

Livelli di rappresentazione (II)

Livello fisico: i parametri pertinenti per la

rappresentazione sono quelli propri della descrizione

fisica del segnale (ampiezza, frequenza, tempo,

forma d‟onda/spettro)

Livello percettivo: è il livello soggiacente alle

descrizioni psicoacustiche nelle quali le dimensioni

pertinenti sono quelle percepite (volume, altezza,

durata, timbro)

– A questo livello si fa spesso uso di diagrammi di

rappresentazione

Livelli di rappresentazione

Livello operativo: la musica viene rappresentata in

termini di istruzioni esecutive.

– Es: prescrizioni gestuali/strumentali o sistemi di intavolatura

Livello simbolico: ne è un esempio la

rappresentazione classica della notazione musicale

occidentale (lo spartito)

Livello strutturale: rappresenta le relazioni logiche

che presiedono alla produzione/comprensione della

musica

– Es: come insieme di una grammatica generativa

Interazione tra livelli

Nell‟ambito musicale intervegono i seguenti soggetti: ambiente,

ascoltatore, compositore, esecutore, strumento

Le competenze strutturali del compositore (livello strutturale)

necessitano della mediazione della notazione (livello simbolico)

per essere trasmesse all‟esecutore. Questi traduce la notazione

in un insieme di controlli gestuali che governano l‟esecuzione

strumentale (livello operativo). Attraverso lo strumento le

operazioni gestuali si trasformano in pressione sonora (livello

fisico) che costituisce il correlato acustico del campo

fenomenico dell‟ascoltatore (livello percettivo)

Come interviene il Calcolatore

Nell‟elaborazione del segnale audio: la rappresentazione digitale interessa il rapporto tra esecutore (livello operativo) e ambiente (livello fisico).

Nell‟elaborazione della musica: – Si vuole comporre sequenze musicali (livello simbolico) che

affidiamo, tradotte in notazione, al calcolatore perché le esegua (livello operativo)

– Si vuole eseguire una sequenza (livello operativo) aspettandoci che il calcolatore fornisca una rappresentazione musicale dei controlli strumentali che riceve in input (livello simbolico)

Operazioni del Calcolatore

La rappresentazione o linguaggio musicale deve

rendere possibili alcune operazioni tipiche:

– Assegnare uno strumento ad un brano

– Modificare il tempo di esecuzione

– Definire l‟andamento dinamico

– Gestire più livelli di informazioni autonomi

– Trasporre una parte verso l‟acuto o verso il grave

– Etc.

Il MIDI

Il MIDI (Musical Instrument Digital Interface) è il protocollo standard per la comunicazione tra dispositivi musicali

Un protocollo è un insieme di regole che stabilisce attraverso quali modalità deve avvenire la comunicazione tra dispositivi hardware o processi software differenti

Alla base del MIDI c‟è la necessità di far comunicare sintetizzatori musicali diversi

MIDI e livelli di rappresentazione

Il MIDI si colloca sia a livello simbolico e sia a livello operativo

– Attraverso il MIDI è possibile rappresentare come dati elettronici una performance musicale (n.b., non la forma d‟onda del segnale audio)

– L‟informazione codificata dal protocollo consiste in un‟insieme di istruzioni per un sintetizzatore che sulla base dei dati ricevuti, si occupa della sintesi audio

– Il MIDI permette L‟I/O tra dispositivi diversi

Comunicazione MIDI: esempio

1) Eseguiamo un brano sul un dispositivo di input MIDI (es. la tastiera)

2) I dati esecutivi (quali tasti sono stati premuti, con quanta forza, per quanto tempo) vengono convertiti in forma MIDI

3) I dati MIDI vengono trasmessi, attraverso una connessione hardware dedicata

4) I dati MIDI vengono decodificati da un altro dispositivo MIDI (es. un sintetizzatore) che genera il segnale audio

MIDI e sequencer

Se i dati MIDI vengono memorizzati, possono essere modificati

attraverso procedure di editing

Si chiama Sequencer un sistema (dispositivo fisico o software

per un calcolatore generico) di registrazione e di esecuzione

dotato di una memoria programmabile nella quale vengono

memorizzati i dati di controllo operativo alla (ri-)generazione di

eventi musicali

Il sequencer memorizza i dati da un dispositivo di input (un

sintetizzatore ma anche la tastiera del computer), ne consente

l‟editing e (ri)-crea la performance inviando i dati al dispositivo

di esecuzione (un sintetizzatore ma anche la scheda audio del

computer)

Dati musicali e sintesi audio

La distinzione tra dati musicali e sintesi audio

impone come limite che il controllo sul suono sia

soltanto indiretto

La qualità timbrica del suono dipende solo dal

dispositivo di esecuzione (il modulo di sintesi audio)

– La situazione è analoga al compositore di musica: una

partitura fornisce delle istruzioni per gli esecutori, ma la

sintesi (generazione) del suono dipende dei gesti degli

esecutori stessi e dalla qualità degli strumenti usati

MIDI: tipi di informazioni

Canali: i messaggi MIDI vengono indirizzati attraverso specifiche „strade‟. I canali sono „indirizzi‟ dai quali i dati musicali possono essere ricevuti e ai quali possono essere inviati. In questo modo si differenziano i timbri del suono associando ad un canale un determinato suono (es. uno strumento)

Tracce: è un flusso strutturato e autonomo di messaggi MIDI

– es. brano per due pianoforti, o melodia e accompagnamento

– In genere si associa una traccia ad un canale

– Il sequencer si comporta come un mixer

MIDI: tipi di informazioni (II)

Patch: è il timbro prodotto da un generatore

– può essere una descrizione del segnale o un

singolo strumento o una combinazione di più

strumenti ed effetti

– L‟informazione è strutturata logicamente in tracce,

alle quali vengono assegnati dei canali. Ai canali

vengono assegnate le patch

Esempio:

Caso 1

Caso 2

El Amor Brujo: Danza ritual del fuego):

Chan 1

Chan 5

Chan 7

Chan 9

Traccia 1

Traccia 2

Traccia 3

Traccia 4

Traccia 5

Violino

Clarinetto

Pianoforte

Flauto

Traccia 1

Traccia 2

Traccia 3

Traccia 4

Traccia 5

Chan 1

Chan 5

Chan 7

Chan 9

Violino

Clarinetto

Pianoforte

Flauto

MIDI: tipi di informazioni (III)

Una nota: nel momento che si suona una nota (es. si preme un tasto della tastiera) vengono codificate le seguenti informazioni

– Nota on/nota off

– Velocity: fa riferimento al tempo tra l‟istante in cui il tasto è stato premuto e l‟istante in cui viene rilasciato (n.b. non è il volume anche se influisce sull‟ampiezza del suono)

– Pitch (o altezza della nota): sono a disposizione 128 valori che codificano le note (nel senso intuitivo tradizionale)

– Aftertouch: codifica informazioni sulla pressione del tasto (es. il vibrato)