Lezione 7: Suoni (2) Informatica Multimediale Docente: Umberto Castellani
Sommario Introduzione al suono Rappresentazione del suono Elaborazione digitale Standard MIDI
Elaborazione digitale audio L elaborazione digitale del segnale audio (digital signal processing - DSP) si occupa di segnali rappresentati come serie di numeri ed esplora i cambiamenti che possono essere effettuati in questa serie, (Strawn 1985) Il segnale viene modificato intervenendo sulla sequenza numerica. Una volta modificata la sequenza, il segnale viene riconvertito in onde acustiche. L elaboraziona avviene applicando tecniche matematiche sui segnali digitali
Editing dell audio digitale Un editor per audio digitale (o Sound editor, o Sound Sample Editor) è un programma che consente di modificare un segnale audio digitale (sia esso campionato o sintetizzato) Modifiche non distruttive (i.e., possibilità di undo ). Ci sono diverse funzioni di editing: registrazione, campionamento, riduzione del rumore, effettistica, etc. I software sono specializzati in alcune di queste funzioni Spesso esiste un software di base per il quale le funzioni particolari sono inserite tramite i plug-in (modularità del software) E importante l interfaccia grafica con le sue metafore (traccia, canale, manopole, indicatori di volume, mixer, etc.)
Editing di base Taglia, copia e incolla: come per testo si può selezionare una porzione audio allo scopo di rimuoverla, riprodurla, sostituirla, etc. L incolla prevede sia la sostituzione e sia il missaggio, o la dissovelza (crossfading).
Marcatori e regioni: È possibile inserire degli indicatori di posizione che consentono di navigare velocemente nel file audio allo scopo di modificare più volte esattamente le stesse aree. Cue list: lista di tutte le posizioni temporali o intervalli tra due punti definiti dall utente Play list: è la lista che comprende l ordine di ascolto delle porzioni selezionate (che è indipendente dall ordine del file audio)
Resampling: È possibilie ridefinire il tasso di campionamento di un segnale, la quantizzazione e i canali Es. tipicamente mentre si lavora il segnale viene quantizzato in maniera dettagliata per poi essere ridotto alla fine del lavoro Antialiasing audio (eliminando le frequenze alte) Dithering audio (si ottiene aggiungengo una componente di rumore artificiale al segnale per ridurre l errore di quantizzazione)
Operazioni che imitano gli effetti analogici Invert: Il segnale viene invertito rispetto all asse delle ordinate (i picchi diventano gole e viceversa) Non c è variazione dal punto di vista percettivo. L operazione è utile per missare o incollare un segnale con un altro
Reverse: Il segnale viene invertito rispetto all asse delle ascisse (il tempo). Equivale ad una lettura dalla fine all inizio del segnale Si ottiene un effetto aspirato. Molto usato nella musica elettronica. Suono originale Suono elaborato
Filtri Filtro: un filtro è un dispositivo che lascia passare certe frequenze meglio di altre (Bianchini, Cipriani 98). Il filtro agisce sullo spettro del segnale enfatizzando o attenuando determinate frequenze. passa basso (passano solo le frequenze basse), passa-alto (passano solo le frequenze alte), passa banda (passa solo un certo intervallo), elimina banda (si elimina un certo intervallo e passa il resto). Il cambio dello spettro per effetto del filtro causa una variazione del timbro del suono
Equalizzatore grafico: Un equalizzatore è un banco di filtri passa banda. Suddivide il segnale in aree spettrali (bande) e consente di aumentare/diminuire l energia a essa associata (guadagno o gain). Cambia lo spettro e quindi il timbro. In particolare è molto usato per rinforzare le basse frequenze Gli equalizzatori grafici presentano per ogni banda di frequenza un cursore Suono originale Equalizzazione a V Equalizzazione a
Equalizzatore parametrico: In un equalizzatore parametrico la larghezza di banda non è predeterminata (come nell equalizzatore grafico), ed è possibile controllare in maniera indipendente più parametri di filtraggio (frequenza centrale, larghezza di banda e guadagno). Si usa per intervenire su bande di frequenze definite senza modificare le altre (es. per togliere il sibilo) Suono originale Equalizzazione parametrica
Ritardi (delay) In questa categoria ci sono la maggior parte degli effetti che si basano su una qualche forma di ritardo del suono. Intuitivamente, si tratta di creare una copia del segnale di partenza e di effettuarne una miscelazione con l originale dopo un certo tempo (delay time). Gli algoritmi di ritarno sono tra i più importanti nell elaborazione digitale dei suoni Lo scopo è quello si simulare gli echi prodotti dalle riflessioni dell onda negli ambianti reali
Chorus: Il chorus simula la presenza di più fonti sonore insieme (il canto di un coro: tante persone cantano la stessa melodia ma ogniuna con frequenze diverse e con leggere variazioni del tempo). Una variante del chorus è costituita dal vibrato inteso come rapida e continua variazione dell ampiezza del segnale Il chorus permette di dare corpo al suono (suoni naturalistici) I parametri sono il numero di voci simultanee, il tempo massimo di ritardo, il controllo del vibrato Chorus
Flanger: Si otteneva attraverso un rallentamento meccanico delle bobine di registrazione contenti due tracce identiche. Il segnale originale viene sovrapposto a se stesso modulato nel tempo e in frequenza (a causa delle variazioni di velocità di riproduzione). E molto usato in ambiente musicale (con le chitarre) I parametri sono l intervallo di variazione del ritardo e la frequenza di variazione Suono originale Suono con flanger
Phaser: Il segnale viene combinato con una sua copia sulla quale viene effettuato uno spostamento della fase (quindi in un intervallo di tempo molto ridotto). La copia viene fatta passare attraverso un banco di filtri che non modificano la frequenza del segnale. E simile al flanger e può condurre ad effetti molto diversi (es. wah-wah) Occorre decidere qual è la frequenza centrale attorno alla quale si produce l effetto, il tasso di variazione e la profondità
Delay: Il delay semplicemente aggiunge una o più copie del segnale al segnale stesso dopo un certo intervallo di tempo (delay time). Nel caso di delay multipli le copie vengono ripetute con volumi decrescenti (effetto echo) fino al tempo di decadimento. Il delay simula diverse dimensioni ambientali (dall ambiente asciutto al gran canyon) I parametri sono il tempo di ritardo e il tempo di decadimento del segnale Suono originale Delay multiplo
Reverbero: Il riverbero simula, attraverso l impiego di più linee di ritardo autonome e non in fase, l ambiente acustico in cui si diffonde il suono e da cui quest ultimo viene colorato (ovvero modificato spettralmente) Impiega più linee di ritardo per ogniuna è possibile individuare il tempo di ritardo e l offset (cioè da dove parte il suono) Generalmente il reverbero è combinato con un filtro per l eliminazione del rumore E molto utilizzato per simulare la presenza di un ambiente acustico
Operazioni sulla dinamica Un segnale si presenta con un certo inviluppo d ampiezza a cui precettivamente corrisponde una certa evoluzione del volume e del timbro. Agire sulla dinamica implica operare sul segnale in modo tale da ottenere un risultato percepito in termini di volume, anche se in parte si è modificato lo spettro del segnale (e dunque il timbro) Amplificazione/Inviluppo Normalizzazione Panning Elaborazione della dinamica Distorsione
Amplificazione/Inviluppo: È la moltiplicazione del valore di tutti i campioni per una costante. Il risultato è un aumento dell ampiezza del segnale che non ne modifica il contenuto spettrale e che percettivamente si traduce in aumento del volume. Si possono creare delle dissolvenze in entrata (fade in) o in uscita (fade out). Musicalmente equivale and un crescendo/decrescendo In certi casi è possibile delle progressioni non lineari della dinamica (andamento dell ampiezza nel tempo) definendo un inviluppo arbitrario Il controllo dell ampiezza è fondamentale quando si mescolano suoni diversi che devono diventare omogenei.
Normalizzazione La normalizzazione consiste nella massima amplificazione possibile del segnale senza che si produca distorsione digitale (il clipping). Utile quando occore riquantizzare il suono Utile prima che il suono sia compresso
Panning: Il posizionamento e il movimento laterale del suono su duo o più canali. Nel caso stereofonico consiste nel bilancimento (costante o variabile) del fronte tra i due autoparlanti. E fondamentale per ottenere una spazializzazione del suono
Elaborazione della dinamica: Variare il livello di uscita sulla base del livello di entrata. Compressione: riduce l escursione dinamica di un segnale (si ottiene una omogeneizzazione del segnale) Limitazione: si occupa di limitare la parte del segnale la cui ampiezza supera una certa soglia (es. quando il segnale di input supera una certa soglia viene riportato su valori inferiori). Serve per evitare i picchi senza dover proporzionamente diminuire l intera ampiezza del segnale
Espansione: svolge una funzione opposta al compressore: dilata l escursione dinamica di un segnale, aumentando l ampiezza in uscita per valori più elevati in entrata e diminuendola per i valori più bassi (dato un segnale estremamente omogeneo può incrementarne la ridotta varietà dei piani dinamici noise gating: agisce in modo opposto al limitatore, diminuendo la parte del segnale sotto una soglia. E utile per eliminare il brusio di fondo (es. nelle pause di un discorso)
Distorsione: Si possono intendere due diversi concetti tra loro correlati. Da un lato distorsione indica il fatto che la forma d onda del segnale possa essere stata modificata. Nella computer music invece, la distorsione è un metodo di sintesi che produce un timbro del suono particolare
Rappresentazione musicale: il MIDI Informazione musicale Livelli di rappresentazione Differenza tra audio e musica Introduzione al MIDI Principi di definizione Tipi di informazione
Musica e informazione Rappresentazione del suono in quanto musica Qualsiasi scambio di informazioni richiede che si definisca una qualche forma di linguaggio attraverso il quale realizzare la comunicazione Una volta che l informazione ha assunto una forma precisa, è possibile, oltre allo scambio, anche la trasformazione/manipolazione Serve un linguaggio per la rappresentazione dell informazione
Informazione musicale Nel caso della musica occorre scambiare l informazione musicale definendo un codice o linguaggio musicale Già con la digitalizzazione del suono si ottiene una codifica, ora si vuole andare verso una semantica del suono musicale occorre selezionare quali aspetti della musica (tipi di informazione) debbano essere rappresentabili dal linguaggio Una volta stabilito un codice per la rappresentazione della musica è possibile effettuarne anche la trasformazione/manipolazione Es: data una sequenza di note farne la trasposizione armonica di un tono
Livelli di rappresentazione La rappresentazione della musica avviene a diversi livelli. Ogni forma di rappresentazione della musica deve collocarsi al livello adatto allo scopo Es: il suono (la performance) prodotto da un clarinettista non può essere determinato solo dallo spartito In particolare i livelli di rappresentazione sono: Livello fisico Livello percettivo Livello operativo Livello strutturale Suono di basso eseguito con tecniche diverse
Livelli di rappresentazione (II) Livello fisico: i parametri pertinenti per la rappresentazione sono quelli propri della descrizione fisica del segnale (ampiezza, frequenza, tempo, forma d onda/spettro) Livello percettivo: è il livello soggiacente alle descrizioni psicoacustiche nelle quali le dimensioni pertinenti sono quelle percepite (volume, altezza, durata, timbro) A questo livello si fa spesso uso di diagrammi di rappresentazione
Livelli di rappresentazione Livello operativo: la musica viene rappresentata in termini di istruzioni esecutive. Es: prescrizioni gestuali/strumentali o sistemi di intavolatura Livello simbolico: ne è un esempio la rappresentazione classica della notazione musicale occidentale (lo spartito) Livello strutturale: rappresenta le relazioni logiche che presiedono alla produzione/comprensione della musica Es: come insieme di una grammatica generativa
Interazione tra livelli Nell ambito musicale intervegono i seguenti soggetti: ambiente, ascoltatore, compositore, esecutore, strumento Le competenze strutturali del compositore (livello strutturale) necessitano della mediazione della notazione (livello simbolico) per essere trasmesse all esecutore. Questi traduce la notazione in un insieme di controlli gestuali che governano l esecuzione strumentale (livello operativo). Attraverso lo strumento le operazioni gestuali si trasformano in pressione sonora (livello fisico) che costituisce il correlato acustico del campo fenomenico dell ascoltatore (livello percettivo)
Come interviene il Calcolatore Nell elaborazione del segnale audio: la rappresentazione digitale interessa il rapporto tra esecutore (livello operativo) e ambiente (livello fisico). Nell elaborazione della musica: Si vuole comporre sequenze musicali (livello simbolico) che affidiamo, tradotte in notazione, al calcolatore perché le esegua (livello operativo) Si vuole eseguire una sequenza (livello operativo) aspettandoci che il calcolatore fornisca una rappresentazione musicale dei controlli strumentali che riceve in input (livello simbolico)
Operazioni del Calcolatore La rappresentazione o linguaggio musicale deve rendere possibili alcune operazioni tipiche: Assegnare uno strumento ad un brano Modificare il tempo di esecuzione Definire l andamento dinamico Gestire più livelli di informazioni autonomi Trasporre una parte verso l acuto o verso il grave Etc.
Il MIDI Il MIDI (Musical Instrument Digital Interface) è il protocollo standard per la comunicazione tra dispositivi musicali Un protocollo è un insieme di regole che stabilisce attraverso quali modalità deve avvenire la comunicazione tra dispositivi hardware o processi software differenti Alla base del MIDI c è la necessità di far comunicare sintetizzatori musicali diversi
MIDI e livelli di rappresentazione Il MIDI si colloca sia a livello simbolico e sia a livello operativo Attraverso il MIDI è possibile rappresentare come dati elettronici una performance musicale (n.b., non la forma d onda del segnale audio) L informazione codificata dal protocollo consiste in un insieme di istruzioni per un sintetizzatore che sulla base dei dati ricevuti, si occupa della sintesi audio Il MIDI permette L I/O tra dispositivi diversi
Comunicazione MIDI: esempio 1) Eseguiamo un brano sul un dispositivo di input MIDI (es. la tastiera) 2) I dati esecutivi (quali tasti sono stati premuti, con quanta forza, per quanto tempo) vengono convertiti in forma MIDI 3) I dati MIDI vengono trasmessi, attraverso una connessione hardware dedicata 4) I dati MIDI vengono decodificati da un altro dispositivo MIDI (es. un sintetizzatore) che genera il segnale audio
MIDI e sequencer Se i dati MIDI vengono memorizzati, possono essere modificati attraverso procedure di editing Si chiama Sequencer un sistema (dispositivo fisico o software per un calcolatore generico) di registrazione e di esecuzione dotato di una memoria programmabile nella quale vengono memorizzati i dati di controllo operativo alla (ri-)generazione di eventi musicali Il sequencer memorizza i dati da un dispositivo di input (un sintetizzatore ma anche la tastiera del computer), ne consente l editing e (ri)-crea la performance inviando i dati al dispositivo di esecuzione (un sintetizzatore ma anche la scheda audio del computer)
Dati musicali e sintesi audio La distinzione tra dati musicali e sintesi audio impone come limite che il controllo sul suono sia soltanto indiretto La qualità timbrica del suono dipende solo dal dispositivo di esecuzione (il modulo di sintesi audio) La situazione è analoga al compositore di musica: una partitura fornisce delle istruzioni per gli esecutori, ma la sintesi (generazione) del suono dipende dei gesti degli esecutori stessi e dalla qualità degli strumenti usati
MIDI: tipi di informazioni Canali: i messaggi MIDI vengono indirizzati attraverso specifiche strade. I canali sono indirizzi dai quali i dati musicali possono essere ricevuti e ai quali possono essere inviati. In questo modo si differenziano i timbri del suono associando ad un canale un determinato suono (es. uno strumento) Tracce: è un flusso strutturato e autonomo di messaggi MIDI es. brano per due pianoforti, o melodia e accompagnamento In genere si associa una traccia ad un canale Il sequencer si comporta come un mixer
MIDI: tipi di informazioni (II) Patch: è il timbro prodotto da un generatore può essere una descrizione del segnale o un singolo strumento o una combinazione di più strumenti ed effetti L informazione è strutturata logicamente in tracce, alle quali vengono assegnati dei canali. Ai canali vengono assegnate le patch
Esempio: El Amor Brujo: Danza ritual del fuego): Traccia 1 Caso 1 Traccia 2 Traccia 3 Traccia 4 Traccia 5 Chan 1 Chan 5 Chan 7 Chan 9 Violino Clarinetto Pianoforte Flauto Caso 2 Traccia 1 Traccia 2 Traccia 3 Traccia 4 Chan 1 Chan 5 Chan 7 Violino Clarinetto Pianoforte Traccia 5 Chan 9 Flauto
MIDI: tipi di informazioni (III) Una nota: nel momento che si suona una nota (es. si preme un tasto della tastiera) vengono codificate le seguenti informazioni Nota on/nota off Velocity: fa riferimento al tempo tra l istante in cui il tasto è stato premuto e l istante in cui viene rilasciato (n.b. non è il volume anche se influisce sull ampiezza del suono) Pitch (o altezza della nota): sono a disposizione 128 valori che codificano le note (nel senso intuitivo tradizionale) Aftertouch: codifica informazioni sulla pressione del tasto (es. il vibrato)