Music Information Retrieval

Transcript

1 : Manipolazione del segnale audio e Music Information Retrieval Music Information Retrieval lezione 9: 11/04/2016

2 Sound and Music Computing Definizione e scopo Studio della catena di comunicazione relativa a suono e musica da un punto di vista multidisciplinare Uso di metodi scientifici, tecnologici e artistici per capire, modellare e generare suono e musica Approccio computazionale

3 Sound and Music Computing Storia Ha origine negli anni 50 dal lavoro di ricercatori e compositori di musica elettronica e contemporanea E identificata con nomi diversi: Sound & Music Computing, Computer Music, Music Technology, Informatica Musicale Centri di ricerca storici sono: IRCAM (Inst. for Research and Coordination Acoustic/Music) CCRMA (Center for Computer Research in Music and Acoustics) Istituto di Fonologia RAI di Milano

4 Sound and Music Computing Sottodiscipline SMC si può dividere in diverse sotto discipline: Processing e manipolazione Modellazione Interfacce e interazione Creazione assistita Applicabili nei seguenti ambiti: Digital music instruments, Music production, Digital music libraries, Music information retrieval, Interactive multimedia systems, Auditory interfaces, Augmented action and perception, computational musicology, ecc

5 Definizione Insieme di tecniche interdisciplinari per l estrazione di informazioni dalla musica: Musica, Musicologia, Psicofisiologia, Elaborazione dei segnali, Machine learning Diverse applicazioni: Sistemi di raccomandazione Trascrizione automatica Source Separation Classificazione e clustering Instrument recognition Music generation Musicologia computazionale

6 Tecniche Si lavora su diverse rappresentazioni: Livello fisico, simbolico e performativo Fa uso di tecniche di feature extraction per la descrizione multidimensionale del materiale Fa uso di tecniche statistiche e di machine learning per la riduzione della dimensionalità, l analisi dei dati e la rappresentazione delle informazioni

7 Applicazioni Interazione uomo-macchina e interfacce Percezione, affective computing Archivistica, DB e collezioni digitali Proprietà intellettuale e DRM Sociologia ed economia dei beni musicali Musicologia ed etnomusicologia

8 Feature extraction Feature globali (rispetto al un segmento) e locali Liberi di inventarne altre basta che abbiano senso! Esempio di feature globali nel dominio del tempo:

9 Feature extraction (local descriptors) Esempio di feature locali nel dominio del tempo:

10 Feature extraction (local descriptors) Esempio di feature locali relative allo spettro:

11 Feature extraction (local descriptors) Esempio di feature locali relative allo spettro armonico:

12 Feature extraction Per analizzare un singolo file si valutano le feature locali per quello che sono: serie temporali Se si analizzano le feature per differenziare più file le serie temporali vengono ridotte ad uno o due valori scalari per mezzo di (a scelta): Media Mediana Deviazione Standard Interquartile

13 Feature extraction Come si calcola una feature? Scopo: Quale informazione si vuole estrarre? Input: In quale dominio è più comodo lavorare? Tempo? Frequenza? Cepstrum? Unità di misura dell output: Quale è più consona? Significatività Interoperabilità Algoritmo: Deve soddisfare le solite regole Efficiente, efficace, robusto, bello

14 Feature extraction tools Tools per le operazioni di feature extraction Matlab MIRToolbox: link TimbreToolbox: link Java jmir: link Python Music 21: link C++ Essentia: link Marsyas: link Aubio: link Altro SMC Network: link