recuperação de música baseada em conteúdo { jabca, mpl, mta } @cin.ufpe.br
TRANSCRIPT
Recuperação de música baseada em conteúdo
{ jabca, mpl, mta } @cin.ufpe.br
Agenda
Introdução Técnicas de Busca Exemplos O que vem por aí... Referências
Introdução
O que?
Sistemas capazes de procurar música através do seu conteúdo, além dos tradicionais meta-dados
QBSH: Query by Singing or Humming Usuário canta / assobia / solfeja um trecho de música
para busca
Introdução
Como?
É necessário criar e indexar uma representação simplificada da música, uma “impressão digital”
Levando em consideração os aspectos mais marcantes, como contorno melódico, ritmo, andamento, letras e instrumentação
Introdução
Onde?
Query by singing / humming Vendedores não são perfeitos
Auxílio a musicólogos Encontrar semelhanças e influências entre
composições Mecanismos de copyright
Detectar plágio
Técnicas de Busca
Busca sobre símbolosStrings (para melodias monofônicas)ConjuntosProbabilidade
Busca sobre sinal de áudio (waveform)Audio FingerprintingConjuntosMapas auto-organizáveis
Técnicas de Busca - Strings
Algorítmos de string matchingExatoAproximado
Indexação
Busca sobre sinal de áudio
Divide gravação em frames de curta duração (de 25 a 40ms)
Características mais comuns:LoudnessPitchTone (brightness and bandwidth)Mel-filtered Cepstral CoefficientsDerivatives
Técnicas de Busca – Audio Fingerprinting
Bom para identificar gravações Extrator de características robusto a
ruídos Características não necessariamente
reconhecíveis por humanos Poucos bytes por segmento de gravação
Comparativo
Musipedia / Tuneserver / Melodyhound Grande banco de melodias Múltiplos métodos de entrada Possui busca por rítmo
C-Brahms
Aceita vários parâmetros Também considera ritmo na busca Permite polifonia
Sloud
Faz busca por fragmento MIDI Interface mais amigável
Shazam
Mistérios sobre a implementação Base de 3,5 milhões de músicas Utiliza capacidades do celular
Outros
SongTapper http://www.songtapper.com
FindSounds http://www.findsounds.com
Fraunhofer Institut http://www.musicline.de/de/melodiesuche/input
NYU QBH http://querybyhum.cs.nyu.edu/index.php?p=webdemo
GreenStone http://www.nzdl.org/fast-cgi-bin/music/musiclibrary
Meldex http://www.nzdl.org/fast-cgi-bin/music/musiclibrary
Oi Estúdio http://www.oiloja.com.br/wb/POi/
POi_baacb83133be6010VgnVCM100000d20218acRCRD
O que vem por aí...
Extra
Search Inside the Music (http://research.sun.com/spotlight/2006/2006-06-28_search_inside_music.html)
Google Music Trends (http://www.google.com/trends/music?where=BRA)
Referências
A Survey of Music Information Retrieval Systems - Rainer Typke, Frans Wiering, Remco C. Veltkamp
Multimedia Information Retrieval: MIDI as a format for Content Based Retrieval of Audio, John McDonagh and Alan F. Smeaton
http://www.cs.helsinki.fi/group/cbrahms/demoengine/ http://www.musipedia.com http://www.melodyhound.com http://www.sloud.com http://www.shazam.com http://www.music-ir.org/mirex2006/index.php/Main_Page http://research.sun.com/spotlight/2006/2006-06-
28_search_inside_music.html http://blogs.sun.com/plamere http://www.foosic.org/libfooid.php http://mirsystems.info/ http://en.wikipedia.org/wiki/Acoustic_fingerprint