computational methods for jingju music research: the...
TRANSCRIPT
Computational Methods for Jingju Music Research: the CompMusic Project
Xavier Serra, Rafael Caro Repetto, Zhang Shuo
+ Ajay Srinivasamurthy, Sankalp Gulati, Alastair Porter, Sertan
Şentürk, Gong Rong, Yile Yang, Georgi Dzhambazov, …
Music Technology Group Universitat Pompeu Fabra, Barcelona
Universitat Pompeu Fabra, Barcelona
Music Technology Group - UPF
• within the Department of Information and Communication Technologies
• Graduate programs:
– Master in Sound and Music Computing
– PhD in Information and Communication Technologies
• Research:
– Audio Signal Processing
– Music Information Retrieval
– Semantic Technologies for Music
– Musical Interfaces
Some older projects
Vocaloid
Reactable
freesound.org
Some new projects
Cortosia
good-sounds.org
acousticbrainz.org
Music Information Retrieval: make sense of music data
Tools for music exploration
Our IT view of the world
CompMusic: “Computational models for the discovery of the world’s music”
http://compmusic.upf.edu
Hindustani
Arab-Andalusian
Beijing Opera
Carnatic
Ottoman
Melodic patterns
Rhythmic patterns
Semantic relationships
Signal processing
Machine learning
Semantic analysis
Corpus
113 audio CDs: 653 arias
Metadata: play, artists, shengqiang, banshi, role-type
Audio features Scores for 317 arias
Computational tools for jingju music analysis
• Their aim is not to replace analyses by experts, but support them by – providing quantitative data – efficiently analyze large corpora – identifying new research problems
• This presentation is about the
functionality and potential of these computational tools, but not about jingju music
let’s take an example… “玉堂春含悲泪忙往前进”——《女起解》（苏三）
let’s take an example…
Segmentation
Percussion
Instrumental sections
Singing sections
Percussion patterns analysis
Tuning
Melody extraction
Pitch histograms
Vibrato analysis
Loudness analysis
Timbre analysis
Comparison
Intonation analysis
Pitch range analysis
Tones and melody
Similarity analysis
Beat tracking Tempo estimation
Banshi identification
Lyrics to audio alignment
Score to audio alignment
Towards automatic transcription
Browsing and discovery Dunya
Spectrum
Violin: C4 Flute: C4
Spectrum
Cello: melody
ogram
Frequency
Freq
ue
ncy
Mag
nit
ud
e
Time
Segmentation in musical sections
Percussion Instrumental sections Singing sections
Demo video of automatic segmentation
Percussion patterns analysis
daoban tou 【导板头】
man changchui 【慢长锤】
zhu tou 【住头】
daoban tou【导板头】
Percussion patterns analysis
Percussion patterns analysis
daoban tou【导板头】
Percussion patterns analysis
• Search in the corpus:
《京剧之星》, 30 CDs, 328 recordings
Pattern No.
【导板头】 234
【慢长锤】 154
【夺头】 30
【小锣夺头】 66
【闪锤】 53
Pattern No.
【导板头】 234
【慢长锤】 154
【夺头】 30
【小锣夺头】 66
【闪锤】 53
Percussion patterns analysis
• Search in the corpus:
《京剧之星》, 30 CDs, 328 recordings
Pattern No.
【导板头】 234
【慢长锤】 154
【夺头】 30
【小锣夺头】 66
【闪锤】 53
Album / Track Ini. Dur. 京剧之星：包飞专辑/10玉门关：说什么敌众我寡难取胜 0.00 5.75
京剧之星：包飞专辑/10玉门关：说什么敌众我寡难取胜 182.75 11.25
京剧之星：安平专辑/04赤桑镇：恨包勉初为官贪赃枉上 149.75 4.75
京剧之星：安平专辑/06将相和：在金殿定官职是非难辨 258.00 5.5
京剧之星：安平专辑/14姚期：老臣年迈如霜降 0.00 4.75
京剧之星：宋小川专辑/04柳荫记：我好似万箭穿心 0.00 9.25
京剧之星：宋小川专辑/07罗成叫关：勒马停蹄站城道 644.75 5.50
京剧之星：张克专辑/04李逵碑：叹杨家秉衷心大宋扶保 750.00 3.50
京剧之星：张克专辑/06空城计：我正在城楼观山景 0.00 9.00
京剧之星：李军专辑/02珠帘寨：太保推杯换大斗 0.00 4.00
京剧之星：李军专辑/06秦琼卖马：站立店中用目洒 0.00 4.25
京剧之星：李宏图专辑/11白门楼：某一见貂蝉女心如烈火 0.00 8.00
京剧之星：李海燕专辑/05英台抗婚：（祝英台）纸钱飞香烟袅珠泪盈盈 0.00 5.50
京剧之星：李海燕专辑/06龙凤呈祥：（孙尚香）昔日里梁鸿配孟光 7.00 4.25
京剧之星：杜镇杰专辑/02李陵碑：叹杨家秉忠心大宋扶保 802.00 5.00
剧之星：江其虎专辑/06罗成托兆：黑暗暗雾沉沉随风飘荡 132.75 4.00
京剧之星：王珮瑜专辑/01捉放曹：听他言吓得我心惊胆怕 0.00 8.25
京剧之星：王珮瑜专辑/07搜孤救孤：白虎大堂奉了命 66.25 3.00
京剧之星：王珮瑜专辑/11珠帘寨：昔日有个三大贤 31.75 3.50
京剧之星：耿巧云专辑/10春草闯堂：好话说了千千万 0.00 3.75
京剧之星：袁慧琴专辑/01对花枪：我的家祖居南阳地 948.50 6.50
京剧之星：赵秀君专辑/06楚宫恨：费无极说话太无赖 73.25 3.25
剧之星：迟小秋专辑/06锁麟囊：一霎时把七情俱已昧尽 641.00 4.50
京剧之星：郑子茹专辑/03对花枪：空盼望气难忍我好心伤 124.50 3.50
京剧之星：陈俊杰专辑/03铫期：老臣年迈如霜降 0.00 4.25
京剧之星：陈俊杰专辑/05将相和：在金殿定官职是非难辨 210.00 6.50
京剧之星：靳学斌专辑/05周仁献嫂：一霎时心儿内横穿万箭 0.00 4.50
京剧之星：黄炳强专辑/04海瑞背纤：与国公替万岁算一算清帐 0.00 4.50
京剧之行：管波专辑/16诓妻嫁妹：素秋女只哭得泪如雨降 372.00 4.50
京剧之行：管波专辑/17诓妻嫁妹：事事万般难猜想 0.00 5.25
Pattern No.
【导板头】 234
【慢长锤】 154
【夺头】 30
【小锣夺头】 66
【闪锤】 53
Album / Track Ini. Dur. 京剧之星：包飞专辑/10玉门关：说什么敌众我寡难取胜 0.00 5.75
京剧之星：包飞专辑/10玉门关：说什么敌众我寡难取胜 182.75 11.25
京剧之星：安平专辑/04赤桑镇：恨包勉初为官贪赃枉上 149.75 4.75
京剧之星：安平专辑/06将相和：在金殿定官职是非难辨 258.00 5.5
京剧之星：安平专辑/14姚期：老臣年迈如霜降 0.00 4.75
京剧之星：宋小川专辑/04柳荫记：我好似万箭穿心 0.00 9.25
京剧之星：宋小川专辑/07罗成叫关：勒马停蹄站城道 644.75 5.50
京剧之星：张克专辑/04李逵碑：叹杨家秉衷心大宋扶保 750.00 3.50
京剧之星：张克专辑/06空城计：我正在城楼观山景 0.00 9.00
京剧之星：李军专辑/02珠帘寨：太保推杯换大斗 0.00 4.00
京剧之星：李军专辑/06秦琼卖马：站立店中用目洒 0.00 4.25
京剧之星：李宏图专辑/11白门楼：某一见貂蝉女心如烈火 0.00 8.00
京剧之星：李海燕专辑/05英台抗婚：（祝英台）纸钱飞香烟袅珠泪盈盈 0.00 5.50
京剧之星：李海燕专辑/06龙凤呈祥：（孙尚香）昔日里梁鸿配孟光 7.00 4.25
京剧之星：杜镇杰专辑/02李陵碑：叹杨家秉忠心大宋扶保 802.00 5.00
剧之星：江其虎专辑/06罗成托兆：黑暗暗雾沉沉随风飘荡 132.75 4.00
京剧之星：王珮瑜专辑/01捉放曹：听他言吓得我心惊胆怕 0.00 8.25
京剧之星：王珮瑜专辑/07搜孤救孤：白虎大堂奉了命 66.25 3.00
京剧之星：王珮瑜专辑/11珠帘寨：昔日有个三大贤 31.75 3.50
京剧之星：耿巧云专辑/10春草闯堂：好话说了千千万 0.00 3.75
京剧之星：袁慧琴专辑/01对花枪：我的家祖居南阳地 948.50 6.50
京剧之星：赵秀君专辑/06楚宫恨：费无极说话太无赖 73.25 3.25
剧之星：迟小秋专辑/06锁麟囊：一霎时把七情俱已昧尽 641.00 4.50
京剧之星：郑子茹专辑/03对花枪：空盼望气难忍我好心伤 124.50 3.50
京剧之星：陈俊杰专辑/03铫期：老臣年迈如霜降 0.00 4.25
京剧之星：陈俊杰专辑/05将相和：在金殿定官职是非难辨 210.00 6.50
京剧之星：靳学斌专辑/05周仁献嫂：一霎时心儿内横穿万箭 0.00 4.50
京剧之星：黄炳强专辑/04海瑞背纤：与国公替万岁算一算清帐 0.00 4.50
京剧之行：管波专辑/16诓妻嫁妹：素秋女只哭得泪如雨降 372.00 4.50
京剧之行：管波专辑/17诓妻嫁妹：事事万般难猜想 0.00 5.25
Instrumental sections analysis
• Jinghu tuning and first degree
Inner string: 560.01 Hz (C#5 + 17.52 cents)
Outer string: 838.58 Hz (G#5 + 16.53 cents)
First degree: 676.44 Hz (E4 + 44.52 cents)
Demo video of predominant melody extraction
Melodic analysis
• Comparison of two performances
“玉堂春含悲泪忙往前进”——《女起解》（苏三）
Mei school Cheng school
Pitch histograms
1
2
3
7 .
6 .
1 2 3 7 . 6 .
Pitch histograms
. . . . . . . .
Pitch histograms
1 = 332.56 Hz (E4 + 15.33 cents) 1 = 326.80 Hz (E4 - 14.92 cents)
Pitch histograms
“玉堂春含悲泪忙往前进”《女起解》（苏三）
李胜素
“一轮明月照窗下”——《捉放曹》（陈宫）
耿其昌
“将酒宴摆至在聚义厅上”《盗御马》（窦尔敦）
安平
Vibrato
Demo video of vibrato detection
Vibrato
Vibrato rate (Hz) Vibrato extent (cents)
Mean Std Mean Std
Li Shengsu 4.708 0.661 132.045 36.281
Chi Xiaoqiu 6.248 0.929 103.744 43.483
Loudness
• Preliminary step: voice separation from accompaniment
Loudness
Loudness Std (mean norm. to 0.5)
Li Shengsu 0.250
Chi Xiaoqiu 0.336
Timbre
Violin: C4 Flute: C4
Timbre
• Long-Term-Average Spectrum (LTAS)
Timbre
• Long-Term-Average Spectrum (LTAS)
Bea
ts p
er m
inu
te
Time (s)
Rhythm: tempo estimation
Rhythm: tempo estimation “玉堂春含悲泪忙往前进”——《女起解》（苏三）
Rhythm: banshi identification
yuanban 原板 (4/4) Instrumental tune 行弦 (2/4)
liushui 流水 (1/4)
李胜素：“本应当随母亲镐京避难”——《凤还巢》（程雪娥）
22 bpm
3:39.38’
83 bpm
3:43.4’
Rhythm: banshi identification
22 bpm
3:39.38’
83 bpm
3:43.4’
李胜素：“本应当随母亲镐京避难”——《凤还巢》（程雪娥）
迟小秋：“春秋亭外风雨暴”——《锁麟囊》（薛湘灵）
43 bpm
2:38.14’
Tones and melody
• Music vs. language
• Dialects: Beijing vs. HuGuang
• Single-syllable vs. Pairwise (two-syllable) similarity
当 年 当 年
Tones and melody
• Data colection
Tone 1 Tone 2
Tone 3 Tone 4
Tone 1 Tone 2 Tone 3 Tone 4
当 年 当 年 当 年 70.77 % 65.8 % 64.8 %
Tones and melody
Demo video of lyrics to audio alignment
Lyrics
• Search for lyrics
玉堂春含悲泪忙往前进，
想起了当年事好不伤情！
每日里在院中缠头似锦，
到如今只落得罪衣罪裙。
Lyrics
• Find different versions
玉堂春含悲泪忙往前进，
想起了当年事好不伤情！
每日里在院中缠头似锦，
到如今只落得罪衣罪裙。
想当年在院中艰苦受尽，
玉堂春含悲泪忙往前进，
想起了当年事好不伤情！
每日里在院中缠头似锦，
到如今只落得罪衣罪裙。
334.87
Melodic similarity
玉堂春 含悲泪 忙往前进，
想起了 当年事 好不伤情！
每日里 在院中 缠头似锦，
到如今 只落得 罪衣罪裙。
玉堂春 含悲泪 忙往前进，
想起了 当年事 好不伤情！
每日里 在院中 缠头似锦，
到如今 只落得 罪衣罪裙。
玉堂春 含悲泪 忙往前进，
想起了 当年事 好不伤情！
每日里 在院中 缠头似锦，
到如今 只落得 罪衣罪裙。
【导板】
【慢板】
405.26
玉堂春 含悲泪 忙往前进，
想起了 当年事 好不伤情！
每日里 在院中 缠头似锦，
到如今 只落得 罪衣罪裙。
Melodic similarity
玉堂春 含悲泪 忙往前进，
想起了 当年事 好不伤情！
每日里 在院中 缠头似锦，
到如今 只落得 罪衣罪裙。
Melodic similarity
9391.07
玉堂春 含悲泪 忙往前进，
想起了 当年事 好不伤情！
每日里 在院中 缠头似锦，
到如今 只落得 罪衣罪裙。
Melodic similarity
3114.11
玉堂春 含悲泪 忙往前进，
想起了 当年事 好不伤情！
想当年 在院中 艰苦受尽，
到如今 只落得 罪衣罪裙。
玉堂春 含悲泪 忙往前进，
想起了 当年事 好不伤情！
每日里 在院中 缠头似锦，
到如今 只落得 罪衣罪裙。
Melodic similarity
9803.56
玉堂春 含悲泪 忙往前进，
想起了 当年事 好不伤情！
想当年 在院中 艰苦受尽，
到如今 只落得 罪衣罪裙。
a b c
1 玉堂春 含悲泪 忙往前进，
2 想起了 当年事 好不伤情！
3 想当年 在院中 艰苦受尽，
4 到如今 只落得 罪衣罪裙。
a b c
1 玉堂春 含悲泪 忙往前进，
2 想起了 当年事 好不伤情！
3 每日里 在院中 缠头似锦，
4 到如今 只落得 罪衣罪裙。
a b c
1 玉堂春 含悲泪 忙往前进，
2 想起了 当年事 好不伤情！
3 每日里 在院中 缠头似锦，
4 到如今 只落得 罪衣罪裙。
Melodic similarity
a b c
1 玉堂春 含悲泪 忙往前进，
2 想起了 当年事 好不伤情！
3 想当年 在院中 艰苦受尽，
4 到如今 只落得 罪衣罪裙。
a b c
1 玉堂春 含悲泪 忙往前进，
2 想起了 当年事 好不伤情！
3 每日里 在院中 缠头似锦，
4 到如今 只落得 罪衣罪裙。
a b c
1 玉堂春 含悲泪 忙往前进，
2 想起了 当年事 好不伤情！
3 想当年 在院中 艰苦受尽，
4 到如今 只落得 罪衣罪裙。
Low similarity
High similarity
a b c
1 玉堂春 含悲泪 忙往前进，
2 想起了 当年事 好不伤情！
3 每日里 在院中 缠头似锦，
4 到如今 只落得 罪衣罪裙。
a b c
1 玉堂春 含悲泪 忙往前进，
2 想起了 当年事 好不伤情！
3 想当年 在院中 艰苦受尽，
4 到如今 只落得 罪衣罪裙。
Melodic similarity
Low similarity
High similarity
a b c
1 玉堂春 含悲泪 忙往前进，
2 想起了 当年事 好不伤情！
3 每日里 在院中 缠头似锦，
4 到如今 只落得 罪衣罪裙。
a b c
1 玉堂春 含悲泪 忙往前进，
2 想起了 当年事 好不伤情！
3 想当年 在院中 艰苦受尽，
4 到如今 只落得 罪衣罪裙。
Melodic similarity
Low similarity
High similarity
103522.57
Score to audio alignment
1 2
3
4
5
1 2 3 4 5
1
2
3
4
1 2 3 4
Score to audio alignment
MIDI
Score to audio alignment
Demo video of automatic transcription in MIDI
Dunya: browsing and discovery
http://dunya.compmusic.upf.edu/jingju/
Demo video of Dunya
Conclusions
• Our research goal is to improve the techniques for automatic analysis and exploration of music collections.
• Very complex problems that require the collaboration of many researchers and musicians.
Slides in： http://compmusic.upf.edu/node/264
Computational Methods for Jingju Music Research: the CompMusic Project
Xavier Serra, Rafael Caro Repetto, Zhang Shuo
+ Ajay Srinivasamurthy, Sankalp Gulati, Alastair Porter, Sertan
Şentürk, Gong Rong, Yile Yang, Georgi Dzhambazov, …
Music Technology Group Universitat Pompeu Fabra, Barcelona