第1回 サブrencon 開催報告
TRANSCRIPT
第1回サブRencon 開催報告: 運用プラットフォームの準備と，約1か月の投票期間を設けた
インターネット投票の実施
○野池賢二（所属なし）
日野達也（芝浦工業大学）
徳永幸生（芝浦工業大学）
片寄晴弘（関西学院大学）
目次
• 「演奏の表情付け」とは何か
• サブRencon の必要性– 本家Rencon
– サブRencon
• 第1回サブRencon 開催報告– 開催概要
– 結果報告
– 運用プラットフォームの今後について，ごく簡単に
サブRencon website
https://sites.google.com/site/srencon/
（“sub rencon”で検索すると見つかります）
→ 提出された表情付け演奏データをすべて聴取可能
「演奏の表情付け」とは
演奏表情付けシステム楽譜情報 表情付き演奏
• 入力された楽譜情報に– 速度変化
– 強弱付け
– 奏法付け
– ペダル操作
– ...
• などの情報を付加し，「いかにも人間が弾いているかのような演奏」を生成する研究
演奏表情付け処理結果の例
入力: 楽譜情報（表情なし） 出力: 表情付き演奏
強弱
奏法
テンポ
ダンパーペダル
演奏表情付けコンテスト Rencon
• 演奏表情を客観的，定量的に評価することは難しい
– 目標とする演奏表情を定めることができる場合は，可能かも？
– 目標とする演奏表情を定めることが難しい場合• オープンデータ評価を行う場合
• 新曲に対して演奏表情付けを行う場合
• 演奏者個性をどのように評価したらよいか
↓
• コンテスト形式で聴き比べることによって評価する「演奏表情付けコンテスト Rencon」を発足（2000年）
Rencon の歴史とロードマップ
自動演奏レンダリングが打ち込みに勝つ
自動演奏レンダリングと人間の演奏との差がなくなる自動演奏レンダリングによる演奏のCD発売ショパンコンクールに初挑戦
ショパンコンクールで優勝
チャイコフスキーコンクールで優勝システムが人間に教授開始
システムに師事した人間がコンクールで優勝
2004: NIME-Rencon2002: FIT-Rencon
2002: ICAD-Rencon 2003: IJCAI-Rencon
2005: ICMC-Rencon
2006: ISMIR-Rencon
2007: pre-ICMPC-Rencon
2008: ICMPC-Rencon
2009: EC-Rencon2010: SIGMUS-Rencon
2011: SMC-Rencon
2013: SMAC-Rencon
これまでの Rencon 開催状況
• 年1回の頻度と周期で，定期的に開催されている
• 開催時期は，主に夏季
• 2008年以降の3年間は，演奏表情付け研究のおもしろさの普及を優先し，エンタテインメント性を重視
• （学術的な評価の実施を多尐犠牲にした）
• 毎年の恒例イベントになったため，Rencon で好成績を残すことを研究目標のひとつとしやすくなった
• 演奏表情付け研究者が増えてきた（？）
これまでの Rencon の問題点
• オフィシャルな場での開催であることが多く，実験的な試みの実施が難しい
• 演奏表情の評価方法の模索があまり進んでいない
• 年1回の開催では，不本意な結果に終わったときのリカバリの機会が得づらい
• 夏季開催は，参加者にとって研究成果を試す時期として適切でないことがある
↓
• “本家Rencon” とは別に，必要に応じて開催する，
• 小規模で機動性の高い “サブRencon” の開催が必要
“サブRencon” 発足
• 年1回開催する “本家Rencon”とは別に，必要に応じて開催する
• 運営，実施する WG も，別に組織する
• 本家Rencon では実施しづらそうな，実験的な試みを実施することを率先して行う
– 参加者側にとって実験的な試み
– 運営者側にとって実験的な試み
– カジュアルな開催を心がけ，試みが失敗しても構わないようにする
“サブRencon”は，ソフトウェア開発でいうところの branch
第1回 サブRencon 開催
• 日程: 2010年11月29日から 2011年 1月20日
• （サブRencon 開催当日は，2010年12月13日）
• 主催: 芝浦工大 徳永幸生研究室
• タスク:
– 事前，および，当日に提示される課題曲に対して，制限時間以内に演奏表情付け処理を行い，提出する
サブRencon で試行したいことの案• 聴き比べ用音源の統一と，普段からの継時的使用の試み
• ある程度の投票期間を設けたインターネット投票の実施
– 聴き直しを可能にすることによる評価の正確性の向上
– 聴き比べ評価時の順位依存性の解消
– 平均値以外の集計方法による評価結果の信頼性の向上
– 「人間による演奏」と「（ほぼ）楽譜どおりの機械的な演奏」も加えた，チューリングテストの実施
– “速報”に相当する評価結果の提供
• インターネットを経由した参加形態の試行
• 演奏表情の客観的評価方法の確立に向けて
– 「完全再現コンテスト」の実施
– 過学習（ドーピング行為）検出方法の募集とその評価
– 客観的評価手法それ自体のコンテストの実施
– 評価サーバの提供
– 意義があるかどうかわからない企画の実施
• 「演奏の表情付け」という研究テーマの一般への普及
– 広報
– 誰でも利用できる演奏表情付けWeb アプリや，開発キットの提供
聴き比べ用音源の統一と，普段からの継時的使用の試み
• 現在の演奏表情付けシステムは，音響信号情報ではなく，MIDIレベルの情報を出力するシステムがほとんど
→ 聴き比べ用MIDI音源の品質の差異に評価が影響されないように，聴き比べ用MIDI音源の統一が必要
→ Rencon当日よりも前から，使用されることが好ましい
↓
• 無料のSoundFontを利用した「音源サーバ」を提供http://noike.info/~kenzi/cgi-bin/srsmf2mp3/
SMF
音源サーバ
MP3
送信
返信
SoundFont “Splendid Grand(Steinway Model D)” で音響信号ファイルに変換
• これまでのRenconでの聴取評価による投票は，その場で聴いて投票する形態
– 投票者数が尐なくなりがち
– 尐ない聴取回数での評価になりがち
– 聴取順が評価に影響する可能性がある
→ 評価の信頼性がいま一歩
↓
• 生成演奏をインターネット上で聴取できるようにする
• ある程度の期間を設けたインターネット投票を実施する
ある程度の投票期間を設けたインターネット投票の実施
約1か月の投票期間を設けたインターネット投票の実施
• 日程: 2010年12月14日から 2011年 1月14日
• （サブRencon 当日の翌日から約1か月間）
• 聴き直しや投票し直しを可能にすることによる評価の正確性の向上– 投票期間中は，投票者の任意のタイミングで，任意の演奏データを，何度でも繰
り返して聴取したり，評価内容を修正したりできるようにした
• 聴き比べ評価時の順位依存性の解消– 投票者ごとに専用の聴取評価投票サイトを用意し，投票者ごとに提示順を変える
ことでこれを実現した
• 「人間による演奏」と「（ほぼ）楽譜どおりの機械的な演奏」も加えた，チューリングテストの実施– 「参加システム数 + 2データ」を聴き比べる
– システムによって生成された演奏表情と，人間による演奏の演奏表情との区別がつかないかどうか
• “速報”に相当する評価結果の参加者への提供
– 参加者の意欲の維持
– 竹内好宏先生（京都府立須知高校 芸術科主任）に依頼
インターネットを経由した参加形態の試行
• 音源サーバによって聴き比べ用音源がインターネット経由で普段から利用可能
• 聴取，評価投票がインターネット経由で可能
→ あとは「課題曲の受け取り」と「生成演奏の提出」ができれば，Rencon 開催会場に物理的に赴く必然性が薄れる
↓
• Rencon への参加が容易になる
• Rencon の開催が容易になる
• ドーピング行為（不正行為）の検出方法の確立が急務
インターネットを経由した参加形態の試行• 2007年の pre-ICMPC-Rencon の実施方法にならう• メールやTwitter を利用して，データの授受を行った• 運営者側も全員が会場にはいない
第1回 サブRencon 参加システム一覧
• ConBreO (Conductor Breeding Optimization): 丹治信，伊庭斉志（東京大学）
• 駿時: 田中駿二，橋田光代，片寄晴弘（関西学院大学）
• Kagurame Phase-II:日野達也，鈴木泰山，野池賢二，徳永幸生（芝浦工業大学）
• Kagurame Phase-III:日野達也，鈴木泰山，野池賢二，徳永幸生（芝浦工業大学）
それぞれのシステムの詳細は，サブRencon Websitehttps://sites.google.com/site/srencon/
に掲載
第1回 サブRencon 開催スケジュール
2010年11月29日: 事前公開課題曲を公開
（この2週間の間に，システムのバグ取り，調整，改良が可能）
2010年12月13日 14時: 当日公開課題曲を公開
2010年12月13日 18時: 提出締切
2010年12月14日: インターネット聴取評価投票 受付開始
2010年12月20日: 竹内好宏先生による評価を，“速報”として参加者だけに伝達
（年末年始を含んだ，インターネット聴取評価投票期間）
2011年 1月14日 : インターネット聴取評価投票 受付終了
2011年 1月20日 : インターネット聴取評価投票 結果発表
https://sites.google.com/site/srencon/
第1回 サブRencon 課題曲
• 事前公開 課題曲– Etude No. 3, Op. 10-3 （F. Chopin）
– Piano Sonata K.331 1st Mov. （W. A. Mozart）
• 当日公開 課題曲（システムにとっての初見演奏課題）– My Mozart in Sentiment （村尾忠廣）（ICMPC10 Rencon 初見課
題曲）
– Waltz No.7, Op64-2 （F. Chopin）
• （ショパン 2曲，モーツアルト 2曲）
• MusicXML で提示，SMF で提出
• 参考楽譜画像を PDF で提供
• https://sites.google.com/site/srencon/
評価方法
• 投票者が聴取サイトで各演奏データを聴取し，– 演奏表情の人間らしさ（human-likeness）
– 演奏表情が好みかどうか（preference）
• を 5段階評価する
• 聴き比べるデータ– システムによって生成された演奏データ
– 人間による演奏を MIDI 収録した演奏データ
– （ほぼ）楽譜どおりの機械的な演奏データ– (テンポ，ヴェロシティのデフォルト値を調整）
• どの演奏データがどのシステムによって生成されたのかがわからない状態での聴き比べ評価
• （演奏表情のチューリングテスト）
• 投票者ごとに演奏データ提示順をシャッフルし，順位依存性の問題を回避
• （投票者Aと投票者Bの演奏データ1が同じ素性かどうかはわからない）
実際の評価投票サイト
投票結果: 課題曲１「Etude」 演奏の人間らしさ
信頼度95% の母平均区間推定にて有意な差のある境界
4.214.02
3.52
2.762.54
2.41
3.673.51
2.99
2.03 1.971.78
3.943.76
3.25
2.392.25
2.10
0.00
0.50
1.00
1.50
2.00
2.50
3.00
3.50
4.00
4.50
5.00
(人間の演奏) KP2 KP3 ConBreO Shunji (楽譜そのまま)
課題曲１ 「Etude」 演奏の人間らしさ
上方信頼限界
下方信頼限界
平均値
投票結果: 課題曲3「My Mozart」 演奏の好み
4.23
3.45
3.25 3.233.11
2.58
3.46
2.762.59 2.56
2.31
1.94
3.84
3.112.92 2.89
2.71
2.26
0.00
0.50
1.00
1.50
2.00
2.50
3.00
3.50
4.00
4.50
(人間の演奏) (楽譜そのまま) ConBreO KP2 KP3 Shunji
課題曲3 「My Mozart」 演奏の好み
上方信頼限界
下方信頼限界
平均値
信頼度95% の母平均区間推定にて有意な差のある境界
総合順位
• 聴取評価投票の結果に基づき，「信頼度 95% の母平均の区間推定」を行い，有意な差のある順位グループに分ける
• 順位グループの値の平均値を総合順位とする
• 演奏の人間らしさ（human-likeness）
• 1位: Kagurame Phase-II （(1+1+2+2)/4 = 1.50）
• 2位: Kagurame Phase-III （(1+3+2+2)/4 = 2.00）
• 2位: ConBreO （(2+2+2+2)/4 = 2.00）
• 2位: Shunji （(2+2+2+2)/4 = 2.00）
• 演奏の好み（Preference）
• 1位: Kagurame Phase-II （(1+1+2+2)/4 = 1.50）
• 2位: Kagurame Phase-III （(1+3+2+2)/4 = 2.00）
• 2位: ConBreO （(2+2+2+2)/4 = 2.00）
• 3位: Shunji （(2+2+2+3)/4 = 2.25）
実施した試みについての評価
• 聴き比べ用音源の統一と，普段からの継時的使用の試み
– 聴き比べ時に使用する音源を「音源サーバ」として提供
• 参加者にとっての公平性を確保できた
• 事前にヴェロシティ値と音量との関係を知ることでき，意図しない音量での生成を避けることができた
• 今回使用した SoundFont “Splendid Grand(Steinway Model D)” は，現在，配布されていない
→ 比較的安価な（無料の）別の SoundFont または VSTi などを探しておく必要がある
実施した試みについての評価
• 約1か月の投票期間を設けたインターネット投票の実施
0
10
20
30
40
50
60
70
80
2010/12/13 2010/12/18 2010/12/23 2010/12/28 2011/1/2 2011/1/7 2011/1/12 2011/1/17
登録投票者数
登録投票…年末年始
大学始業，卒修論からの逃避行動？
駆け込み登録有効投票者数課題曲1: 51課題曲2: 41課題曲3: 38課題曲4: 38
実施した試みについての評価
• 約1か月の投票期間を設けたインターネット投票の実施
0
100
200
300
2010/12/13 2010/12/18 2010/12/23 2010/12/28 2011/01/02 2011/01/07 2011/01/12 2011/01/17
有効投票数
有効投票数
年末年始
大学始業，卒修論からの逃避行動？
駆け込み投票
成人の日？
実施した試みについての評価• 約1か月の投票期間を設けたインターネット投票の実施
• 投票者数の増加は，概ね，予想どおり（年末年始効果）
– 聴き直しを可能にすることによる評価の正確性の向上
– 聴き比べ評価時の順位依存性の解消
– 平均値以外の集計方法による評価結果の信頼性の向上
→ 尐なくとも疑義をもたれるような要因は排除した
– 「人間による演奏」と「（ほぼ）楽譜どおりの機械的な演奏」も加えた，チューリングテストの実施
→ 好評
– “速報”に相当する評価結果の提供（竹内好宏先生に依頼）
→ 音楽の専門家らしいコメントにより，参加者，運営者のモチベーションの維持に寄与
実施した試みについての評価
• 約1か月の投票期間を設けたインターネット投票の実施– 評価方法が，非常に主観的すぎる
– 1課題曲あたり 6データ（約10分）の聴取評価は，苦痛を感じる人がいる
↓
– 曲の要所に評価課題を設定し，それを評価してもらう
– 投票者のモチベーションを維持するための工夫が必要
– いま風の Web UI の導入
– 通りすがりの投票者の獲得による投票者数のさらなる増加
– メールアドレス以外の投票者識別手段
• Twitter アカウント, OpenID
• iPhone/iPad アプリ，Android アプリ
実施した試みについての評価
• インターネットを経由した参加形態の試行– トラブルなく終了
– 必要に応じて開催するというサブRencon の主旨から，今後もこの形態での実施を基本とする
– 不正行為への対策が必要になる可能性
• 「演奏の表情付け」という研究テーマの一般への普及
– 期待以上の手応えを得た• 音楽を趣味とする方
• 音楽を仕事としている方
• プログラマ
Rencon二期作としてのサブRencon の評価
• 本家Rencon のリカバリの機会として
→ 2010年7月の SIGMUS-Rencon に準備不足なまま参加したグループから好評
• 冬季Rencon として
– 指導教官から• 「閉じた世界で作業している彼にはよい薬になりました」
– 参加された修士学生から• 評価データのひとつとして有用
• 追い込みに一役買った
• 次回の本家Rencon の宣伝として
– ？？？（未知）
運用プラットフォームの今後について
• 音源サーバ→ SoundFont, VSTi を探す
• 聴取評価投票サイト→ なるべく，GAEのような，既存の良質の Web アプリケー
ションサーバ上に構築したい• 構築の容易さ
• 堅牢さ
• 洗練された UI
• 見栄えのよさ
• 課題曲の授受– EasyChair のような，期限付きのファイル授受機能のある
CMS の利用
– 聴取評価投票サイトとの統合
おわりに
• 第1回 サブRencon の開催概要と結果を報告した
• 実施した実験的な試みを評価した
• サブRencon の開催有用性を評価した
• 運用プラットフォームの検討
• 客観的な評価の確立に向けた試行
• 課題曲や演奏データのライセンスについて
• Rencon 参加キットの提供
サブRencon Websitehttps://sites.google.com/site/srencon/（”sub rencon” で検索）サブRencon Twitter アカウント@srenconサブRencon [email protected]://groups.google.co.jp/group/srencon
Rencon 開催の歴史2002/07/06: ICAD-Rencon（京都）2002/09/28: FIT-Rencon （東京）2003/08/11: IJCAI-Rencon（アカプルコ）2004/06/03-05: NIME-Rencon（浜松）2005/09/05: ICMC-Rencon（バルセロナ）2006/10/08: ISMIR-Rencon（ヴィクトリア）2007/02/05: pre-ICMPC-Rencon（インターネット上）2008/08/25: ICMPC-Rencon（札幌）2009/09/18: EC-Rencon（東京）2010/07/29: SIGMUS-Rencon（つくば）2010/11/29-2011/01/20: 第1回 サブRencon（インターネット上）2011/07/06-09: SMC-Rencon（イタリア）2013/夏: SMAC-Rencon（スウェーデン）