loupe study 3
TRANSCRIPT
LOUPE STUDY #3
メディアプログラミング on Processing
2014/09/22 Daichi Harada
今日の話
• 音と映像のカンケイ
• Processingで映像を扱う
• Processingで音を扱う
音と映像
音楽は多感覚体験
私たちが音楽に触れるとき、聴覚以外の感覚が完全に遮断されてしまうことは、まずない。強いて言えば暗闇の中にじっとしてヘッドフォンで音楽を聴く、といった時くらいで、そうした状況はありえなくはないとしても、極めて稀なことと言わざるを得ない。それにかなり近い状況として、というよりそうした状態を理想とするかのように諸条件を整えてきたものとしてクラシックの演奏会があるが、それでも演奏者の姿や身振りは音とともに目に入ってくるし、会場全体の空気というか雰囲気のようなものも、身体全体に(恐らく触覚を主な経路として)伝わってくるものである。演奏する側に回れば、一切の身体運動なしに音を出すことは不可能であり、楽器演奏であれ歌であれ、指の動きや喉のふるえといった音を出す行為に伴う身体運動を視覚や触覚を通じて感じ、それと音とをフィードバックさせながら演奏行為は行われるものである。
今挙げたような音楽に伴う視覚的要素や身体的＝触覚的要素は、所詮音楽にとって付随的なものであり、捨象されて差し支えのないものだ、という反論もあるかもしれない。だが、身体的要素や視覚的要素が、聴覚的要素と同等かそれ以上の関係で、より不可分に結びつき合っている音楽の例は、極めて多い。というよりも、近代西洋音楽の通念から離れ、音楽のあり方を歴史的にも地域的にもより広い視野から眺めた場合、むしろそうした例の方が一般的であるとさえ言えよう。
音楽のマルチメディア性 http://homepage3.nifty.com/jy/essays/media_multi.htm
Rez
音楽の未来｜水口哲也×kz（livetune） 7:16～
https://www.youtube.com/watch?v=KVXHLxWI9E4
音楽を軸とした マルチメディア体験
先日これのリリースパーティ いってきました笑
音/映像/プログラミング
Processing・JAVAベース ・画像、映像処理が得意 ・音も扱える ・アート系プログラミングによく使われる ・学生や、ノンプログラマーのアーティストデザイナーにも使いやすい(やさしい)
・Processing JS(HTML 5とJavaScriptで手軽に扱える) ・OpenCVやMax/MSP等との連携 ・Arduinoとの連携
サンプル
http://processing.org/exhibition/works/withouttitle/index_link.html
http://processing.org/exhibition/works/base26/index_link.html
フラクタル図形
Kinectと連携
キネクトを使ったVJ https://www.youtube.com/watch?v=d0L7rxEJVw8
円を描いてみようellipse(x座標,y座標,幅,高さ)
円を描いてみようsize(x,y)でキャンバスのサイズを指定
for文など制御構造は JAVAそのまま
Processingで 音を扱う
音って何？
→「波」
どんな波形も三角関数の和で 表す事ができるんだ！
オーディオ スペクトログラム
http://macromarionette.com/computergraphics/cg9.html
周波数成分を 解析、
可視化する！
FFT (高速フーリエ変換)
サイン波を 合成してみる
(シンセサイザー)
http://r-dimension.xsrv.jp/classes_j/minim/
振幅と波長が変わるsine1を sine2に混ぜるとどうなる？？
音を 視覚化
振幅(音の大きさ)をテキトーに映像のパラメータに入れるとそれっぽくなる
draw() 毎フレーム呼び出され、
画面を更新
setup() プログラム開始前の準備
fileSelected() setup()内のselectInput で選択した後呼ばれる
mousePressed() マウスクリックした時
Animal クラス ・□一個一個が これのインスタンス。 ・衝突した/しないを 判定する ・目的地へ移動 ・inputされた音の大きさ に応じてサイズが変わる
ご清聴ありがとう ございました