#ftma15 第五回課題全コースサーベイ

MicroRolls: Expanding Touch-Screen Input Vocabulary byDistinguishing Rolls vs. Slides of the Thumb

Anne Roudaut1,2 Eric Lecolinet1 Yves Guiard1. April 7th, 2009 ~ Boston, MA, USA CHI 2009 ~ Techniques for Mobile Interaction

どんなもの？

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？どうやって有効だと検証した？

論議はある？次に進むべき論文は？

通常の端末にMicroRollsシステムを入れることで利用でき,高速に効率的に操作ができるようになる.

An emperical comparison of pie vs.Linear menus.とか

ツールバーを使うよりも簡単に画面操作が可能となる.

MicroRollsは,左右どちらかの親指のスクロールと親指の向きによって精密な画面操作を行うシステム.

親指以外の指での検出や,対応していないその他のジェスチャーに関しても考えていきたい.

16の入力操作によって検証された.

論文URL: http://dl.acm.org.ezproxy.tulips.tsukuba.ac.jp/citation.cfm?id=1518843


Flower Menus: A New Type of Marking Menu with Large Menu Breadth, Within groups and

Efficient Expert Mode Memorization

Bailly, G., Lecolinet, E., and Nigay, L. (2008). Flowermenus: a new type of marking menu with large menubreadth, within groups and efficient expert modememorization. Proc. AVI '08. ACM Press, 15-22.

Strategies for Accelerating On-line Learning of Hotkeys

Flower Menusは,入力される形から多くのメニュー項目の選択ができるシステム.

ホットキーの機械学習

Grossman, T., Dragicevic, P., Balakrishnan, R. (2007).Strategies for accelerating on-line learning of hotkeys.Proc. CHI’07, ACM Press, 1591-1600.


Fast scale prototyping for folded millirobotsどんなもの？

様々な面で低コストな小型ロボット作りました

先行研究との違い

デザインと組み立てに複雑な計算機や精巧な道具は必要ありません

技術や手法のキモ

いわゆる折り紙。材料が安く、制作時間も飛躍的に短縮される。

検証方法

実際組み立てて動かしてみた。ついでに坂道も登らせてみた。

結論

1時間ほどで組み上がり、1cm/sec程度の速さで歩くロボットができた

次

ロボット以外？

Dynamically tuned design of theMFI thorax

虫の胸部機構をヒントに羽を動かしてみます

A walking silicon micro-robot

物を運べるシリコンロボットの作成。関節にポリイミドを使用して荷物を運べる強度を確保した。

Solar Powered 10 mg Silicon Robot

ソーラー発電で自立走行する軽量ロボットを作る。残念ながらまだまっすぐ歩くことは出来ない。

Microrobot Design Using FiberReinforced Composites

小型ロボット用の特殊加工した繊維を用いた構築素材の開発今回読んだ論文の基幹っぽい

Microrobots and micromechanicalsystems

小型機械の世界へようこそ


どんなもの？

次に読むべき論文は？

どうやって有用だと検証した？

技術や手法のキモはどこ？議論はある？

他の顔特徴点認識のの手法よりも手間を減らすことで高速化と、処理を軽くすることに成功した。

これまでの手法との比較によりその精度向上の確認、人の顔が一部隠れてしまうとこれまでは認識できなかった部分も認識可能にした点。

X. Cao, Y. Wei, F. Wen, and J.Sun. Face alignment by explicitshape regression. In CVPR, 2012

さらなる発展としてカメラキャリブレーションと動きからの構成をNLS（非線形最小二乗法）を解くための他の手法にも組み込んで行く予定。

ヤコビ行列とヘッセ行列を用いない手法と機械学習を用いて精度と速度の両方を向上させている。

顔の特徴点検出及びその追跡を行うための新しい手法SDMの提案。

AAM（Active Appearance Models）を非線形updateモデルを用いた変形で性能向上

機械学習を用いた方法で顔の輪郭認識の精度向上。

顔認識、顔トラッキングに用いられるActiveAppearance Models　法の提案

データベースを基に３D顔モデルを生成、写真の中の人のそっくりに作って写真の表情を変えることもできる。

写真の中の顔のパーツの位置を取得するための新しい手法。ベイズを用いている。

どんなもの？

先行技術と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読む論文は？

煙の動きや、液体の中に濃度の違う液体を流した時のシュミレーションができる。

目に見える煙だけを再現することで余計な計算をすることがなく、より現実な動きを再現できる。

triangle meshを用いることで、より規模の大きい煙のシュミレーションができるようになった。

拡散したり、もやのかかった煙にはあまり適していないのでは？

この技術を用いていないシュミレーションと比較して、非現実な動きの大小を調べた。

Interactive On-Surface Signal Deformation SIGGRAPH 2010

光の当て方をマウスのドラック＆ドロップで簡単に変えることができる。

文字で絵を作る、テキストアートのアルゴリズム。

木が障害物に適応して生える様子をシュミレーションできる。

デバイスに埋め込んだセンサーが反応して、同じポーズをＣＧで再現できる。

画像を読み込んで、それをアスキーアートに変換する。

iSkin: Flexible, Stretchable and Visually Customizable On-‐Body Touch Sensors for Mobile Computing

Martin Weigel , Tong Lu , Gilles Bailly , Antti Oulasvirta4, Carmel Majidi , Jurgen Steimle

どういうものか

どうやって有効だと検証したか

次に読みたい論文：EarPut: Augmenting Ear-‐worn Devices for Ear-‐based Interaction

議論はあるのか

薄くて柔軟で伸ばすことができ、見た目をカスタマイズできる肌につけられるタッチ入力のための新しいセンサー

０％、１０％、２０％、３０％引き伸ばした時のセンサーの検出結果、０．５cm,１cm, ２cm,３cm折り曲げた時のセンサーの検出結果によって、引き伸ばしや折り曲げ可能な範囲を検証した

体についている他のセンサーとのやりとりをするためにアドホックネットワークを用いて、ワイアレスにすることが必要

先行技術と比べて何がすごいか

静電容量センサと抵抗性センサを組み合わせることで軽いタッチと重いタッチの２つのレベルの圧力を検出することが可能。折り曲げたり、３０％に引き伸ばされた場合も検出可能。

EarPut: Augmenting Ear-‐worn Devices for Ear-‐based Interaction iRing: Intelligent Ring Using Infrared Reflection

Arduinoとタッチセンサを用い、耳から入力することのできる装置。

ＩＲ反射センサーを経由して指のジェスチャーを測るためのデバイス。

Roman Lissermann, Jochen Huber , Aristotelis Hadjakos , Suranga Nanayakkara, and Max Muhlhauser Masa Ogata , Yuta Sugiura, Hirotaka Osawa , Michita Imai

FingerPad: Private and Subtle Interaction Using Fingertips

人差し指の指先をタッチパッドとして操作できる入力デバイス

Liwei Chan∗ Rong-‐Hao Liang∗† Ming-‐Chang Tsai‡ Kai-‐Yin Cheng† Chao-‐Huai Su† Mike Y. Chen‡ Wen-‐Huang Cheng∗ Bing-‐Yu Chen‡

On-‐Body Interaction: Armed and Dangerous Chris Harrison, Shilpa Ramamurthy, Scott E. Hudson

体自体を入力と出力するインタラクティブな技術体の上で操作することができる

A Thin Stretchable Interface for Tangential Force Measurement

引っ張ったりつまんだりするようなときに生み出される力を測るための曲がったり伸びたりする肌のようなユーザーインターフェイス

Yuta Sugiura　Masahiko Inami　Takeo Igarashi

Smart Eyewear for Interaction and Activity Recognition !"#$%&'(")*%+,-&.,/)&01*%-&2%)&2,341-&2#)5")&2)(1&-&2%6(,*%&7%3%8%-&9%(%")8#&'3%*)&

. .

Eye Movement Analysis for Activity Recognition Using Electrooculography.

,J!NS MEME ..

, /.

.1291 .

Google glass

., .

EOG .

:$1&9#;1*136&<3%=$()(&>#+&<5?;)6$&@15#A3)?#3&0()3A&:=156+##5,=#A+%B"$&

.

, , EOG .

90 .

.

CD&@#(13E,)(6FGHG&CI&J#K=1+L&%3M&D<&N"+)(6%8)(OGP

In the Blink of an Eye – Combining Head Motion and Eye Blink Frequency for Activity Recognition

with Google Glass

Google .

.

.

CD&@#(13E,)(6FGHG&CI&J#K=1+L&%3M&D<&N"+)(6%8)(OGP

!"#$%&'(")*%+,G&2%)&2,341G&2#)5")&2)(1-&C13(&Q1BB31+G&<3M+1%(&R13A1=G&S%,=&T,8#K)54&<3M+1%(&U,==)3A

How Much Do You Read? – Counting the Number of Words a User Reads Using

Electrooculography

.( ).

.

.

Full-time Wearable Headphone-Type Gaze Detector

C%*1(&I&J#K=1+G&%((#5)%61&B+#>1((#+GF&D)5"#=%(&<&N"+)(6%8)(G&B+#>1((#+H&&2%)&2,341G&9%(%)&2%6(,6#(")G&.,/)&01*%G&9%(%")8#&'3%*)

.

EOG .

.

.

.

Gender differences in the relation between social support, problems in parent-offspring communication, and depression and anxiety

2%+=)13&9-N-&T%3M*%3VS1161+(%G!G&N%6"%+)3%&<-&I%+6*%3%GWG&X)16%&;%3&M1+&S#*B1%G&C#"%3&<-&M13&U#1+%G&@,,M&U-&9)3M1+%%WG&C#"%3&

Y+*1=%

!"#$%&'$($%")*%+,&-"%.$+/(0&1($%02&3%*4&5*6789(0:&;6<<9(0&"(=&>?9=9(0&

"#$

%&'#

'()*+,!-./()*!0,(1+)!-,(23+4+5-,(5!)6)3*+)+,6-3,!6)0!(-7!87+!93,!()7-6)-6)+3874.!4(*:;)*!8/!"#$7!

'()*+,!-./()*!0,(1+)!-,(23+4+5-,(5!)6)3*+)+,6-3,!6)0!(-7!87+!93,!()7-6)-6)+3874.!4(*:;)*!8/!"#$7!

"#$<

=

#)+,*.!>6,1+7;)*!',3?!>8?6)!6)0!@65:()+!@3;3)!93,!A(,+4+77!#4+5-,3)(5!$+1(5+7!

!

#)+,*.!>6,1+7;)*!9,3?!-:+!B+6;)*!>+6,-!2.!6!@677!C?2646)5+!D75(446;3)!E+)+,6-3,!!

@()$%"7/.$&'$($%")*%,&A&>$?3B!*C$%$=&-"#/7&D$$=<"7E&F$.97$&

!

!

1?$7)%*(97&!*#"<?$+,&1G#?*%9(0&!"#$%BH"+$=&I*4#6/(0&!)8%*608&"(&@()$%"7/.$&!*#BJ#&H**E&!

!

!"#$%&'()*+,$'''-./01"+'2"34"3'''(%3*5'(.1674"3'''8"4%+$'8"+9"*''

2:-

2:-2:-

2:- 2:-

2:-

;<=-;>'?@>'(A-BC?>'?@>'DEF2C8>'=@>'88E?FC!;>'=@>'=G-'DEHI'FAG>'D@'JKKL@'F$)3'?)0$6M';36%0*"6%N'.OP,"1'4/1PI6./,$'+%3+)30'6$*./0$'6$)3'Q.*4IQ",6.*'N)+O1"5+@';3'R.*9+$.O'.3'C4%*0)30'-)+O1"5'F%,$3.1.0)%+@'

D)-)'?,*%%3M'='F$)3>'-%O6$I?%3+)30'2:-'Q.*'U-';36%*",P.3'/+)30'2)0$6'Y)%1N+'

!"#$%&'()"$*&+,(&-#./01)2&3&456718(&9(8,$"0"%)&:#+,&1$&;0(8+6"$#8100)&4:#+8,1<0(&-#=5.(6'

?$"$*"4';7"N)&&'?6%Z%'(.N0%+&&'?6/"*6'F"51.*&&'-"3'8.+%3Q%1N&&'G),.1"+'[)11"*&&'=1%\'D/61%*&&&].3"6$"3'R%+6$/%+

>"0"?1002&-(.#%$#$%&1&@#$%(6A&>1$*B&'"*)B&1$*&C<D(8+&4($.#EF(&?100&

G.^/5/9)'!"6+/+$)6"''']/3'8%9)4.6.'

+&)6,$"^1%'

G":HI".+&J50EH9"58,&4($.#$%&+,6"5%,&@65.+61+(*&9"+10&K$+(6$10&L(M(8E"$'

]%_%*+.3'`@'("3'

4,#(0*&@#(0*.2&J"*(0#$%&1$*&I1/+56#$%&N-&C8805*(6.&

-./01"+'2"34"3'''8"4%+$'8"+9"*'''=4)6'=0*"&"1''''B"^*)%1'F"/^)3'

Q*/+6*"6%N'6.6"1')36%*3"1'*%a%,P.3

-'

bcb- '

9,#$4#%,+2&O(6.1E0(&J50EH+"58,&4($.#$%&7"6&9,#$&@"6PH718+"6&-#./01).&

?6%Z%'(.N0%+'''?$"$*"4';7"N)'''=1%\'D/61%*'''=1^"3'8*/+6%4)''D)11'D/\6.3

'2:-

'

どんなもの？

1枚の画像から、シーンの奥行きを推定する。

他と比べてどこがすごい？

　ステレオにする、動かす、基本図形だと仮定する、追加情報を付加する、などを行わない方法の中で、より精度の良い推定を実現した。

技術のキモ・手法は？

　深度推定を、連続的な変数(superpixelの深さを表現)と離散的な変数(隣接するsuperpixel間の関係を表現)を用いて行う。　実際には、深度がわかっている画像群から似ているものを探し、それを初期値として、PCBPという手法で変数の最適化を行う。


議論・結論は？

　屋内、屋外ともに比較的精度の高い深度推定を実現できた。この今後はこの技術をどのようにして3Dシーン理解へ利用するかを検討する。

Depth extrac6on from video using non-‐parametric sampling.

どうやって有用だと示した？

　データセット(Make3D)の深度と、画像から取得した深度の誤差を計算し、他研究や条件を変えた際と比較することで、精度が高いことを示した。

動画における奥行き推定の、新しい手法を提案した。この手法は完全に自動であり、2D動画から3D動画(ステレオ)の作成も行う。また、ノンパラメトリックな手法を用いており、今回読んだ研究はこれに近い手法であるといえる。

一枚の2D画像から3Dの構造を推定する新しい手法を提案した。画像を”superpixel”と呼ばれる小さな領域(平面)に分割し、マルコフ確率場(MRF)を用いてsuperpixelの位置と姿勢を推定することで、形状推定を実現している。

今回読んだ研究で利用していたconvex BP(凸形確率伝搬法)アルゴリズムについての論文。連続的な変数から離散的な変数までに対応した最適化アルゴリズムなどが提案されている。

一枚の屋内画像から、物体の検出・推定を行う研究。形状をBOXだと仮定することにより、検出を可能にしている。

新しいタイプのSLAMである”オブジェクト指向”3D SLAMによって物体認識を行った。ループ内で前段階の情報を最大限に活用することで、効率的な推定を可能にしている。

!"#$%&'()*+"#$,+*"-$%".'+"/012'+343"56"78"-(9+3"!"#$%&'(#)*+' ,-".)/'!%0%&'

1)234#)*5$36*/7898':;9&'<="#">=/5-%'?@<%&*%7$A',;9<=*>%*A'B%&.)*@

CD '

CD

EFF 'E

CD '

G%)#=/75'."H%#=*>':"&':)5=)#')*=.)7"*A'IJJK

・今後の課題唇の光沢や、油汚れの色合い、粘土の混色具合など、再現が足りないものが存在する。・次に読むべき論文 Hierarchical mo7on brushes for anima7on instancing (h0p://dl.acm.org/cita7on.cfm?id=2630402&CFID=672573387&CFTOKEN=73926898)

・どのようなものか実際の画材をキャプチャしてデータにし、ストロークを合成する。ユーザーが入力したストロークの経路に、ストロークの重なりや汚れなども加味して、新しい２Dテクスチャーを合成する。・先行研究との相違点従来のデジタル絵システムは、描画のストロークをレンダリングするために、手続き的な規則と身体のシミュレーションを利用していた。このシステムはそれらが不要である。・重要な点様々な画材や描画方法を、取り込んだデータの合成によって再現できる。

Data-‐Driven Enhancement of Facial A4rac5veness Tommer Leyvand, Daniel Cohen-‐Or, Gideon Dror and Dani Lischinski

オリジナルの肖像画との類似性を維持しながら、自動で顔の魅力を増加させた。

先行研究を比べてどこがすごい?

技術や思考のキモはどこ? 議論はある?

次に読むべき論文は?

どうやって有効だと検証した?

絶対的な定義が難しい美的価値だが、顔の魅力を判定したデータを収集して、顔の特徴となる点をとり、魅力度の高い顔面の空間を探索する。

顔画像に3Dモデルへの適用を必要とせず、2Ｄ画像上で操作する。また、全く違う顔をモーフィングするのではなく、違いは僅かなものの、魅力的な顔を生成する。

BLANZ, V., AND VETTER, T. 1999. A morphable model for the synthesis of 3D faces

BEIER, T., AND NEELY, S. 1992. Feature-based image metamorphosis

どんなもの?

顔面空間内の目や鼻などの距離をベクトル表記kNN法やSVRを用いた美化エンジンで調整

この技術では、正面から撮った、無表情の顔の画像のみに制限される。

" !

+, !

-./01234!564!78/9+2.:/4!;64!8.<!=:<>0?4!@6!#$$#!A.0,8BC.!8.<!/:.<:/0.1!CD!+C,EF:G!?83:/!9H/D8+:96!AI7!J/8.98+BC.9!C.!"/8E20+9!K;L""@AMN!#$$#O

.0,8B.1!PHQQF:9!L.3:/8+BC.9! .!8!R0SH0<!=C8,!TF:>90U!PH98/U:V4!J8,8F!W6!5:U4!NH8,0.!X8.14!Y2C.1!@:.!K;L""@AMN!#$%#O

"MZ&$N[

Interpre'ng Concept Sketches Tianjia Shao Wilmot Li Kun Zhou Weiwei Xu Baining Guo Niloy J. Mitra

どんなもの？デザイナーがスケッチした絵を簡単な図形に変換して編集し、動かしたりできるようにすることで、制作会議等で伝わりやすいデザイン画を実現する。

どうやって有効だと証明した？パーツごとにノードを設定し、関係性をグラフ化することで、2次元では見えていない面やパーツの動きを設定し、整理した。

先行研究と比べてどこがすごい？簡単であいまいであり、ムラのある絵でも読み取ることができる。

議論はある？スケッチソフトに直接この分析構造を組み込むことを計画。

技術や手法のキモは？2次元のラフスケッチから、カメラ角度を考慮して3次元の正確なサイズを計算することができる。

次に読むべき論文は？ ILoveSketch : as-‐natural-‐as possible sketching system for creaJng 3D curve models

hMps://www.youtube.com/watch?v=8WtKmcnva8o

XG2%7.

Y(/0%.;<;$%L<$=EL2%Z7;[)FG=2E2%-G()-)!E($=#%6!)%!,)H#+2!L2A#C2E;!@%!!"#$%&'#()*+,-.&/01Z!Y[<!\=2EE!]>RRU^Z!>UUF>QT;!!

どんなもの？距離を測定できるカメラ(Kinect)を用いたタッチセンサーの開発。

先行研究と比べてどこがすごい？触る物体が本や机などのタッチセンサーを搭載しないものでも、また平面でなくとも、その物体に触れているかどうかがわかる。

技術や手法のキモはどこ？Kinectを用いて、触る物体までの距離と手の距離を比較して触れているかどうかを判定する。

どのようにして有効性を照明したか？本の片方に手を置き、もう片方は浮かせてカメラでその様子を撮影し、触れているか判定できたことを確認した。

議論はある？現在あるタッチスクリーンには及ばないが、あらゆるところがタッチスクリーンになるので将来性はある。

次に読むべき論文は？Agarwal, A., Izadi, S., Chandraker M., Blake, A. High precision

multi-touch sensing on surfaces using overhead cameras.

Proc. IEEE Tabletop 2007.

概要103の骨と823の筋肉を再現した精巧な人体モデルを用いて、リアルな水泳の動きをシミュレーションする。

先行研究との比較先行研究にない精巧な人体モデルを用いてリアルな挙動

をシミュレーションする。

手法のキモ筋肉を動かすための神経系を模した筋操作システムを作成し、外界の状態をこのシステムにフィードバックするシステムも作成して自動制御で前に進むようにした。

有効性クロールやバタフライなどの動作をさせ、動きに破綻なくシミュレーション上で水を掻いて進むことができた。

議論の余地各筋肉の伸縮具合、またそれに伴う骨の動きをシミュレートしなければならないため計算が膨大になる。

次に読むべき論文P. Agache, C.Monneur, J. Leveque, and J. Rigal.

1980.Mechanical properties and Young’s modulus of

human skin in vivo.

先端技術とメディア表現

Make It Stand: Balancing Shapes for 3D Fabrica;on Romain Prévost, Emily Whi;ng, Sylvain Lefebvre, Olga Sorkine-‐Hornung

どうやって検証したか

様々な形状の物体を実際にプリントした。

議論はあるか

物体を変形させた際に部品同士が衝突してしまう可能性がある。

次に読むべき論文

Radomír Měch, Nathan Carr, Ondrej Stava, Bedrich Benes, Jural Vanek Stress Relief: Improving Structural Strength of 3D Printable Objects

どんなもの？

3Dプリントでできた物体が机の上で倒れないように最適化をかけるというもの。

先行研究と比べて

3Dプリントした物体のある部分に応力が集中して折れてしまう部分を自動で解析して修正してくれるものはある。


変形による重心位置の調節と内部の空洞によって調節する二つの項で重心を最適化している。

Posi;on Based FluidsMiles Macklin　MaXhias Muller

どんなもの？

リアルタイムで計算可能な粒子ベースの流体シミュレーション。

先行研究と比べて

PBDのフレームワークで初めて流体を実現した。


PBDに基づいて流体シミュレーションをしたこと。

どうやって検証したか

ウサギなどの像がある水槽の中の水の動き、水のしずくを落とした動きなどをシミュレーション。

議論はあるか

粒子が固体に接触しているときに境界に沿った粒子の積み重ねが正しく行われないことがある。

次に読むべき論文

SOLENTHALER, B.,AND GROSS, M. 2011. Two-‐scale par;cle simula;on.

&'()*+,))-,./!""01/!"#$%&'&()*+(,-*.*/-/#(01)2&(3%".*4(5-%(6&7'(8*'%9()*+(,-*'%-:./2-3*-'45/6())+'*47-,/

8-'69:+)*;'+&+<=-4'6)

>?@)ABBCCC1<-;*;=+13-DBC4*3>EFG0H&IJKL6M>3

N

O

/P(Q>*/R+S+37-,/M;,37-,)/T-'/U(D;547-,/-T H5-;6)/4,6/2;)*</U;'T43+)

/

!"#$%&'%(')*+,-./*01'2,34.-'56"4#+'7*#$*0'8.#"9':+*01';44:<:-.3%0'=:6"9''

/V9=;W+'

X#!Y$"" J 0 /

/

>%<%/:?*'@*+$*#.'/M;Z;<4D4/[,(F+')(*<//

5*$.4$*9%'@.?.<."'/\('-)>(D4/]'+T+3*;'45/[,(F+')(*<//

どんなもの？


議論

どうやって有効だと証明したか？

次に進むべき論文

技術や手法のキモはどこか？

机の上に3次元的に並べられたブロックの状態をコンピュータに入力できるシステム

これまではテーブル上にブロックを重ねても感知出来なかったが、ブロックの工夫とソフトの開発で感知できるようになった

実際にプロトタイプを作り、意図通りの動作ができることを確認した。

Printed Op+cs: 3D Prin+ng of Embedded Op+cal Elements for Interac+ve Devices　かな

ガラスファイバーを使っているのでブロックの作成に手間がかかる。

Lumino: Tangible Blocks for Tabletop Computers Based on Glass Fiber Bundles

ブロックを上下に貫くガラスファイバーでブロックの上面の様子が下面に映る。それをカメラで検出してる。

どんなもの？

先行研究と比べてどこがすごい？議論

どうやって有効だと証明したか？

次に進むべき論文技術や手法のキモはどこか？

/0 ((

(

(

/0 (

!"#$%&'()*+,-.(/0(!"#$+$1(23(456&''&'()*+,78(48&5&$%-(32"(9$%&"7,+:&(0&:#,&-(

(/0

;<8+=57%&"#78(3"&&32"5(376"#,7+2$(23(7,+:&(->-%&5-

Transmogrification: Casual Manipulation of Visualizations




議論はある？


どんなもの？

選択範囲の外枠と内部の適当な曲線1本からパラメータ空間を作成し、そこから任意の形に再描画する。

Transmogrificationの活用例を示した。（例:地図上の川をまっすぐに）

描画の正確さはユーザの操作の正確さに左右される。ラスター画像は可視性がないことがあるので、同時にベクター化することで正確な変形を行う。

Revision: automated classification, analysisand redesign of chart images.

タッチ操作で画像の一部を選択し、必要に応じた別の表現でリアルタイムで再描画する

マルチタッチパネルで操作でユーザが自由に描画した範囲をリアルタイムで再描画できる。画像ファイルだけでなくブラウザなどでも利用できる。


どんなもの？



議論はある？


どんなもの？

Magic Finger: Always-AvailableInput through Finger Instrumentation

Enabling alwaysavailableinput with muscle-computer interfaces.

指に装着して物を検出、操作するデバイス

色々な表面を識別できるまた、常時入力可能である指のデバイスだけで操作

低解像度高フレームレートオプティカルフローセンサと、高解像度低フレームレートカメラ

の組み合わせ

ユーザーが使い方を理解する方法デバイスの小型化

22個のテクスチャを用意して、60個のサンプルをとり、

交差検証法を用いて精度判定をした

Impact of Ultra High Definition on Visual Attention


どんなもの？


どうやって有効性を検証した？

議論はある？


HDとUHDでの，視聴者の注視力について比較を行ったもの．

マスモニなどを用い，映像屋さんに文句言われない環境で，統計を用い，また視覚的にわかりやすい表現技法を用いている点

分析を, FDMでわかりやすく,KLDなどで定量的に評価して，どのくらい注視しているかを表している点．

UHDの有効性になるが, 視線がより対象物に集中するようになり, またHDとUHDでは画の見方が異なることが分かった．

さらに議論しにくいが, 音響についてもハイレゾの効果について同じような議論ができそう．(すぐには見つからなかった)，また視力にもこの検証を応用したら有意義だ．

Multi-sensor concert recording dataset including professional and user-generated content MMSys ‘15 Werner Bailer, Chris Pike, RikBauwens, Reinhard Grandl, Mike Matton, Marcus Thaler

Hiromi Nemoto, Philippe Hanhart, Pavel Korshunov, Touradj Ebrahimi

14’ ACM international Conference on Multimedia

‘KIST Smart Wall’ and its Media Art Application: The Scenery Series

どこがすごい？

どんなもの？


どうやって有効性を検証した？

議論はある？


しっかりとした高機能なマルチタッチが可能で、安価に展望シーンを可能にすることができる大画面を実現するメディアアートアプリケーション.

大きさの制限無く、インタラクティブな大画面を、簡単に実現できる. また、従来までの影による影響を大きく減らし、マルチタッチの信頼性が向上している.

導入の容易さや、従来の同じ手法と比べ、信頼性の向上を実現する赤外線アレイに基づく測定を用いた大画面でのマルチタッチ検出方法.

6x2=12枚のディスプレイによる3072x768の解像度で3名のメディアアーティストの作品‘East Sea in Mind’ と‘2015 Jinkyung Sansoohwa’ 、‘Known Sea’を実際に展示した.

特に記述なし.

・Sensor systems for interactive surfaces.Ibm Systems Journal (2000)

Joong Ho Lee, Chung Yo Ha, Hyun Jhin Lee, Ji-Hyung Park, Sanghwa Hong

CHI 2015, Crossings, Seoul, Korea

どんなもの？


技術や手汰のキモは何？


議論はある？


FTMA15

先行研究と比べてどこがすごい？議論はある？先行研究と比べてどこがすごい？議論はある？

動画URL:https://youtu.be/L0i-uTa4kv4

A Multi-Layered Display with Water DropsPeter C. Barnum ,Srinivasa G. Narasimhan ,Takeo Kanade

流れる水滴の列で作られる層に画像や映像を投影し、それを重ねることで空間に2.5Dのディスプレイを表現するもの。

一つのプロジェクターで何層ものスクリーンを表現でき、投影するものは画像から映像まで制限なく、投影スピードも速いものが可能。

水滴のサイズを互いが干渉せず、列を作るのに排出することが可能な適切な大きさで作ったこと。プロジェクタ、カメラ、バルブのタイミングを計算することにより、リアルタイムに映像などを反映させた。

一秒間に何滴の水滴が可能かを検証し、一層であれば60滴/秒まで可能で、多層に渡る場合は10~15滴/秒まで映像を投影することが可能だった。

3Dディスプレイを表現するには、もっと正確な水滴の管理が必要であり、また空間の状態によって左右されないようにしなければならない。

かなり似た研究ということで「A projector-camerasystem for creating a display with water drops.」

Unified Particle Physics for Real-Time ApplicationsMiles Macklin, Matthias Muller, Nuttapong Chentanez, Tae-Yong Kim

どんなもの？


物体の表現だけでなく相互作用も完璧に見えるような表現を可能としている

技術や手法のキモはどこ？物体を粒子の集合体として処理することで様々な物理運動を統一的に処理し、リアルな視覚効果だけでなくコーディングの手間までも改良させることに成功した。

どうやって有効だと判断した？


議論はある？

先行研究などからアルゴリズムを参照し考え、プログラムとして実装した

MU ̈LLER, M., KEISER, R., NEALEN, A.,PAULY, M., GROSS, M., AND ALEXA, M.2004. Point based animation of elastic,plastic and melting objects.

現在固定である粒子の大きさを可変にすれば、剛体等の表現が効率的になる

G10　　

固体・気体・液体などの垣根なく物質の挙動を見事に表現する物理エンジン

!"#$%&'"()*+&'",*$-(.+"'-/%0(+1(!*&2/3'&3,*'(

*+,!-- *+,*+,

.

*+,

/0!12234!!"##)!5467380492!:6832;<=!6>!?0;28;<=@A!

B6C!D68E!F676:6G6<!

H

/02G6?I37GJ3!76<K462!L;KM!>4;7G6<92!76<K97K@

Generating Emotionally Relevant Musical Scores for Audio Stories Steve Rubin, Maneesh Agrawala

どんなもの？どうやって有効だと検証した？

先行研究と比べてどこがすごい？技術や手法のキモはどこ？

議論はある？

高いレベルの技術を持っていない初心者にも、録音された朗読に対し、感情的に関係のある音楽を自動的につけられるシステムを作った

朗読・音楽に対する感情のラベルを増やし、選択肢を増やした。３種類のラベル付けの方法を用意し、有効性を確認した

人が手動で音楽を付ける方法、クラウドソーシングで朗読・音楽に対しラベルを付けてもらい音楽をラベルに従って朗読にくっ付ける方法、ラベル付けから全てを自動的に行う方法の３パターン用意した。それを実際に聞き手にランクづけしてもらったところ、クラウドソーシングを利用した方法が最も高評価だった。

朗読へのラベル付けの際、朗読の内容へのラベル付けのみで、声質の変化、スピードの変化に対応していない

SONNOTILE: AUDIO ANNOTATION AND SONIFICATION FOR LARGE TILED AUDIO/VISUAL DISPLAY ENVIRONMENTS

■どんなもの？

■先行研究と比べてどこがすごい？

■技術や手法のキモはどこ？

■どうやって有効だと検証した？

■議論はある？

■次に進むべき論文は？

大型ディスプレイでの情報探索を助ける枠組み

画像に音声を結びつけることでユーザーの情報探索をサポートする

1.ディスプレイのサイズの変化に対応2.スピーカーの音量を画像の位置によって調節

この研究では検証は行っていない

音の位相をずらす効率的なアルゴリズムが望まれる

M. Bouéri and C. Kyirakakis. “Audio Signal Decorrelation Based on aCritical Band Approach,” in 117th Convention of the Audio Engineering

Society, 2004, pp. 28-31.

https://www.youtube.com/watch?v=8Ayoe-jURJM

Shader Lamps: Anima0ng Real Objects With Image-‐Based Illumina0on

Ramesh Raskar, Greg Welch, Kok-‐Lim Low, Deepak Bandyopadhyay

どんなもの？

プロジェクターを使って立体的な建物に色や質感をマッピングした。光源を動かして影とかもリアルに表現した。

先行研究と比べて何がすごいの？

ホーンテッドマンションの喋る石像とかプロジェクタがくるくる回って人がいるように見せるやつ（Naimark）は厄介なプロジェクタに厄介な調整があり、そのプロセスに時間がかかった。しかしShader Lampsはそのようなプロセスを

踏まず、プロジェクションが可能。１分くらい？

技法や手法のキモはどこ？

まずコンピュータの中でデモ。そのあと、プロジェクタはおおよそここだろうって位置においてから物体との距離とかを調整する。


粘土でつくった花瓶をメタルやプラスチックでできているように見せるなど、3Dオブジェクトの外観を変えてみたり、動く映像を投射して止まっている物体がうごいているように見せたりした。

議論はある？

プロジェクター固有の制限（ピントの合う距離が決まっていること、黒レベルでダイナミックレンジの幅が狭まってしまうこと）が映像のクオリティに影響してしまう。また、プロジェクションされた物体を見るのにオペラグラス

やHMDは必要ないが、人の影が邪魔してしまう。


Ramesh のほかの論文気になる

Table-‐Top　Spa0ally-‐Augmented Reality: Bringing Physical Models to Life with Projected Imagery

Ramesh Raskar, Greg Welch, Wei-‐Chao Chen

どんなもの？

テーブルの上にある木やレンガ、段ボールの立体に２つのプロジェクターから2D映像を投射して色や質感を与える。（shader lamps の前身的な？）

先行研究と比べて何がすごいの？

今までコンピュータの中でやっていたアプローチに現実世界の仮想的な3Dオブジェクト加えた。投射型だから複数の人とイメージを共有できる。

技法や手法のキモはどこ？

ARに3Dの立体を利用している点。


技術自体が不完全な時から、たくさんの人々にこの成果をみてもらい、意見をもらいながら修正していった。

議論はある？

この技術を適用できるのはVisualiza:onに限られ、投射された映像との複雑な対応には向いていない。あとは立体の角などに投射した際に、曲線がギザギザしてしまう。（エイリアシング？）影も邪魔。


Ramesh のSpa:ally Augmented Reality

"#$#%&'(#)*!&+!,!-.'#/,%!0&1&*!*2,*!3,%45!6.4#!,)!7).(,8&)!92,:,;*#:!<#=)>(&&)!<&)>?!@&&2A=)>!B.(?!,)/!B,*5=!C,(,)# DEFG

"#$ % &'$% "# &' "()*+,-./0!12*/3-!4-5/0!,/!6407*/3*8!9588*/

:(/85.(/,;!<,/8(7!"5*;8!

HIDJK<L!#58(,8)>!>#&>:,'2.;!.)+&:(,8&)!+:&(!,!5.)>%#!.(,>#!!@,(#5!M,A5!,)/!7%#N#.!7O!P+:&5!!

=>>?@A =>>

BCDE!<F!GH*;5-I5F!JKL*)*!,7!&MNO!&::P!?>>D!:(7Q43*)!P5-5(/!:(/3*-3F!LRQOSS)*-*,)+LF75+)(-(TF+(7S5++2?>>DS:(/3*-3SF

どんなものか？

先行研究と比べてどこがすごいか？

技術や手法のキモはどこか？次に読むべき論文は？

議論はあるか？

どうやって有効だと検証したか？カーペットのファーを立たせて模様を描き出す３つのデバイス

毛を逆立てる方向にホイールを動かすことで、どの方向から描いても毛を逆立てられる。AUFDを使用して超音波での描画。

毛の逆立つ場合と平らな場合の比較、光を回転させて毛と直交する方向を調べる

ペン型のデバイスはモーターの回転等によってスムーズさに制限が出てしまう

Fulukawa et al.

逆に出来ないオブジェクトでも修正すること無くディスプレイに変える。維持費がほぼかからない。

"!#$!%&'(&)&*!&+,-.)/0.'!.1!&+,)&2234&!3'(&)/%0.'5!6'!7).%!8965!:;<==>?

,

,

-., /0121203.,

456

456

!"#$$%&

,

,

-., /0121203.,

,

,

•! ,•! 57,8#9#:;<;,(=>,;$7,?,'(")*+,8@($AB,C*9,D(A(%=9@;+,E9;F",

G*+=9*$>,H+,D9*"7,I4,J11

!"#$'$&

KLM%NOO<<<7P*#=#Q(7"*RO<;="KSTU'VWXY1Z.%/[

,

,

-., /0121203.,

4(;A]R*#+=(A,'(")*+,6@%M$;P^

•! 5;(A;>,E7>,I+A*>,47>,V#_@R*=*>,57N,'@9=#;$,;""($(9;)*+,<@=K,Y;$T;+@",'(%)Q#$;9,V)R#$;)*+,@+,;,T@9=#;$,9(;$@=P,(+T@9*+R(+=7,H+N,D9*"((A@+_%,*C,H[[[,'X,/00.>,MM7,/`3a/30,b/00.c

()*)+,-./)0!1.234.567!89!:70;<374!=)>?,@6567!A)B<)C567!D3EF!G).0,H6;7E)0!I)<567!J3/C>.9!"#$'#&

E*R*K@9*,E;+@:;<;>,d#R;,5#9*P;>,E;:#e@,f;9#R@>,5@"K@=;:;,4@9*%(

#ftma15 第五回課題 全コースサーベイ

Education

#ftma15 第五回課題全コースサーベイ