Learning(Bicycle(Stunts�Jie$Tan���Yu*ng$Gu���C.Karen$Liu$���Greg$Turk�

����&�

R{k 58M;+b"�$�>70MO�R{k��)NY c�+ph���!� ��%����&�

R{k c����� �R{k��)NY+�$�vW+4DAJ�;�������"����&�

58M;�we�c�+�*�*zZ��� jroa+it���4DAJ�4FMO NY�� c�+ph��������&�

58M;+�)j NY c�+ph�) !�x�P�k��)j c�#�ph���(��@J5: 0M;K�G��E�3��^j��)�� ��)dq%�y��������$# �����&�

,<C�4FM+��_��ls�h^g |�c�+U�)[S��)��

Anima3ng(Human(Athle3cs�Jessica$K.$Hodgins$$Wayne$L.$Wooten$David$C.$Brogan$ $James$F.$O’Brien�

HODGINS,$J.$K.,$WOOTEN,$W.$L.,$BROGAN,$D.$C.,$AND$O’BRIEN,$J.$F.$1995.$Anima*ng$human$athle*cs.$In$SIGGRAPH,$71–78.�

GM<M/�2-.HM/���)�����NY cn+,I1H6B+`���,<C�4FM���% ��

Interac3ve(Simula3on(of(Stylized(Human(Locomo3on�Marco$da$Silva�Yeuhi$Abe�Jovan$Popovi´c�

DA$SILVA,$M.,$ABE,$Y.,$AND$POPOVIC´,$J.$$2008.$Interac*ve$simula*on$of$$stylized$human$locomo*on.$$In$ACM$SIGGRAPH$2008$Papers,$ACM,$$New$York,$NY,$USA,$$SIGGRAPH$’08,$82:1–$82:10.�

�)N c��V����?GM0����TQ���\���}�+u�~��X c�+ph��

Limit(Cycle(Control(And((Its(Applica3on(To(The(Anima3on(Of(Balancing(And(Walking�Joseph$Laszlo†$Michiel$van$de$Panne$Eugene$Fiume�

LASZLO,$J.,$VAN$DE$PANNE,$M.,$AND$FIUME,$E.$$1996.Limit$cycle$control$and$its$applica*on$to$the$$anima*on$of$balancing$and$walking.$$In$Proceedings$of$the$23rd$Annual$Conference$on$$Computer$Graphics$and$Interac*ve$Techniques,$$ACM,$New$York,$NY,$USA,$SIGGRAPH$’96,$155–162.�

NY � j �]&��+�0M;K�I��4DAJ�4FM���)'���% ��

ContactBaware((nonlinear(control(of((dynamic(characters.�Uldarico$Muico��Yongjoon$Lee�$Jovan$Popovic´$��$Zoran$Popovic�

MUICO,$U.,$LEE,$Y.,$POPOVIC´,$J.,$$AND$POPOVIC´,$Z.$2009.$$Contactdaware$nonlinear$control$of$$dynamic$characters.$In$ACM$SIGGRAPH$2009$$Papers,$ACM,$New$York,$NY,$USA,$$SIGGRAPH$’09,$81:1–81:9.$�

H,I8-B�c��� ���)^j c���^��NY ,<C�4FM+fn���

Op3mal(feedback(control(for(character(anima3on(using(an(abstract(model�Yu*ng$Ye���C.$Karen$Liu$�

YE,$Y.,$AND$LIU,$C.$K.$2010.$$Op*mal$feedback$control$for$character$anima*on$$using$an$abstract$model.$In$SIGGRAPH$’10:$$ACM$SIGGRAPH$2010$papers,$ACM,$New$York,$$NY,$USA,$1–$9.�

GM<M/&5.L9;�� c����=GM5+����TQ�� '�NY!�m ������)+4DAJ�4FM��% ��

!

Color!transfer!between!images. REINHARD!!2001

h=ps://www.youtube.com/watch?v=cYbDJ4NR6WY

!

2D 3D

https://www.youtube.com/watch?v=e2H35SlLmUA

①Feature Extraction !

②Parameter Estimation

Example-Guided Physically Based !Sound Synthesis

③Residual comprehension !

④Residual Transfer

Motion-driven Concatenative Synthesis of !Cloth Sounds

“We present a practical data-driven method for automatically synthesizing plausible soundtracks for physics-based cloth animations running at graphics rates. Given a cloth animation, we analyze the deformations and use motion events to drive crumpling and friction sound models estimated from cloth measurements.” (from Abstract)

!

!!

!!

!Tracking!Surfaces!with!Evolving!Topology!!

!!!!!!!!!!!!!!!!!!! ! !

!

!!!!!!!!!! !

!

!4D 3D

!!!

!AutoCAD SketchUp Maya

!Exploring!local!modificaCons!for!constrained!meshes!

3D!

!

3D

!

!

!

!

3 5

PushPull++!Markus!Lipp!!!!!!!!!!Peter!Wonka!!!!!!!!!!Pascal!Muller

hIp://dl.acm.org/citaCon.cfm?doid=2601097.2601197

!

D!

D

!

Photoshop Context-Aware!Fill

Zheng!et!al.[2012]!Interac?ve!images:!cuboid!proxies!for!smart!image!manipula?on.!Xu!et!al.[2011]!Photo-inspired!model-driven!3d!object!modeling.

!The$$$$Roly)))Poly$$$$Mouse:$$$$Designing$$$$a$$$$Rolling$$$$Input$$$$Device$$$$Unifying$$$$2D$$$$and$$$$3D$$$$Interac?on$$$$$Gary%%%%Perelman,%%%%Marcos%%%%Serrano,%%%%Mathieu%%%%Raynal,%%%%Celia%%%%Picard,%%%%Mustapha%%%%Derras,%%%%Emmanuel%%%%Dubois

! ! ! !!!!!!2 3

!!!!!!!!!! !!!!!!

3D

2D

3D 2D!!!!!!

!!! ! !!!!!!

!!!!!

! !!!!!!

!!!!!!

! ! ! !!!!!!!

!!!!!Z

!!!!!!!

! ! !!!!!!

!!!!!he####Rockin’Mouse:integral####3D#####

manipula8on####on####plane#####

Wearable Telepresence System Based on Multimodal Communication for Effective Teleoperation with a Humanoid

どんなもの？

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

「テレプレゼンスロボット」に指令を与える 新たなコントローラー

同研究では無視されがちな「動かしやすさ、 身につけやすさ」に着目した

すべてが人が装着するデバイス内に揃って おり直感的な操作が可能

力学計算を行い、実際に操作者と ロボの動きを検証し動作の有効性を確認

どうしても妥協するしかなかった 精密性等の性能面をどう補うか？

Interactive multi-modal robot programming システム面にも注目したい

Yong-Ho SEO, Hum-Young PARK, Taewoo HAN, and Hyun Seung YANG

動画URL:https://www.youtube.com/watch?v=-oN96cucBr4 論文URL: http://chrisharrison.net/projects/tapsense/tapsense.pdf

TapSense: Enhancing Finger Interaction on Touch Surfaces

95%の精度で,指の爪/腹/関節/指先の４つを 画面との衝突音により検出できる.

Chris Harrison Julia Schwarz Scott E. Hudson Human-Computer Interaction Institute and Heinz College Center for the Future of Work Carnegie Mellon University, 5000 Forbes Avenue, Pittsburgh PA 15213

どんなもの？

タッチペンや特殊な装着物を必要とせず, 指の一部分を利用して入力ができる.

比較的安価である.

先行研究と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

論議はある？

次に進むべき論文は？ 音響ベースの入力である. 衝突音の音響特徴を分類している.

ユーザーが追加してデバイスをつける必要がない.

様々なアプリケーションを使い,技術検証を行った.曇りガラスを使ったテーブルでの検証や,スマートフォンの小さな画面の中での文字入力や描画

を実際に検証した.

ペンと指を組み合わせると99%の精度が出るが、 4種類の指の分類は95%の精度.

Scratch Input: Creating Large, Inexpensive, Unpowered and Mobile finger Input Surfaces. In Proc. とか

論文URL: https://www.sonycsl.co.jp/person/rekimoto/papers/uist97holo.pdf

HoloWall: Designing a Finger,Hand,Body, and Object Sensitive Wall

壁越しに赤外線カメラを置いて,指,手,体を検出する

Abstract this techNote reports on our initial results of realizing a

computer augmented wall called the Holo Wall. Using an infrared camera located behind the wall,

this system allow a user to interact with this computerized wall us-ing fingers, hands, their body, or even a, physical object such

as a document folder

Nobuyuki Matsushita Department of Computer Science,Keio University

Jun Rekimoto Sony Computer Science Laboratory Inc.

タップした場所を皮膚の伝播により解析し, 入力操作を可能にする腕章

Skinput: Appropriating the Body as an Input Surface

ABSTRACT We present Skinput, a technology that appropriates the human body for acoustic transmission, allowing the skin to be used as an input surface. In particular, we resolve the location of finger taps on the arm and hand by analyzing mechanical vibrations that propagate through the body. We collect these signals using a novel array of sensors worn as an armband. This approach provides an always available, naturally portable, and on-body finger input system. We assess the capabilities, accuracy and limitations of our technique through a two-part, twenty-participant user study. To further illustrate the utility of our approach, we conclude with

several proof-of-concept applications we developed.

Chris Harrison1,2, Desney Tan2, Dan Morris2 1 Human-Computer Interaction Institute

2 Microsoft Research

動画URL: https://www.youtube.com/watch?v=g3XPUdW9Ryg 論文URL: http://www.kevinli.net/courses/mobilehci_w2013/papers/skinput.pdf

動画URL: https://www.youtube.com/watch?v=2E8vsQB4pug 論文URL: http://www.chrisharrison.net/projects/scratchinput/Harrison_122.pdf

Scratch Input: Creating Large, Inexpensive, Unpoweredand Mobile Finger Input Surfaces

任意の場所に描かれた、 6種類の入力パターンを音で分類する

ABSTRACT We present Scratch Input, an acoustic-based input technique that relies on the unique sound produced when a fingernail is dragged over the surface of a textured material, such as wood, fabric, or wall paint. We employ a simple sensor that can be easily coupled with existing surfaces, such as walls and tables, turning them into large, unpowered and ad hoc finger input surfaces. Our sensor is sufficiently small that it could be incorporated into a mobile device, allowing any suitable surface on which it rests to be appropriated as a gestural input surface. Several example applications were developed to demonstrate

possible interactions. We conclude with a study that shows users can perform six Scratch Input gestures at about 90% accuracy with less than five minutes of training and on wide variety of surfaces.

Chris Harrison Scott E. Hudson Human-Computer Interaction Institute 運動動作とタッチの組み合わせによる

入力方法の提案とそのアプローチ 傾けながら親指タップでズームしたり

Sensor Synaesthesia: Touch in Motion, and Motion in Touch

ABSTRACT We explore techniques for hand-held devices that leverage the multimodal combination of touch and motion.

Hybrid touch + motion gestures exhibit interaction properties that combine the strengths of multi-touch with those of motionsensing. This affords touch-enhanced motion

gestures, such as one-handed zooming by holding one’s thumb on the screen while tilting a device. We also consider the reverse perspective, that of motion-enhanced touch, which uses motion sensors to probe what happens underneath the surface of touch. Touching the screen induces secondary accelerations and angular

velocities in the sensors. For example, our prototype uses motion sensors to distinguish gently swiping a finger on the screen from “drags with a hard onset” to enable more expressive touch interactions.

Ken Hinckley1, Hyunyoung Song1,2 1Microsoft Research

2University of Maryland

動画URL: https://www.youtube.com/watch?v=Zuu7ZnyWrJA 論文URL: http://research.microsoft.com/en-us/um/people

/kenh/papers/touch-motion-camera-ready-final.pdf

動画URL: https://vimeo.com/30574433 論文URL: http://www.olwal.com/projects/research/surfacefusion/olwal_surfacefusion_gi_2008.pdf

SurfaceFusion: Unobtrusive Tracking of Everyday Objects in Tangible User Interfaces

RFIDとカメラを使った,特定の場所の中での位置検出とタグ付け

ABSTRACT Interactive surfaces and related tangible user interfaces often involve everyday objects that are

identified, tracked, and augmented with digital information. Traditional approaches for recognizing these objects typically rely on complex pattern recognition techniques, or the addition of active

electronics or fiducials that alter the visual qualities of those objects, making them less practical for real-world use. Radio Frequency Identification (RFID) technology provides an unobtrusive method of

sensing the presence of and identifying tagged nearby objects but has no inherent means of determining the position of tagged objects. Computer vision, on the other hand, is an established

approach to track objects with a camera. While shapes and movement on an interactive surface can be determined from classic image processing techniques, object recognition tends to be complex,

computationally expensive and sensitive to environmental conditions. We present a set of techniques in which movement and shape information from the computer vision system is fused with RFID events that identify what objects are in the image. By synchronizing these two complementary sensing

modalities, we can associate changes in the image with events in the RFID data, in order to recover position, shape and identification of the objects on the surface, while avoiding complex computer vision

processes and exotic RFID solutions.

Alex Olwal School of Computer Science and Communication, KTH1

Andrew D. Wilson Microsoft Research2

Learning to be a Depth Camera Sean Ryan Fanello, Cem Keskin, Shahram Izadi, Pushmeet Koshli, David Kim, Dabid Sweeney, Antonio Criminisi, Jamie Shotton,

Sing Bing Kang, and Tim Paek

どんな研究か ・2DカメラとLEDライトを使って深度センサーをつくる デモビデオ(YouTubeより)

先行研究と比べてどこがすごいか ・高価なものはいらない！ ・自分のカメラを深度センサーにできる！

技術や手法のキモはどこか ・Kinectのように赤外線センサーではなく、LEDによる赤い光の反射を読み取る。 ・RandomForest(Breiman)という既存の機械学習アルゴリズムを改良してMulti-layer decision Forestを開発

どうやって有効だと検証したか ・Xbox Oneで取得したデータとの平均誤差を比較 ０.01m以下だった

議論はあるか ・Kinectの方が性能いいじゃん ・光が当たるところしか反応しない ・特定の人の顔など概要が分かっているものにしか使えない ・複雑な表面をしているものには使えない(正しく反射しない) ・カメラで認識できるくらいの反射が必要

次に読むべきもの Lanman, D. and Taubin, G. Build your own 3D scanner: #d photography for beginners. ACM SIGGRAPH 2009

Graffiti Fur: Turning Your Carpet into a Computer Display

Yuta Sugiura, Koki Toda, Takayuki Hoshi,Youichi Kamiyama, Takeo Igarashi and Masahiko Inami

・どんな研究か カーペットの毛が逆立つと模様ができる性質を利用して、ペンデバイス、ローラーデバイス、圧力投影装置で、カーペットをディスプレイとして使用する。 デモビデオ https://www.youtube.com/watch?v=L0hrETGddLQ&feature=youtu.be&list=UUlvXcoEnxecjWGwGXvki9Mw

・先行研究と比べてどこがすごいか

生活空間にあるもので、電力を抑え、グレア効果を生じさせないで情報を表現できる。

　

・技術や手法のキモはどこか

　ロッドを制御する手法…読み込んだ画像を再現できる

　毛の流れを感知する技術…どの方向にペンを動かしても　　　　　　　　　書くことができる

　超音波を利用した手法…物理的に触れることなく絵がかける

・どうやって有効だと検証したか

　リビング空間に似た環境で、親子を招待し、デバイスを与えたときの行動を観察した

・議論はあるか

　デバイスが重いこと、ローラー端末では自動で位置を判別できないので、ユーザーが慎重にデバイスを動かす必要があること、カーペットにある程度の耐久性が必要なこと

・次に読むべきもの

Wooden Mirror - 1999

DANIEL ROZIN

http://www.smoothware.com/danny/woodenmirror.html　

•  !

AutoCAD SketchUp Maya

•  !

Exploring!local!modifica<ons!for!constrained!meshes!

3D!

•  !

3D

•  !

!

•  !

•  !

3

5

PushPull++!

Markus!Lipp!!!!!!!!!!Peter!Wonka!!!!!!!!!!Pascal!Muller

hEp://dl.acm.org/cita<on.cfm?doid=2601097.2601197

!

!

!

!!

Tracking!Surfaces!with!Evolving!Topology!!

!

!

!

!!

4D 3D

!!

!

Inverse'Foley,Anima1on:,Synchronizing,rigid'body,mo1ons,to,sound,,,Timothy,R.,Langlois,,,,,,,,,,,,,,,,,Doug,L.,James,,

,,

,

,

,

,

,

,

,

,

,

,

Hofer,,M.,,and,PoGmann,,H.,2004.,

Energy'minizing,splines,in,manifolds.,

,

Generalizing,Locomo1on,Style,to,New,Animals,With,Inverse,Op1mal,Regression,Kevin,Wampler Adobe,Research,

Zoran,Popović University,of,Washington,Jovan,Popović Adobe,Research,

,,

,

,,

,

,,

,

Geijtenbeek,,T.,,Van,de,Panne,,M.,,and,Van,de,Stappen,,A.,F.,2013,Flexible,muscle'based,locomo1on,,for,bipedal,creatures.,

Generalizing Locomotion Style to New Animals !

!http://grail.cs.washington.edu/projects/

概要 !!!動物の形状のみからデータ補完と逆最適化を組み合わせることで動物の動きを再現する。従来のように筋肉のつき方などを考慮 する必要がないため、データ数が多ければ時間はかかるがごくわずかな手順で動きを再現することができる。 使用するアルゴリズムは joint inverse optimization という。 !!!さらに、これを絶滅した動物にも当てはめ、動きの再現を試みる

Generalizing Locomotion Style to New Animals !

! !http://grail.cs.washington.edu/projects/ !!!!!!・手順 !まずは現存する生物の平面上でのモーションデータを収集、蓄積していく。この際、2足歩行だけでなく4足歩行 !もふくめ幅広くデータを収集した。アルゴリズムの流れは1.モーションデータベースの作成 2.モデルの作成 3. !joint inverse optimizationの適用　となる。

骨格の形だけではなく、大きさも考慮した場合

データベースの内容

・結果＆結論 現存する生物から得られたデータをもとに、絶滅した生物のモデルに当てはめたところそれっぽい動きが得られた。 データベースが充実すればより自然に動かすことができるはずである。ただし、データベース上では非常に類似している 骨格を持つ生物でも全く異なる動きをとる生物もいるため、その調整が必要になる。 今回は生物に限った研究であったが、将来的には生物以外にも応用ができるはずである。 !!!!!!動画：https://www.youtube.com/watch?v=KF_a1c7zytw#t=122

Generalizing Locomotion Style to New Animals !

!http://grail.cs.washington.edu/projects/

関連 Learning Physics-Based Motion Style with Nonlinear Inverse Optimization !生物の動きは再現が難しい。そこで、Nonlinear Inverse Optimizationを用いることにした。 !短いモーションからでも物理パラメータを得ることができる。

Energy-Information Trade-Offs between Movement and Sensing 感覚情報を得るための仕組みやコストを電気魚をつかって調べることで、どれほど能率的に感 !覚を得ているかの定量化に成功した。

Discovery of Complex Behaviors through Contact-Invariant Optimization !人間の様々な動きを合成する完全に自動化されたフレームワークを開発した。

Animating Human Lower Limbs Using Contact-Invariant Optimization 従来のデータややり方に依らない方法で人の下半身による運動のアニメーションを最適化した。

Articulated Swimming Creatures 流体シミュレーションと生物のモーションパラメータの最適化により動物の動きを再現し、ま !た現存しない生物への適用も可能とした

Stitch Meshes for Modeling Knitted Clothing with Yarn-level Detail Cem$$$$Yuksel † Jonathan$$$$M.$$$$Kaldor ‡$$$$ Doug$$$$L.$$$$James $$$$ Steve$$$$Marschner $$$$$

Cornell$$$$University$$$$ †University$$$$of$$$$Utah$$$$ ‡FaceBook

$ $ $$$$ $$$$$$$$$$ $$$

$$$$$$$$$$

$$$$$

$ $$$$$$$$

$$$$$CG $$$$$$

$$$CG $$$$$

$$$$$$$$$$

$ $ $$$$ $$$$$$ $$$$$$ $$$$$$$ $$$2008.$$$$SimulaGng$$$$kniHed$$$$cloth$$$$at$$$$$$$$$the$$$$yarn$$$$level.$$$$ACM$$$$T.$$$$Graph.$$$$$$$$$

AIREAL:'Interac.ve'Tac.le'Experiences'in'Free'Air'!

!3D

!!

!

AIREAL

!!

!TeslaTouch:!electrovibra8on!for!touch!surfaces.!Skinput:!appropria8ng!the!body!as!an!input!surface.!!!

!!

'!

!!

!!

!!

!!

hBps://www.youtube.com/watch?v=xaFBjUJj00M

Precomputed Wave Simulation for Real-Time Sound Propagation of Dynamic Sources in Complex Scenes

Nikunj Raghuvanshi† John Snyder Ravish Mehra† Ming Lin† Naga Govindaraju

どんなもの？

先行研究と比べてどこがすごい？

技術や手汰のキモは何？

どうやって有効だと検証した？

議論はある？

次に読むべき論文は？

動画のリンク　http://dl.acm.org/citation.cfm?id=2601184&picked=formats

動的なプレイヤーに聞こえる音を、周りの状況や音源の動きに 合わせて、リアルタイムに反映させることができる。

音の反響に関して、部屋の机の下など細かい部分の回折する音を 表現できる。また同時に３０の動く音源に対してもリアルタイムに 反映させ、実行環境も先行のものより低スペックで済む

事前にいる位置上の計算を行うことで、動的なものの音に対して 合わせて計算を重ね合わせていく。

音源のデジベルがある領域外のものだと、正常に計算が行われない ことがある。人間の可聴域も関係する可能性がある。

反響する音を、初期の波とその後の波に分けて計算した。 部屋の中や屋外などさまざまな場所で検証を繰り返した。 同じ場所でも音の広がり方による比較をした。

「Real time modeling of acoustic propagation in complex environments.」リアルタイム計算についての関連項目

!VideoSnapping: Interactive Synchronization of Multiple Videos !!Oliver Wang∗, Christopher Schroers∗, Henning Zimmer∗, Markus Gross∗†,Alexander Sorkine-Hornung∗ ∗Disney Research Zurich, †ETH Zurich

!! ! ! !どんなもの？ !!!!!ビデオフレームの特徴を解析して、似た雑な撮り方の !

!!動画さえも同期して再生・合成できる。 ソフトも実装。 !!!!

!! !先行研究と比べてどこがすごい？ !!!

!既存手法では、同期信号（時刻や音声など）が使えないと !!最終的な位置合わせが手動だった。本手法では、なくても !!視覚的類似点が最大になるように自動調整される。 !!!!!

!! ! !技術や手法のキモはどこ？ !!!・制約最短経路法の改変版　・部分重複のためのグラフ構造 !

・グラフベースのペアワイズアラインメント法

!! !どうやって有効だと検証した？ !!!!2フレーム間の特徴の類似を観察し、ヒストグラムからコスト !行列を作る。「最小コスト=マッチする」として動画を整列。 !最短経路を求めて写像を計算し、部分重複の動画を一致させる。 !!!!!

!! ! ! !議論はある？ !!!!Kinectを組み込めば、別人が対象の動画も同期可能に。 !!他にどんなセンサーが同期する可能性を広げられる？ !!!!

!! ! !次に読むべき論文は？ !!!!!Evangelidis and Bauckhage [2013] !

!!（対照的なアプローチで、時空間のマッチングをしている）

どんなもの？ 他者のポートレート写真を入力写真とし、自分のポートレート写真の画質や雰囲気を入力写真に合わせて自動修正することができる。

先行研究と比べてどこがすごい？ 今までのポートレートの修正は、画像全体を修正していた。 (global transfer) が、この技術は、人物の目、肌などの特定の部分を修正して精度を高めている。 (local transfer)

技術や手法のキモはどこ？ 入力画像と参考画像にそれぞれ3種類の加工を施し、その入力画像と参考画像とを合成し、最終的に1枚の画像に合成する。

有効性は？ 従来のものよりも仕上がりが綺麗。 参考画像の目のハイライトや背景も反映されるので、参考画像を変えれば仕上がりも変わる。

議論はある？ 入力画像と参考画像の人物の顔の特徴 (肌の色など)はなるべく近い方がいい。 強い影がある画像は入力画像には向かない

In IEEE Conference on Computer Vision, 1034‒1041. 2009. Face alignment through subspace constrained mean-shifts. In IEEE Conference on Computer Vision, 1034‒1041.

Anima&ng(Fire(with(Sound((Cornell(University

CGSE

CGSE

SE

CLAVIN,(P.,(AND(SIGGIA,(E.(D.(1991.(Turbulent(premixed(flames(and(sound(genera&on.

Pixie%Dust Graphics%Generated%by%Levitated%and%Animated%Objects%in%Computa<onal%Acous<c>Poten<al%Field%

Yoichi%Ochiai,%Takayuki%Hoshi,%Jun%Rekimoto

○どんなもの？

　音響場で物体を空中に浮揚させる.Graphicな視点での応用についての実装も行われていた. ○先行研究と比べてどこがすごい？

　従来の研究では音響場を使って物体を空中に浮揚させるだけであったが, この研究では空中に浮揚している小さい粒子をつかってgraphicsを描くことを実装した. ○技術や手法のキモはどこ？ 　コンピュータを使い位相配列レーダーを操作して, 位相の違う定常波を流し, 場(computational potential-field)を作った.

○どうやって有効だと検証したか

　空気や電磁力の特徴と比較して, サイズ以外に制約がない音響場が物体を浮揚させるのに有効だとした.また, ドライアイスを使って場の可視化をした.

○議論はあるか 　サイズによる制約がある. 浮揚しても不安定な状態である. ただ, プラズマの3D映像は触れることができないが, この技術であれば可能？ ○次に読むべき論文は？ 　“Mounting and Application of Bubble Display System: Bubble cosmos” が気になる… !

Compact%Ultrasound%Device%for%Noncontact%Interac<on%Takayuki%Hoshi

○どんなもの？

　集束超音波装置を小型化した.

○先行研究と比べて何がすごいの？

　これまでの集束超音波装置は本体や周辺機器がとても大きく, 場所をとったので簡単に使えるものではなかった. 小型化したことによってより多くの研究者などの手にとりやすくなり、使用されることが容易になった.

○技法や手法のキモはどこ？

　回路の設計値に拡張性を持たせず, 設定値を固定することによって小型化を図った.

○どうやって有効だと検証した？

　開発した装置から発生させた超音波の空間分布, 時間波形, 周波数応答, 強度制御の評価実験をした. また, 複数の共同研究によっても有効性が検証されている？

○議論はある？

　物体を離れた場所から押すことしかできず、引くことはできない.また,発生する力も弱い.

○次に読むべき論文は？

　小型集束超音波装置を使った研究・実装についての論文.

研究概要

距離センサによる手、顔の認識をwebカメラと機械学習の利用により安価に実現させている。

他との違い

光の反射による深度情報の取得にNIR（近赤外線）を用い、既存のwebカメラの改造で安価に作成可能な点。

技術の中心となる点 実用性

人の顔及び手の認識に機械学習を用い、取得する映像の解像度を本来のカメラのものより落とすなどをしてリアルタイムで処理可能にしている。おかげでスマートフォンにも応用可能。 性能

性能としてもこれまでの深度センサを超えることはなくとも同程度のものがある。安価な点で勝るといえる。

元はwebカメラであり、改造の手法も載っているので安価に広く深度センサを用いることができる。新たなNUIとしての開発などへの発展性がある。

読むべき他の論文

[Fredembachand Susstrunk 2008; Krishnan and Fergus 2009]

近赤外線（NIR）を可視化することで目に見えない情報を取得する研究

深度情報から人間の骨格情報をうまく取得する手法の研究

通常の人物画像からそのポーズを推定する

機械学習を用いてShape from Shading法による画像からの物体の深度情報取得の高速化

光の当て方を変えた複数枚の画像から３Dモデルの復元

どんなもの？

先行技術と比べてどこがすごい？

技術や手法のキモはどこ？

どうやって有効だと検証した？

議論はある？

次に読む論文は？

スマホを傾け水のしぶきをあげ、的に 当てるというゲーム。

不自然な粒子の動きが少なく、 なめらかなシュミレーションができる点。

解析学とstate graphを用いて粒子の動きを 計算する。

3DCGの水の動きは複雑なので、 全てを正確に制御するのは難しいのでは。

実際のプールでシュミレーションを行い、 それをアニメーションにすることで正確な 状態遷移図を作成した。

Highly Adaptive Liquid Simulations on Tetrahedral Meshes�2013

どんな3Dの物体もキューブ状に たたむことができる！

液体で3Dの物体を作成した ときの粒子をシュミレーション できる！

光を当てると、思い通りの 絵を移すガラスを作る技術 平面の絵を３Ｄに見せる技術

2枚の液晶と、奥のＬＥＤライトで ３Ｄの映像を表現！

Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms Hiroshi Ishii and Brygg Ullmer

どういうものか 先行技術と比べて何がすごいか

どうやって有効だと検証したか

次に読みたい論文：OmniTouch: Wearable Multitouch Interaction Everywhere

議論はあるのか

物質的な環境にある、つかめるオブジェクトや取り巻くメディア(ambient media)を通して、ビットとアトムの垣根に橋渡しをするtangible bits(触って感知できるビット)というHCI

従来のGUIのようなウィンドウやアイコンではなく、 物質的に触れることのできるレンズやファイコンなどを通して 操作できるTUIを採用している点。 光や音、水、空気の流れなど周囲を取り巻くメディアを用いる点。

GUIを現実世界に物質的なものとして持ってくるmetaDESK, ホワイトボードに書いた物質的なデータをビットに変換する インタラクティブなtransBOARD, 周囲を取り巻くメディアを用いるambientROOMを実装した

物質的空間とデジタルの光のインタラクションというアイディアは ミラーやプリズム、透明、不透明、異なるスペクトラムの光、貫通 の力などの新しいたくさんの可能性を切り開く。

Iterative Design of Seamless Collaboration Media ‘Smart Clothing’: Wearable Multimedia Computing and ‘Personal Imaging’ to Restore the Technological Balance Between People and Their Environments

Hiroshi Ishii, Minoru Kohayashi, and Kazuho Arita

リアルタイムで相手とアイコンタクトをしながら ワークスペースを共有しやり取りできるクリアーボード

ヘッドマウントディスプレイ、カメラ、センサーなどの付いた、パーソナルでWearableなマルチメディアコンピューター

Steve Mann MIT Media Lab

Bricks: Laying the Foundations for Graspable User Interfaces The Computer for the 21st Century

物質的なハンドルを通して、電子的でバーチャルなオブジェクトを直接 制御できるより発展的なGUI

これから人間がマシンの中に入るのではなく、 マシンが人間の環境に適合していく。 それによって、森の中を散歩するかのように、 新鮮に自然に我々はコンピューターを使うことになるだろう。

George W. Fitzmaurice Hiroshi Ishii William Buxton Mark Weiser

Living in Augmented Reality: Ubiquitous Media and Reactive Environments.

リモート通信によって会議に参加したり、 オフィスをシェアしたり、顔と顔を合わせて連絡を 取り合うことができる。 ユビキタスメディアに取り入れられるデザイン。

William A.S. Buxton Computer Systems Research Institute, University of Tornonto & Alias | Wavefront Inc., Toronto

どんなもの？

先行研究と比べてどこがすごい？

議論

どうやって有効だと証明したか？

次に進むべき論文

技術や手法のキモはどこか？

距離を測定できるカメラ（Kinect）を用いたタッチセンサーの開発

対象物が本や机などタッチセンサを持たないものであっても、また平面でなくても、その物体に触れているか否かがわかる

距離を測定できるカメラを用い、物体までの距離と手の距離を比較してタッチしてるか否かを判定する

実際に本の片方に手を置き、もう片方は浮かせてカメラでその様子を撮影し、触れてるか判定できたことを確認（上図）

OmniTouch: wearable multitouch interaction everywhereかな？

さすがに従来のタッチスクリーンには精度等で及ばないが、どこでもタッチパネルになるから様々な用途に有用なのでは？

Using&a&Depth&Camera&as&a&Touch&Sensor

どんなもの？

先行研究と比べてどこがすごい？

議論

どうやって有効だと証明したか？

次に進むべき論文

技術や手法のキモはどこか？

手や本、壁を認識し、そこに画面を投影し、タッチスクリーンのように指の動作によって操作できる 動画では実際に手とノートを例に検証

スクリーンと違い、場所を制限されずに インターフェース操作ができる

環境にプロジェクションし動きに合わせて動く手法（The Everywhere Displays projector等）と、指の動きを検出、表面を触る動作を検出する手法（Skinput等）

被験者に実際に投影した画面を指でクリックしたり、線を描いてもらって入力の整合性を調べた

The Everywhere Displays projectorか…？

もっと入力、投影等を正確にできるのではないか？

OmniTouch:&wearable&mul;touch&interac;on&everywhere�

どんなものか？

先行研究と比べてどこがすごいか？

技術や手法のキモはどこか？ 次に読むべき論文は？

議論はあるか？

どうやって有効だと検証したか？

写真上で、２Dのものを3Dとして合成し、動かせるようにする。

既存の3Dモデルを合成する際、写真に写っていない背面部分も、写真から補完して合成してしまうこと。

複雑な物や小さなパーツは失敗が起こりやすい

従来は写真の合成は二次元空間に制限されていたが、この研究では３次元的な合成ができること。

計算により、物体の歪みを調節、光源の見積もり、隠れた部分と見える部分の形状の対称性の関係を確立。MRFの使用。MSEの比較。

Zheng et al. [2012]

視覚要素を使用し、2Dで表現された物を3Dに復元する。

違和感無く画像の拡大縮小を行い、様々なサイズの画像を作り出せるようにする。

ある部分と一番似ている部分を見つけることで、画像編集をする

物体の対称性等を利用し、自由にオブジェクトを変化させられるスライドドッカー作成

閉塞の分析、MRFの使用、２Dと３Dのつなぎの最適化を提案することでフレームワークの表示をする

Air+Touch:+Interweaving+Touch+&+In Air+Gestures+

+

+(2014 )

20

,2 ,5 , 15

,

++

An+in?air+poinAng+technique+to+manipulate+out?of?reach+targets+on+tabletops.+

>+ +

>+

+

>+

+

>+

+

>+

+

> Globally+consistent+depth+labeling+of+4D+light+fields.++

Scene Reconstruction from High Spatio-Angular Resolution Light FieldsChangil+Kim1,2+Henning+Zimmer1,2+Yael+Pritch1+Alexander+Sorkine?Hornung1+Markus+Gross1,2+1Disney+Research+Zurich+2ETH+Zurich

•  3D

#• 

#•  3D

#

•  < >

#

•  < >Jaap’s#sphere#

•  3D

#

•  Sensi&ve(Couture(for(Interac&ve(Garment(Modeling(and(Edi&ng #

Computa&onal(Design(of(Twisty(Joints(and(Puzzles(#

Configura&on(Transforma&on(Theory(from(a(ChainCType(Reconfigurable(Modular(MechanismCRubik’(Snake

##

( )

#

3DCPrin&ng(of(NonCassembly,(Ar&culate(Models(

##

3D ##

Computa&onal(Design(of(LinkageCBased((Characters(

##

#

Plushie:(An(Interac&ve(Design(System(for(Plush(Toy(

##

2D3D#

Sensi&ve(Couture(for(Interac&ve(Garment(Modeling(and(Edi&ng

##

2D 3D #

#

FlashTouch:+Data+Communica2on+through+Touchscreens�

先行研究と比べてどこがすごい？

どんなもの？

技術や手法のキモはどこ？

どうやって有効性を検証した？

議論はある？

次に読むべき論文は？

可視光と静電容量式タッチを利用したタッチパネルを搭載したモバイル端末間や周辺機器の新しいデータ通信の技術.

可視光と静電容量式タッチの2種類の手法を用いてデータを伝達する点. 初期設定が不要なことや実装の手軽さ.

画面の可視光を受け取り、データを保存して、静電容量式タッチパネルにデータを伝える手法.

NFCに似た電子決済システムやロボットのコントローラーとして実装した.

ペン型の外部のデバイスを必要となる. 速くて大容量でも安定したデータ通信の手法は存在するが、接続の難しさやネットワークにつながっていない時のデータ通信の問題を解決できる.

・Visible'light'communica1on'and'display5based'compu1ng ・Phone'as'a'pixel

Masa'Ogata,'Yuta'Sugiura,'Hirotaka'Osawa,'Michita'Imai

Slide'Swipe:'Detec1ng'In5air'Gestures'Around'Mobile'Devices'Using'Actual'GSM'Signals

~ ~+

AM#

#

~ ~+

3G TDMA GMSK#

~ ~#

~ ~+

TI 14

( 87.2%)#

+

~ ~+

#

+

~ ~+

RF7ID#raw:Virtual#Touch#Screen#in#the#Air#Using#RF#Signals#(Deepak#Vasisht,Jue#Wang#and#Dina#Katabi#/MIT)#

From 3D to VR and farther to Telexistence

3D . VR 30 .

2020 .

Telexistence : , . Telepresence )

Telexistence Master-Slave system TELESAR

TELESAR Master-slave , , , . slave .

S. Tachi : From 3D to VR and farther to Telexistence Artificial Reality and Telexistence (ICAT), 2013 23rd International Conference on,

Fig.3 TELESARFig.2 Telexistence Fig.1 3D-VR Fig.4

Telexistence Cockpit for Humanoid Robot Control

Telexistence Master-Slave system Cockpit , .

feedback HMD( ).

Slave- .

S. Tachi, K. Komoriya, K. Sawada, T. Nishiyama, T. Itoko, M. Kobayashi, and K. Inoue: Telexistence Cockpit for Humanoid Robot Control, Advanced

Robotics, vol.17, no.3, pp.199-217, 2003.

TORSO: Development of a Telexistence Visual System Using a 6-d.o.f. Robot Head

K. Watanabe, I. Kawabuchi, N. Kawakami, T. Maeda, and S. Tachi: TORSO: Development of a Telexistence Visual System using a 6-d.o.f. Robot Head: Advanced Robotics, vol.22, pp.1053- 1073, 2008.

D.O.F.(=degree of freedom)

D.O.F.

TELEsarPHONE: Mutual Telexistence Master-Slave Communication System Based on Retrore-flective

Projection Technology

S. Tachi, K. Watanabe, and K. Minamizawa: TELEsarPHONE: Mutual Telexistence Master Slave Communication System based on Retro-Reflective Projection Technology, SICE Journal of Control, Measurement, and System Integration, vol.1, no.5, pp.1-10, 2008.

Telexistnce

TELEsarPHONE

.

.

Design of TELESAR V for Transferring Bodily Consciousness in Telexistence

Telexistence Master-slave system TELESAR .

, , ,

D.O.F.(=Degree of freedom) D.O.F. D.O.F. D.O.F.

Fig 1. TELESAR

C. L. Fernando and S. Tachi: Design of TELESAR V for Transferring Bodily Consciousness in Telexistence, Proceedings of IEEE/RSJ International

Conference on Intelligent Robots and Systems (IROS2012), pp.5112-5118, Vilamoura, Algarve, Portugal, 2012.

Mutual Hand Representation for Telexistence Robots using Projected Virtual Hands

MHD Yamen Saraiji, Charith Lasantha Fernando, Kouta Minamizawa, and Susumu Tachi : Mutual hand representation for telexistence robots using projected virtual hands. In Proceedings of the 6th Augmented Human International Conference (AH '15), Singapore, pp.221-222 (2015.3) [demonstration]

. Telexistence

Imaginary)Reality)Gaming:)Ball)Games)Without)a)Ball

AR ##

HMD#

#

#

#

#

#

Monte#Carlo#Methods#for#Managing#Interac7ve#State,#Ac7on#and#Feedback#Under#Uncertainty##

Development#of#the#Mo7onBControllable#Ball

Monte#Carlo#Methods#for#Managing#Interac7ve#State,#Ac7on#and#Feedback#

Under#Uncertainty

Stochas7cks:#Augmen7ng#the#Billiards#Experience#with#Probabilis7c#Vision#and#

Wearable#Computers#

3DHMD

Target#Assistance#for#Subtly#Balancing#Compe77ve#Play

Imaginary#Interfaces:#Spa7al#Interac7on#with#Empty#Hands#and#without#Visual#Feedback

Coexistent)Space:)Toward)Seamless)Integra7on)of)Real,)Virtual,)and)Remote)Worlds)for)4D+)Interpersonal)Interac7on)and)Collabora7on)

!

!4D+

!4D+ ,3D!vision, , , , ,

!!

!

Immersive)GroupDtoDGroup)Telepresence

3D !

TELEPORT)–)Towards)immersive)copresence

!

!

Stephan!Beck,!Andre!Kunert,!Alexander!Kulik,!and!Bernd!Froehlich,!´!Member,!IEEE Simon!J.!Gibbs,!ConstanGn!Arapis,!ChrisGan!J.!

Breiteneder

A)NOVEL)SEEDTHROUGH)SCREEN)BASED)ON)WEAVE)FABRICS

!

!!

A)Framework)for)Collabora7ve)RealDTime)3D)Teleimmersion)in)a)Geographically)Distributed)Environment

3D!

3

!

TriangulaGon !

Cha!Zhang†!,!Ruigang!Yang‡!,!Tim!Large†!,!Zhengyou!Zhang† Gregorij!Kurillo,!Ramanarayan!Vasudevan,!

Edgar!Lobaton,!and!Ruzena!Bajcsy

Rapid)3D)Modeling)and)Parts)Recogni7on)on)Automo7ve)Vehicles)Using)a)Network)of)RGBDD)Sensors)for)Robot)Guidance)

KinectKinect3D !

Alberto!ChávezUAragón,!Rizwan!Macknojia,!Pierre!Payeur,!and!Robert!Laganière

A"Probabilis+c"Model"for"Component6Based"Shape"Synthesis"Evangelos*Kalogerakis* Siddhartha*Chaudhuri* Daphne*Koller* Vladlen*Koltun**

100 1267

KALOGERAKIS,*E.,*HERTZMANN,*A.,*AND*SINGH,*K.*2010.*Learning*3D*mesh*segmentaLon*and*labeling.*ACM$Transac+$,ons$on$Graphics$29,*4.**

Unsupervised+Co.Segmenta4on+of+a+Set+of+Shapes+via+Descriptor.Space+Spectral+Clustering

Oana+Sidi ++Oliver+van+Kaick†++Yanir+Kleiman ++Hao+Zhang†+Daniel+Cohen.Or

Joint+Shape+Segmenta4on+with+Linear+Programming++

Qixing+Huang++Vladlen+Koltun++Leonidas+Guibas++

Upright+Orienta4on+of+Man.Made+Objects+Hongbo+Fu+++Daniel+Cohen.O+++Gideon+Dror+++Alla+Sheffer+

Learning+3D+Mesh+Segmenta4on+and+Labeling+Evangelos+Kalogerakis+++Aaron+Hertzmann++Karan+Singh+

A+3D+Shape+Benchmark+for+Retrieval+and+Automa4c+Classifica4on+of+Architectural+DataRaoul+Wessel+++++Ina+Blümel+++++Reinhard+Klein

2D

3D

( )

2

( )IR(cut(filter IR(bandpass(filter

NIR

ToF( (Xbox(One(Kinect)

[Hoiem(et(al.(2005]

1 3D

2

2D ((

RDF(

((

(

( 3D (

(3D

2D3D

( )

(2

( )IR(cut(filter IR(bandpass(filter NIR

ToF( (Xbox(One(Kinect)

([Hoiem(et(al.(2005]

Focus 3D: Compressive Accommodation Display ANDREW MAIMONE!University of North Carolina at Chapel Hill!GORDON WETZSTEIN, MATTHEW HIRSCH, DOUGLAS LANMAN and RAMESH RASKAR MIT Media Lab !and!HENRY FUCHS !University of North Carolina at Chapel Hill

どんなもの？ •  3Dによる立体映像をメガネなしで提供するディスプレイ

先行研究と比べて何がすごい？

•  光学的な構造および、コンピュータを利用した際のコストが低い

•  明るさ、解像度、framerateの値が従来よりすぐれている

技術や手法のキモはどこ？ ・[Lanman et al. 2010] による、ディスプレイへ　の最適化された高速な調整•  従来にはない新しいコンピュータの表示構造

どうやって有効だと検証した？

•  従来のディスプレイとの解像度、framrate、立体度を、比べた。

議論など •  ディスプレイに対して垂直な位置でなければ3D表示が上手く表示されない

次に読むべき論文は？

•  従来の3Dディスプレイの構造と比較する必要があると考え

•  [Sullivan 2003]

•  [Putilin et al. 2001; Gotoda 2010; Wetzstein et al. 2011; Lanman et al. 2011; Wetzstein et al. 2012]

•  [Chu et al. 2005; Chien and Shieh 2006; Brott and Schultz 2010]

•  [Toyooka et al. 2001; Mather et al. 2009; Kwon and Choi 2012]

•  などを読むべきだと思っている。 [

CICHOCKI, A., ZDUNEK, R., PHAN, A. H., AND ICHI AMARI, S. 2009. Nonnegative Matrix and Tensor Factorizations. Wiley. 画像処理における、ベクトルの因数分解処理のアルゴリズムを利用

BROTT, R. AND SCHULTZ, J. 2010. Directional backlight lightguide con- siderations for full resolution autostereoscopic 3D displays. SID Digest, 218–221.

3Dディスプレイで高解像度のを実現するための理論を利用

AKELEY, K., WATT, S. J., GIRSHICK, A. R., AND BANKS, M. S. 2004. A stereo display prototype with multiple focal distances. ACM Trans. Graph. (SIGGRAPH) 23, 804–813.

•  正確な焦点距離の取得に利用

LANMAN, D., HIRSCH, M., KIM, Y., AND RASKAR, R. 2010. Content- adaptive parallax barriers: Optimizing dual-layer 3D displays using low- rank light field factorization. ACM Trans. Graph. (SIGGRAPH Asia) 29, 163:1–163:10.

•  3Dディスプレイへの最適化表示に利用

MARWAH, K., WETZSTEIN, G., BANDO, Y., AND RASKAR, R. 2013. Compressive Light Field Photography using Overcomplete Dictionaries and Optimized Projections. ACM Trans. Graph. (Proc. SIGGRAPH).

明視野の効率的な圧縮技術