#ftma15 第六回課題全コースサーベイ

Food Messaging: Using an Edible Medium for Social Messaging Jun Wei, Xiaojuan Ma, Shengdong Zhao

先行研究と比べてどこがすごい？

どんなもの？

SMSとしての食べ物の利用について考察したもの

技術や手法のキモは？次に読むべき論文は？

議論はある？

どうやって有効だと検証した？

食べ物をメディアとしたコミュニケーションの可能性を考察しただけの論文なので特に特徴的な工夫は見られなかった

キャノンやエプソンが販売している可食印刷機を使用している。また食べられるSMSメディアを作るものとして３Dプリンタについても触れている。

被験者を募り実際に食べ物をメディアとしたSMSを利用してもらい、アンケートやインタビューをした。

食べられるSMSには他のメディアによるSMSにはない有形で可食であるという特徴がある。この特徴はコミュにケーションに大きな影響を与える。

食べ物をメディアとして使ったもの。

La8e Art Machine

Gamelunch: Forging a Dining Experience through Sound

Pietro PoloA , Stefano PapeA

Stefano Delle Monache, Davide Rocchesso

音の発生を物体と物体のインタラクションと捉え、日常の動きに音をつけることで生活をデジタルな

制御を与えるもの

h(ps://www.youtube.com/watch?v=JY8UqSaYC1o

TangibleInterfacesfor Remote CollaboraHonand CommunicaHon

Sco( Brave, Hiroshi Ishii, and Andrew Dahley

遠くに離れているユーザー同士が同じ物体を触って操作してい

る感覚を作るもの

La8e Art Machine Oleksiy Pikalo∗ OnLa(e

ラテアートをする機械

Celebratory Technology: New DirecHons for Food Research in HCI

Andrea Grimes

Georgia InsRtute of Technology 85 5th St. NW Atlanta, GA 30332 USA [email protected]

Richard Harper

Microso\ Research 7 J J Thomson Ave Cambridge, CB3 0FB, UK

r.harper@microso\.com

食べものを人間の生活や文化においてとても重要な意味を持つものと考え、人と食べもののインタラクションについて述べたもの

Wan2tlk?: Everyday Text Messaging

Rebecca E. Grinter , Margery Eldridge

電子メールなどテキストを用いたコミュニケーションの不便な部分などについて

Active click: tactile feedback for touch panels

Makaki FUKUMOtO, Toshiaki SUGIMARU:Active click: tactile feedback for touch panels, CHI EA ’01, 2001.

どんなもの？


技術や手法のキモはどこ？どうやって有効だと検証した？

論議はある？次に進むべき論文は？

音やボタン表示の大きさを調整したりする必要がないため,操作に支障をきたしにくい.また,振動でわかりやすい入力ができる.

An emperical comparison of pie vs.Linear menus.とか

音やボタンの大きさを気にせず,画面操作中のタッチフィードバックを得ることができる.

デバイスのフィードバックシステム,Active clickというもの.フィードバックは物理的な振動.

大きなスクリーンは画面全体を振動させなければならないので消費電力が大きい.

被験者に実際に操作してもらい検証した.ビーブ音との比較等を行った.

論文URL: http://dl.acm.org.ezproxy.tulips.tsukuba.ac.jp/citation.cfm?id=634141

どんなもの？

手持ちのカメラで頭のモデルを作る

先行研究との違い

特別な機械がいらない

技術や手法のキモ

リアルタイムで動的にフェイスリグを適用する

検証方法

様々な角度から撮影し、ポイントを計測しながらテクスチャを作る

結論

ハンドカメラを用い、限られた情報から3Dのフェイスを作ることができるようになった

次

なんだろう

Dynamic 3D Avatar Creation from Hand-held Video Input

CREATING A PHOTOREALDIGITALACTOR:THE DIGITALE MILY

PROJECT

コンピュータグラフィックスによりデジタルの俳優を作り出す

High-Quality Single-Shot Capture ofFacial Geometry

多数のカメラではなく、1台のカメラの1枚の写真から高精細な顔のモデルを作り出す

High-Quality Capture of Eyes

眼球をキャプチャーし、高精細な眼のモデルを作製する


どんなもの？

次に読むべき論文は？どうやって有用だと検証した？

技術や手法のキモはどこ？議論はある？

これまでのARグラスによって表示可能であったのが視野角40°程度なのに対し110°まで広がっている点。

表示された文字が読むことができるようにするための実験や、リアルタイムデモが可能な点によって。

HIURA, S., MOHAN, A., AND RASKAR, R. 2010. Krill-eye: Superposition compound eye for wide-angle imaging via grin lenses.

より実用的なものとする為には視線追跡機能や表現可能な色の数など改善すべき点はおおくのこっている。

小さな孔に光を通すことでそれがレンズの役割を果たし映像を広げることで視野角を拡大させている。

細かい穴をあけた透明な板をシースルーディスプレイの外側に配置したARグラスの開発

動物の複眼を参考にした広角で歪みのない画像を得るためのレンズの開発

カメラのボケを利用した離れた距離からでも読みとれるバーコード

目の下に取り付けたカメラによる楕円検出を用いた瞳孔追跡

カメラで撮影することで複数のプロジェクターの映像をきれいに重ね合わせる

ARグラス用の光の反射、屈折、回析を利用しないディスプレイの開発

どんなもの？先行技術と比べてどこがすごい？

技術や手法のキモはどこ？

議論はある？

次に読む論文は？

英文で絵を作るアルゴリズム。簡単に作ることができ、その文字を読むことができる。

前代の技術は専門的な技術を必要とし、地道な作業を強いられていたのに対し、コンピュータで自動的に作れるようになり、手軽に作れるようになった点。また、文字の色・フォントも変えることができ、文字の並びを変えることもできる。

ベクトルで文字の流れ・曲線を計算し、形の輪郭をコントロールした点。

極端な曲線はこのアルゴリズムには不適なのでは？

Spin-It: Optimizing Moment of Inertia for Spinnable Objects

ユーザーが物体と軸を設定することで安定したコマを自動で計算するアルゴリズム。

先に物体の転がる音を入力することで、それに対応した物体の動きを再現する。数百の音に対応でき、約１２パターンもの物体の動きが設定されている。

自転車に乗った動きをシュミレーションできる。直線での動きだけでなく、蛇行、階段降り、ジャンプなどもできる。

薄い粘性のあるシートの動きをシュミレーションできる。表面張力の大小も調整できる。

水中生物が動く様子と、その周辺の海水の粒子の動きの様子をシュミレーションできる。

Proprioceptive Interaction

Pedro Lopes, Daniel Hoffmann, Alexandra Ion, Patrik Jonell, Willi Mueller, Patrick Baudisch

どういうものか

どうやって有効だと検証したか

次に読みたい論文：GestureWrist and GesturePad: Unobtrusive Wearable Interaction Devices

議論はあるのか

加速度センサーで指の動きを認識し(入力)、EMS（ElectricalMuscle Stimulation）アクチュエータを用いて筋肉に電流を流して手首を動かす(出力)インタラクションデバイスPose-‐IO

EMSによって手をポージングさせたのち、使用者が同じポーズをしてそれを学習させた。何人かの被験者にPose-‐IOを用いたゲームの例を体験してもらいフィードバックをもらった。

視覚障害者の支援ツールにもなりえるのではないか？手首だけではなく色々な筋肉を入出力に使えるのではないか？

先行技術と比べて何がすごいかアイズフリー(目で確認する必要のない)インタラクションデバイスは今までは視覚や聴覚、外部の刺激を用いるものが多かったが、このPose-‐IOは関節のポーズを入力、関節の動きで出力とするところがすごい

User Interfaces for Interac-ve Control of Physic-‐based 3D Character

• 検証

ダイビングやフリースタイルスキー、ハーフパイプなどの競技のモーションの描画によって検証

• 議論の余地

より抽象的な動きをシミュレーション

• 次に読むべき論文

Compu'ng Smooth Surface Contours withAccurate Topology

• どんなもの?3Dキャラを物理法則に則ってコントロールするイン

ターフェースのプロトタイプ

• 新規性3Dキャラの種々のスポーツ特有の動きを実現させ

ることができ、コントローラをスポーツごとに対応させられる• 手法の肝ボタン入力にモデルを動かすためのパラメータと

タイムラインにおける描画上重要なイベントのマーカーを対応させて描画に用いる(アクションパレットインターフェース)

Composable Controllers for Physics-‐Based Character Anima'on

• 物理法則に則ったキャラアニメーションのコントローラ設計

Synthesis of Complex Dynamic Character Mo'on from Simple Anima'on

• 2次元のアニメを解析し、それを基にしたCGによるモーションの再現

Interac've Manipula'on of Rigid Body Simula'ons

• 動的なオブジェクトに対し、初期位置などの少ないパラメータからリアルなモーションを再現する

Ski stunt simulator: Experiments with interac've dynamics

•  マウスジェスチャによってスキーのモーションを表現するシミュレータ

Layered Dynamic Control for Interactive Character Swimming

• 現実の水泳の動きを解析し、刻々と変化する3Dの泳ぎやその周囲のモーションを描画する手法

Playing Atari with Deep Reinforcement Learning Shoya Ishimaru. Yuji Uema. Kai Kunze. Koichi Kise . Katsuma Tanaka. Masahiko Inami

どんなものか


技術のキモはどこか


議論はある？

次に進むべき論文は？

論文自体にはなし、ただ強化学習のポイントである報酬についてが曖昧で今回は環境に依存したと言っても過言ではない

Human-level control through deep reinforcement learning

深層学習と強化学習を用いて高次元の入力に対しての制御を学習.家庭用ゲーム機,Atariの2600ゲームのうち７つほどをプレイさせる.基本的に人為的な入力は０. 現Google の人工知能DQNの元の論文

実際にatariのゲームをプレイさせ過去の研究の成果、およびエキスパートユーザと対比, 過去の研究に対して6/7.人間に対して3/7で勝利.

訓練データが大量に必要.ルールなどを教え込むことが必要.これらを学習によって解決. 強化学習の注目点である”報酬”に関して遅延報酬をに関する問題を解決.過去の経験を平均化させ利用

入力データ,画面ラスト4フレームに対して画像を粗くさせて高速化,サンプリングしたデータ同士の相関を低下させる.出力がパラメータに依存

Sketch-‐based linear value func@on approxima@on

強化学習において線形近似関数の新たなデータ構造を提案

強化学習においてハッシュとタイル符号化を組み合わせて連続空間内の状態を表現

↓ tug-of-war sketch を使用し強化学習で

傾向を評価するより少ないハッシュのオーダで実現.

評価にatari2600の50ゲームほどを使用

Context-Dependent Pre-Trained Deep Neural Networks for Large-Vocabulary Speech

Recognition

携帯電話認識においてDBNをもちいて大語彙の連続音声認識(LVSR)

新しいコンテキスト依存(CD)モデルを提案事前学習において過学習と隠れマルコフモデル

(DNN-HMM)の用いたモデルを用いる。

DBN-LVSR-DNN-HMMを提案。

George E. Dahl, Dong Yu, Senior Member, IEEE, Li Deng, Fellow, IEEE, and Alex Acero, Fellow, IEEE

Marc G. Bellemare　Joel Veness　Michael Bowling

The arcade learning environment: An evaluation platform for general agents

強化学習、モデル学習などに用いられるアーケード学習用の環境(ALE)の導入

ATARIの2600ゲームに対応した環境の設計

ドメイン（種類？）に依存しないベンチマークの開発

55以上の異なるゲームで実証結果

ALEにより可能となる評価手法を提案

SPEECH RECOGNITION WITH DEEP RECURRENT NEURAL NETWORK

Alex Graves, Abdel-rahman Mohamed and Geoffrey HintonKai Kunze, Masai Katsutoshi, Yuji Uema, Masahiko Inami

リカレントニューラルネットワーク（RNNs）↑シーケンシャルなデータの処理が得意

音声認識のためにディープラーニングをもちいたRNNを使用

また、その性能を評価TIMIT音素認識ベンチマークで

17.7パーセントのテスト·セット·エラー

TD-Gammon→強化学習を用いたバックギャモンを行うシステム↑

精巧だがブレイクスルーにつながっていない

この研究では誤差逆伝播法,強化学習,TD学習を用いないで 4000個のパラメータでfeed-forward neural networkを用いた評価関数を開発しTD-Gammonの機能を一部複製した。

Why did TD-Gammon WorkJordan B. Pollack & Alan D. Blair

BaseLase: An Interac.ve Focus + Context Laser Floor

どんなものか

デバイスの周囲5mの地面にレーザで文字や図形を投影でき、そのレーザと相互に作用することが出来るシステム。

先行研究と比べてどこが凄いか

一つの面に高解像度のレーザー光と低解像度のレーザー光の2種類を同時に投影出来る。

技術や手法のキモはどこなのか

間に鏡を設置しそこで反射させて投影することで、上面のポリウレタンで反射させるより投影距離が短くなり高解像度に投影出来る。

どうやって有効だと検証したか

アプリケーションを2つ作った。また、実際に12人の人にモード切り替え方法を教えず模索してもらったり、手や足で図形を描いてもらった

。今後の課題や議論

目や顔を検出してレーザーを当たらないようにし安全性を高めたい。context mirrorを円筒状のアクリルガラスで固定し雨などに強くしたい。自律ロボットに載せてみたい。

次に読むべき論文 The Everywhere Displays Projector: A Device to Create Ubiquitous Graphical Interfaces

The Everywhere Displays Projector: A Device to Create Ubiquitous Graphical Interfaces

液晶プロジェクターの光を回転鏡により逸らし、部屋中のあらゆる場所へ投影出来る

LaserTouch : Touch device control using a laser pointer

レーザーポインタによるタッチパネル操作手法の提案

LaserOrigami: Laser-‐Cu@ng 3D Objects

熱による3Dオブジェクトの高速切断方法の提案。(従来のレーザーカットのように手動での組み立てを必要としない)

GravitySpace: Tracking Users and Their Poses ina Smart Room Using a Pressure-‐Sensing Floor

床にかかる圧力からユーザの場所やポーズ、あるいは家具の位置の推定

Looking Glass: A Field Study on NoQcing InteracQvity of a Shop Window

お店の窓のうち3つをインタラクティブなディスプレイに変更し、通行人の反応を調査する

Munehiko Sato Shigeo Yoshida Alex Olwal Boxin Shi Atsushi Hiyama Tomohiro Tanikawa Michitaka Hirose Ramesh Raskar CHI 2015

どんな研究か？波長の違うLED４セットとイメージセンサを用いて物体のセンシングを行うデバイスの開発．リアルタイムユビキタスコンピューティングに向いている．評価実験も行った．

先行研究と比べて何がすごいか？ LEDとイメージセンサとマイコンにBluetoothモジュールを取り付けるだけでスマートフォンやタブレットと通信をして素材ごとに違う動作をさせることができる．

この手法のキモは？物体の表面で反射した光をイメージセンサで測定し，素材と波長ごとのLEDの光の反射率の違いから物体の表面の素材を推定する．

検証方法・結果いろいろな光の状況でいろいろな素材に当てて試した．高い確率で素材を判別することができた．実際にプロトタイプを作って，６面がそれぞれ違う素材でで

きたショーケースにかざして使ってみた．iPhoneと連携させて使ってみた．

議論はあるか？特になし

次に読むべきもの

Yang, X., Grossman, T., Wigdor, D., and Fitzmaurice, G. Magic finger: Always-‐available input through finger instrumentaUon. In Proc. ACM UIST ’12, 147–156.

SpecTrans: VersaUle Material ClassificaUon for InteracUon with Textureless, Specular and Transparent Surfaces

A Data-‐Driven Reflectance Model

Wojciech Matusik Hanspeter Pfister Mad Brand Leonard McMillan

A PracUcal Model for Subsurface Light Transport Henrik Wann Jensen Stephen R. Marschner Marc Levoy

Pat Hanrahan

双方向反射率分布関数（BRDF）を用いて物体の表面に質感をレンダリングするデータベースの作成

BRDFを用いて物体の表面に光が当たった時の物体の表面の質感と影の部分のレンダリングする手法の提案．

Magic Finger: Always-‐Available Input through Finger InstrumentaUon

Xing-‐Dong Yang Tovi Grossman Daniel Wigdor George Fitzmaurice

SpeckleEye: Gestural InteracUon for Embedded Electronics in Ubiquitous CompuUng

Alex Olwal Andy Bardagjy Jan Zizka Ramesh Raskar

人間の指先につけたLEDとRGBカメラによって物体の表面の質感を検知するデバイスの開発．２２種類の質感の種類を９８．９％の精度で検出することがか可能．

レーザーを用いたリアルタイム動作追跡によってジェスチャーを検出するシステムの実装例を示した論文．

SpeckleSense: Fast, Precise, Low-‐cost and Compact MoUon Sensing using Laser Speckle Jan Zizka Alex Olwal Ramesh Raskar

Laser Specklesを用いたモーションセンシング技術を用いて，人間とコンピュータ間のインタラクションを生み出すデバイスの開発．

どんなもの？

　見えているもの以上のものを見る。(画像情報のみでナビゲーション。)

他と比べてどこがすごい？

　通常のコンピュータビジョンと異なり、画像に写っているもの以上のものを見ることを目指した。GPSやインターネットなしに、画像情報のみからナビゲーションや犯罪発生率推定を行う。

技術のキモ・手法は？

　画像に対し、骨子、テクスチャ、色、勾配を用いたアルゴリズムやディープラーニングにより、目的地までの距離と犯罪の発生率を推定し、ナビゲーションを行う。

次に読むべき論文は？

議論・結論は？

　視覚的な情報のみを用いて、将来の犯罪や、経済・政治の情勢を予測するなど、この道には様々な可能性があると考えている。

IM2GPS SUN A-ribute Database (個人的に読みたいのはFrame Break)

どうやって有用だと示した？

　人間にも画像から推定してもらって、その場合との比較を行い、人間の直感よりも優れていることを示した。

CVPR, 2014

純粋なデータ重視型シーンマッチングを用いて、単一の画像から地球上の地理的な位置を確率分布として推定する。インターネット上の600万枚のGPSタグ付き画像をデータセットとして利用している。

ネット上で人気になる画像は、どうして人気があるのか？人気の予測は可能なのか？という研究。今回読んだ論文の動機となった論文でもある。

WWW, 2014

CVPR, 2008

シーンについて、新しい属性に基づく表現を提案し、それをベースに、初の大規模属性データベースを作成、検証した。これまでの研究より一般的な属性認識を実現している。

CVPR, 2012

グローバルな幾何学的関係に基づき、シーンのカテゴリを認識する。4600以上も引用されている論文。

CVPR, 2006

入力画像よりも広い視野の画像を生成する、最初の研究。似たシーンの広角画像をガイドとし、シフトマップ画像合成法を用いることで、実現している。

CVPR, 2013

Scene Comple+on Using Millions of PhotographsJames Hays, Alexei A. Efros.


どんなもの？


どうやって有効と検証した？

議論はある？


空いた部分に適切な画像をデータベースの中から探して穴を修復する

入力イメージごとに多様な出力結果を提示し、ユーザに選択させることが可能になった

230万もの元データ、二段階の検索（意味的に類似した画像の検索→穴にマッ

さらにデータ数を増やすと完成画像が良質になる？

元画像、他のアルゴリズムを用いて埋めた画像、本研究のアルゴリズムを用いて埋めた画像を用意し、被験者に本物か合成化質問する

Region Filling and Object Removal by チするパッチを検索） Exemplar-‐Based Image Inpain+ng[2004]

どんなもの？




議論はある？


A Layered Fabric 3D Printer for Soft Interactive Objects

既製の生地の層から柔らかく変形可能な３Dオブジェクトを形成する３Dプリンタの提案。

既製の布のロールから層を切り出し接着し、正確な形を形成することができる。ひとつのプリントに２つの別の生地を使用することも可能。

レーザーカッターを使用して層の２次元輪郭に沿ってカットした後に感熱性接着剤で層を接着する。

2Dの層状にレーザーカットした生地を感熱性接着剤で接着していくことで３D形状にしていく。任意の形を表現でき、柔軟性もある。

Cherenack, K., Zysset, C., Kinkeldei, T., Munzenrieder, ¨N., and Troster, G. Wearable electronics: Woven ¨electronic fibers with sensing and display functions forsmart textiles. Advanced Materials (2010)

接着に時間がかかり印刷時間が比較的遅い。

Paper Generators: Harves/ng Energy from Touching, Rubbing and Sliding

発電したものを貯蓄する仕組みが作れるといい。

Advanced Linear Devices. EH300/301, Epad Energy Harvest-‐ ing Modules, h@p://www.aldinc.com/pdf/EH300.pdf .

Back, M., Cohen, J., Gold, R., Harrison, S., and Minneman, S. Listen reader: an electronically augmented paper-‐based book. In Proc. CHI 2001, ACM Press, (2001), pp. 23–29.

Zhong, J., Zhong, Q., Fan, F., Zhang, Y., Wang, S., Hu, B., Lin Wang, Z., and Zhou, J. Finger typing driven triboelectric nanogenerator and its use for instantaneously lighYng up leds. Nano Energy (2012).

研究内容ユーザーがこする・たたくなどのインタラクションを与えることで電力が発生する紙発電機

材料がPTFEシート（テフロン）、紙、シルバーコートポリエステルや伝導性のある接着剤があればいいので軽く薄く安く作ることができる。

摩擦帯電と電子親和力の違いから電力を作る極めてシンプルな仕組み。紙に限らず様々な物質に伝導性のプリントやペイントを施すと同じ技術を利用することができる。ローカルでもリモートでも動作のするデバイスの実現が可能。動画：h@ps://www.youtube.com/watch?v=4WaUcXSfPTg



議論はある？


どんなもの？

Make It Stand : Balancing Shapes for 3D FabricaYon Romain Prévost1 Emily WhiYng1 Sylvain Lefebvre2 Olga Sorkine-‐Hornung1　1ETH Zurich 2INRIA

☆どんなもの？３Dプリンタ等で生成した場合に適切に物理的なバランスが取れるようなモデリングを可能にする

☆先行研究と比べて・実際に制作されたときに支柱や台座を使用しない・外側の変形に加え、内部を彫るようにモデリングを行う

☆技術のキモモデルの外観に大きな影響を与えることなく、質量の分布を操作するためのアルゴリズム

☆どうやって有効だと証明した？・平面に置くもの、上からつるされるものについて実際にモデリングを行い、制作した

☆議論はある？・製品の転倒防止など、安全性を高める目的での使用も期待できる。

☆次に読むべき論文は？・FabricaYng arYculated characters from skinned meshes. BÄCHER, M., BICKEL, B., JAMES, D. L., AND PFISTER, H. (2012)

Plas%c Trees: Interac%ve Self-‐Adap%ng Botanical Tree Models Soren Pirk Ondrej Stava Julian Kra4 Michel Abdul Massih Said Boris Neubert

Radomir Mech Bedrich Benes Oliver Deussen

どんなもの？壁などの障害や木同士の重なりを含めた木のモデリング

どうやって有効だと証明した？従来のモデリングと本研究のモデリングで、壁の有無や木の成長の度合い、木の種類を変えて構成スピードやノード数を算出して検定した。先行研究と比べてどこがすごい？

複雑なシーンや環境の変化にも瞬時に対応し、動的でインタラクティブな操作が可能

議論はある？・主軸への枝の追加や、すでに曲がった幹に壁を当てた時のモデリングが不自然・風の影響を追加したい技術や手法のキモは？

・L-‐Systemsでモデルの生成と計算、GPUで小枝や葉のかたまりをモデリング・木の成長と光の当たり方を加味したモデ

次に読むべき論文は？ InteracFve modeling of virtual ecosystems

h4p://graphics.uni-‐konstanz.de/publikaFonen/2012/plasFc_trees/website/

リング

どんなもの？ユーザーが直感的に簡単に、自由な大きさ・サイズにカットできるマ

ルチタッチセンサー


従来の電子部品及び機器はアドホックな方法でその大きさと形状を

カスタマイズするために切断することができなかったが、非常に薄く、柔軟で、切断が可能で、プリントアウト費用が安価な電子機器の発明

技術や手法のキモは？印刷静電容量マルチタッチセンサを用いて、符号理論から生物学

的システム、コンピューターネットワークにおけるトポロジからインスピレーションを取り、物理的切断、と除去領域に対する回路レイアウトを強固にした

どうやって有効だと検証した？詳細なシミュレーションと電子感知特性の評価、およびいくつか

のレターサイズの切断可能なセンサシートの概念実証の実装によって検証した。

議論はある？電極１ピンあたりの設計は、スケーラビリティの問題を提起する伝統的なグリッドよりも多くの配線が必要であり、混合トポロ

ジーとセンサーの模索が必要。

次に読むべき論文は？ Flexpad: Highly Flexible Bending Interac%ons for Projected Handheld Displays

どんなもの？オリジナルの風景写真に対し、「秋っぽく」「暖かそうに」「霧がかかったように」「雪景色に」など様々な加工を自動で施す。

先行研究と比べてどこがすごい？色味やコントラストを自動で加工するものはすでにあるが、「一瞬の風景の振る舞い」をデータベースにし、細か

く大きなスケールで研究した。

技術や手法のキモはどこ？連続した101 個のWeb カメラを用いることで、風景が気候によってどう変わるのかをデータベースに記録できるようにした。

どのようにして有効性を証明したか？同じ写真に対し、気候などのパラメータが違う実際の写真と、元の写真から加工されてできた写真を見比べ、ちゃんと言葉によるイメージ通りに加工されていることが確認できた。

議論はある？元のデータベースとなる実際の写真が101 個のカメラからしか与えられないことと、それに正しいパラメータを与えることがクラウドソーシングで出来ているのか、ということが疑問である。

次に読むべき論文は？ BELL, S., UPCHURCH, P., SNAVELY, N., AND BALA, K. 2013. Opensurfaces: A richly annotated catalog of surface appearance. ACM Trans. Graph. (proc. SIGGRAPH) 32, 4.

概要人間へのコーチングテクニックを参考にしてモデルに動作を反復練習させる研究

先行研究との比較の動きを制御するためのさまざまなパラメータを決めるまでに既存の最適化方法では多くの時間やリソースを消費する。それを人間に教えるような表現を用いて教え、

自動で最適化をさせるようにする。

手法のキモ言語から理解した意味を用いて関節角や動きのマッピングを行い、その中で可能性が高いものを抽出、実装する。

有効性いくつかの動作を教えたところ、それぞれ15~30回の指導でモデルはうまくその動作をこなせるようになった。

議論の余地比較的単純な1動作に対しては有効であるが、複雑でタイミングに敏感な動作に対しては不十分な手法である。

次に読むべき論文BORNO, M. A., DE LASA, M., AND HERTZMANN, A.

2013.Trajectory optimization for full-body movements

with complex contacts.

先端技術とメディア表現

Unified Par+cle Physics for Real-‐Time Applica+onsMiles Macklin, Ma<hias Müller, Nu<apong Chentanez, Tae-‐Yong Kim

どんなもの？

これまで個別に提案されてきたゲーム物理の技術を統合的に扱う手法を提案。

先行研究と比べて

接触や衝突を考慮し、剛体やガスなどをすべて表現でき、異なる表現の相互作用も扱えるのは初。


物体同士が刺さった状態になってしまう問題をSigned Distance Fieldを各パーティクルに保存することで回避。

どうやって検証したか

剛体などの表現、相互作用をシミュレーションした。

議論はあるか

粒子は単独で正確に大型のフラット面を表すことが出来ず、SDFは不十分な形状のサンプルに対し正確ではない。

次に読むべき論文

CORBETT, R. D. 2005. Point–Based Level Sets and Progress To-‐ wards Unorganised Par+cle Based Fluids . PhD thesis, The Uni-‐ versity of Bri+sh Columbia.

Computa+onal Design of Linkage-‐Based Characters Bernhard Thomaszewski,　Stelian Coros,　Damien Gauge, Vi<orio Megaro

Eitan Grinspun, Markus Gross

どんなもの？

いくつかの関節で繋がっているネットワークを使って動きを表現できるキャラクタをデザインする手法。

先行研究と比べて

仮想のキャラクタの物理的な表現を作成するのは新たな領域。


始めにすべての関節に動力源が与えられているような状態を考えた後に、一つの動力源の代わりに剛体を繋げ、動力が関節を伝わるようにした。

どうやって検証したか

アニメーションをインプットし、その動きをするキャラクタを作成した。

議論はあるか

設計プロセス中に別の部品との交点をチェックしていないため、衝突を防ぐ後処理が必要になってしまっている。


ZHU, L., XU, W., SNYDER, J., LIU, Y., WANG, G.,AND GUO,B. 2012. Mo+on-‐guided mechanical toy modeling. In Proc. Of　ACM SIGGRAPH Asia ’12

どんなもの？




VRとARを使った室内の視覚ナビゲーションのためのUIの実験的評価。

ナビゲーションにVRを組み込んだこと。議論はある？

現在地の推定度により、自動でVRとARを切り替えられる方がよい。VRと現実が異なる場合がある。


Mo ̈ller , 2012. A mobile indoor naviga8on system interface adapted to vision-‐based localiza8on.

以下の３点を評価実験から検証した。①VRとARの使い分け方。②視覚UIを活用する効果。③ARのための物体の認識法。

hIps://www.youtube.com/watch?v=83sm52l4smw

①インターフェースではARとVRのどちらでナビをするか選択できる。②UIにカメラを持ち上げるように誘導する水準機能をつけている。

どんなもの？



議論はある？

Robust Realtime Physics-based Motion Control for Human Grasping


服の表と裏を区別するために，二つ

のレイヤーを使用し，その間に境界

パーティクルを配置する

服を着るアニメーションを作成する方法の提案

Anima8ng Human Dressing

多様なシチュエーションで布の状態に応じて自律的に行うことができる

今後の課題

服を解析し，自分で着方を考えるシステムへの発展

人間なら布の状態から考えて動けるが，この方法は一番近いところから着るなど視覚的な情報からしか判断できない人間の体の動きを計算する代わりに運動学を使用しているので，本来あるべきバランスによる影響などはない

どんなもの？


議論

どうやって有効だと証明したか？

次に進むべき論文

技術や手法のキモはどこか？

机の上に並べられたブロックFiconを使い、立体的な映像表現と入力を実現する

ブロックの認識のためにあえて光ファイバー束にねじれを持たせる新手法を採用している

実際にプロトタイプを作り、意図通りの動作ができることを確認した。

Ficon:a 3D Displaying Tangible Device for Tabletop System　かな

複雑な形のFiconでは、光の屈折により、見え方が不自然になる。

Ficon: a tangible display device for tabletop system using op8cal fiber

ブロックを上下に貫く光ファイバーでモニタ経由でブロック表面に画像を表示できる。ブロック自体は様々な形があるので、様々な表現が可能。

どんなもの？


議論

どうやって有効だと証明したか？

次に進むべき論文

技術や手法のキモはどこか？ジェスチャーはデバイスで入力するより効率が低く疲れやすい。

壁サイズのディスプレイのパン・ズーム機能などの複雑なポインティングを実現する為のもの

一次元、二次元、三次元的なアプローチの為の入力装置

12通り（片手か両手か、円の動きか線の動きか、入力が一次元か二次元か三次元か）の相互作用実験を行い、入力の精密性を比較した。

Move to improve

Mid-‐air Pan-‐and-‐Zoom on Wall-‐sized Displays

パン・ズーム機能のもっとも有効的な実現

Solid Simulation with Oriented Particles


どんなもの？



議論はある？


どんなもの？

シュミレーションの過程を書き出すのは困難。液体中にある固形物の相互作用を統一的な枠組みで表現するのが次の研究目標。

Real-Time Eulerian Water SimulationMatthias Müller-Fischer

Siggraph 2011

3DCGの物体を楕円とそれが連結したものと置き換えることで、物体を自然かつ自由

に変形させる。

視覚的なメッシュをスキニングしている。パーティクルを使っているので衝突判定が可能。等方性でない動きが表現できる。

位置および向きの両方を有するパーティクルを使用すること。

水中での魚と海藻や、バギーのモデルに適用させてオブジェクト間の相互作用を含めたリアルタイムレンダリングを行った。


どんなもの？



議論はある？


どんなもの？

Cliplets: Juxtaposing Still and Dynamic Imagery

プロ用のソフトや技術を使わずに、動画と静止画を組み合わせた作品をつくるツール

直感的な操作で、即時に高品質なものを提供できる単なるGIFアニメとは違う

幾何学的、時間的にレイヤーをまとめ、時空間領域分割を最適化し、レイヤーの境界の画素の色を混ぜ、なじませる技術

Towards moment images: Automaticcinemagraphs.(CVMP 2011)

約1000人に対してデモを行って実際に体験してもらい、その後アンケートを行った。また、アプリをダウンロードしてもらい、オンライン調査も行った。

ある物体が選択した動画範囲のみにしか出現しない場合、静止画との矛盾が生じるため利用できない

Electromagnetic Radiation under Explicit Symmetry Breaking

どこがすごい？

どんなもの？


どうやって有効性を検証した？

議論はある？


誘電体アンテナの動作原理を証明した論文

通常は、金属などで主に構成されるアンテナを誘電体メインで超小型に作成し、その仕組が明かされている点。

電解の変化に対しての、誘電体内の電子移動、それをMaxwell方程式で計算し、実際にアンテナを作成している点。

計算方法を元に制作したアンテナのSWRが2.0に近いことで証明した。

現在は、誘電体アンテナやパッチアンテナなど動作原理ごとにアンテナができているので、大型アンテナに負けずに小型アンテナ分野もハイブリッドされるだろう。

C. A. Balanis, Antenna Theory, Analysis and Design (JohnWiley & Sons, Hoboken, New Jersey, 1982).

Dhiraj Sinha, and Gehan A. J. Amaratunga

WoBo: Multisensorial travels through Oculus Rift

どこがすごい？

どんなもの？


どうやって有効性を検証した？

議論はある？


360度の映像や3Dステレオサウンドを利用して、離れた場所の景色や音をリアルタイムで体感し、仮想の旅行経験を提供する技術.

複数のWoBo(World in a Box)を利用することで遠く離れた場所での景色や音をリアルタイムで現実のように体感することができる.

360度の映像を撮るための6つのカメラを固定する装置の設計や6つのカメラの映像の撮影・合成方法、3Dステレオサウンドの録音・再現方法.

22-29歳の男性9名,女性3名の計12名に数分間海の景色の映像を観てもらい、1から7までのLikert scale評価をしてもらった. 映像・音・全体を通しての評価は高く、不自然さに対する評価も良かった.

Oculus Riftとヘッドホンの有線接続が課題. 将来的にはスマートフォンやタブレットを埋め込むような形で無線のヘッドマウントディスプレイをつくりたい.

・Object recognition from local scale-invariant features.(ICCV '99)

Stefano Fibbi, Fabio Sorrentino, Lucio Davide Spano, Riccardo Scateni

CHI 2015, Crossings, Seoul, Korea

Depixelizing Pixel ArtJohannes Kopf, Dani Lischinski

どんなもの？

• 荒い絵を滑らかにする手法


• 上に比較。従来のVectorizationを使った手法だが特徴が失われにくい


• 基本的にはスプライン曲線によるVectorization。同じような特徴を持つ隣接ピクセルの接続のために正方形のpixel cellの形状を変更する。

どうやって有効だと判断した？


議論はある？

• 実際に利用してみて従来のものよりそれらしいことを確認

GLASNER, D., BAGON, S., AND IRANI, M.2009. Super- resolution from a single image.In Proc. ICCV, IEEE.

• エミュレータにリアルタイムで適用するためにはまだ最適化が必要

Breathing Life into Shape:Caputuring, Modeling and Animating 3D Human Breathing

Aggeliki Tsoli* Naureen Mahmood Michael J. Black

どんなもの？


技術や手汰のキモは何？


議論はある？


動画のリンク　 https://www.youtube.com/watch?v=4CRMgPcgKp4

3Dアニメーションにおける、生きているような呼吸を再現する方法を研究した。

呼吸を再現する研究は他にもあったが、モデルが違うと様々なパラメータを操作して生成しなくてはいけなかった。この研究では、より簡単に様々なもモデルの呼吸を再現することができ、呼吸の仕方についても指定できるようになっている。

58人の呼吸をモデリング。それをもとにひな形を作成。違うモデルの体系ポーズにそのひな形の形を変化させていくことで呼吸での動きも再現しているところ。また、胸式、複式などの呼吸法もパタメータで変化させられる。

呼吸は体系やポーズによってのみに変わるものではなく、個人差や、内部の構造が影響してくる。そこにどう踏み込むか。また、今回は自然な呼吸のみだが、せきや息を吹きかけるときなどの動きについても再現していきたい

ひな形を変形させて生成された、呼吸の動きと、実際に人が呼吸した際の違いを実際に比べてみることで検証した。

「SCAPE: Shape Completion and Animation of People」、今回の研究で使っているひな形のモデルがありその体形とポーズと変形させ合成することで任意の体系とポーズを取らせる研究

FTMA15

Digital Micrography

どんなもの？

先行文献と比べてどこがすごい？



議論はある？


文章で埋め尽くされた絵を生成するアルゴリズム。従来は熟練のデザイナーが時間をかけて作っていた。美しくバランス良くしかも文字として読みやすい配置を計算する。

元画像と内部に埋め尽くしたい文章さえあればものの数分でマイクログラフィを生成できる。読むのに無理のない曲線に沿わせる。

輪郭から図形内部の点のベクトルを計算して繋ぎ曲線を生成。

様々な形状の絵や複数のフォントでアルゴリズムを試してマイクログラフィを生成して綺麗かどうかを検証した。

通常の筆跡には対応していない。あくまでデジタルなフォントで可能になっているだけ。

JOBARD, B., AND LEFER, W. 1997. Crea<ng evenly-‐spaced streamlines of arbitrary density.

Stable Spaces for Real-‐6me Clothing

どんなものか

先行研究と比べてすごいところ

技術や手法について

有効だと検証した方法

議論


衣服の形状を学習し、衣服の何千もの詳細なアニメーションをリアルタイムでシミュレートする。

細部を表現するには高解像度メッシュ、複雑で時間のかかる方式が必要であるが、低次元のシミュレートの利点と組み合わせることでリアルタイムのシミュレートを可能にしている。

複雑なモデルをシンプルな線形モデルとして表現し、データだけから物理的相互作用の現象を学習させていく。

歩く、走る、ジャンプなどの基本的な動作をさせてその時の衣服の動きを検証した。

データに基づいたものであるため、一般的でない場合に対応できない。例えば風のように外部からの力や、重力の変化、体が大きく歪んだ場合には対応できない。

Op<mizing cubature for efficient integra<on of subspace deforma<ons.

Concept Tahoe: Microphone Midi Control■どんなもの？

■先行研究と比べてどこがすごい？

■技術や手法のキモはどこ？

■どうやって有効だと検証した？

■議論はある？

■次に進むべき論文は？

ボタンとフェーダーと位置・加速度センサーを搭載したワイヤレスマイク

従来のフットペダルでエフェクトを付ける方法では,①観客の注目が脚にいってしまう.②正確なコントロールが難しい.③視覚的情報と聴覚的情報が一致しない.いう問題があった

実際に使用してもらって使い心地をきいた

この論文では記されていませんでした

E. Miranda and M. Wanderley. New DigitalMusical Instruments: Control And InteractionBeyond the Keyboard. A-R EDITIONS, INC.,Middleton, WI, 2004.

脚で操作していたエフェクターをマイクだけで操作できるようにした

https://www.youtube.com/watch?v=C1WY3jkw4js

An Emotion Model For Music Using Brain Waves Rafael Cabredo, Roberto Lagaspi, Paul Salvador Inventado, Masayuki Numap

どんなもの？どうやって有効だと検証した？




議論はある？

音楽を聴いた被験者の反応を脳波計を用いて計測する。音楽を通して人間の感情がどう変化するか調べる。

先行研究では、曲に対する感情のコメント・注釈付けが限られてしまう一方で、本研究では連続的な観察結果が得られた。

EEGを用いることによって連続的な観察結

果を得て、一曲全ての長さでの観察や、曲の一部分の長さでの観察を可能にした。

被験者が音楽を聴いた反応を手動で回答したデータと比較する。

今回の実験では被験者が一名だったので、より多くの被験者に試すことで、感情モデルを一般化できるかもしれない。

音楽から感情タグを抽出する論文

Spa$ally　Augmentes　Reality Ramesh Raskar, Greg Welch, Kok-‐Lim Low, Henry Fuchs

どんなもの？

Spa%ally Augmented Realityという新しい概念とその可能性を紹介した。

先行研究と比べて何がすごいの？

HMDを装着しなくても、現実の空間をディスプレイにして、広い視野でhigh-‐resolu%onを施されたvirtual objects を楽しめる。

技法や手法のキモはどこ？

calibrated projector-‐camera を使い、3Dの表面の形を抽出した


たくさんの応用事例が考えられそう、、みたいなことがかいてあったけれど、そういったことにあんまり触れてなかった気がする。

議論はある？

・ディスプレイとなる表面の性質によってうまくレンダリングされない。・周りの光にも影響を受けてしまう。・１つのプロジェクターで正面から写す場合、人の陰が邪魔。でもこれは

複数のプロジェクターを使えば克服できそう。・エラーが目立つ


Milgram の A taxonomy of mixed reality visual displays

Dynamic Shader Lamps : Pain$ng on Movable Objects Deepak Bandyopadhyay,Ramesh Raskar, Henry Fuchs

どんなもの？

３次元の物体にリアルタイムでお絵描きできる技術の実装

先行研究と比べて何がすごいの？

・お絵描きする対象がより動的で、立体に直接お絵かきできる。リアルな物体とモデルの距離が近い　・プロジェクトされたパレットを使ってお絵描きするという点はCavepain%ngに似ている。しかしCavepain%ngが物理的なものがない仮想空間にお絵描きすることに大してこの論文での実装はリアルオブジェクトにお絵かきできる。

技法や手法のキモはどこ？

・２つのプロジェクターを向かい合わせて設置し、物体と筆にtrackerを搭載した・op%cal tracker とmagne%c trackerをつかった

・計測の段階でfiducialを使う代わりに3Dのposi%onsをプロジェクションした2Dのpointに一致させ、tracker stylusを使った。


立方体と木でできた鳥の家の２つを使って試した

議論はある？

・プロジェクターとでぃすぷれいの間に１フレームの遅れがある・複数のプロジェクターをつかったときに動的なものをリアルタイムに処理するのが難しい

・陰できちゃう問題


この論文中にでてきたCavePain%ngが気になったので次読みます

Network Coding: An Instant Primer Chris6na Fragouli, Jean-‐Yves Le Boudec, Jorg Widmer

どんなものか Network Codingと呼ばれる技術について、完結な教科書のように解説をした論文である。Network Codingとは、より効率的にパケット通信を行う通信方法であ

る。

従来のルーター等の無線機器は、本来送られてきた複数のパケットをそのまま送信するだけのものだったが、Network Codingの技術によって、送られてきた複数の

異なるパケットを変換して送信し、効率的な通信方法を実現している。



どうやって有効だと証した？

これからの課題


この論文は調査論文の類なので、実験は行っていないが、他の論文を参照して有効性を検証している。例えば、[12. C. Gkantsidis and P. Rodriguez. ]ではP2P通

信にこの技術を応用し、ダウンロード時間の短縮を図っている。

送られてきた複数パケットを１つにまとめるエンコード技術・および元のパケットを復元するデコード技術がキモである

パケットの復元の際に少しながら遅延が発生してしまうこと。

[12. C. Gkantsidis and P. Rodriguez. ]

ForecasBng Events using an Augmented Hidden CondiBonal Random Field

Xinyu Wei, Patrick Lucey, 　Stuart Morgan, Sridha Sridharan 　2015

どんなものか・HCRF(隠れ層のある条件付確率場)を拡張したものを使って次のイベントを予測する

・現時点での状況が予測への強い手がかりになる。・その情報を直接与えるので、従来の方法よりも精度の高い予測が出来る



どうやって有効だと証した？

これからの課題


・サッカーの試合で次のボールの保有者が誰になるかの予測を9試合分検証した。従来の方法と正確性を比較した。2秒後の予測は今回の方法が一番すぐれ

ていることが分かった。

・チーム/選手の固有モデルと一般的な動作モデルを最適に組み合わせることで予測能力を高める・他のモデルトレーニングメソッドの調査

・より大きなデータセットを試してみる(例えば、あるシーズンでの成績など)

・ A Methodological Approach to User EvaluaBon and Assessment of a Virtual Environment Hangout

・過去の状態の情報も与え、その時点での様々な状況の情報(X)を直接与えるとこ・Xは隠れ変数と対応していない

どんなものか？

先行研究と比べてどこがすごいか？

技術や手法のキモはどこか？次に読むべき論文は？

議論はあるか？

どうやって有効だと検証したか？

たくさんの3Dデータの集合から、その場所がどこから見たものなのか推測する

沢山の3Dデータ量を使用している。拡張性がある。

２Dと３Dをマッチングさせているところ。RANSAC(主にロバスト推定に使用される)の使用するため、統計上の３Dモデルの存在情報を使用。

3D情報のインプット。SIFT(特徴点の検出と特徴量の記述を行うアルゴリズム)の使用。

もっとよりよいやり方でデータベースを圧縮し、コンパクトな情報にすること。

Irschara et al.

どんなものか弾性プラスチック構成するモデルを利用した新しい雪のシミュレーションメゾットどうやって有効だと検証したかさまざまな状況や雪の状態（湿り気）でシミュレーションを行った先行研究と比べてすごいところ従来のものに多かった蓄積データのモデル化によるものは効率的で正確だが動態の扱いが疎かであったため改善した

議論はあるかたびたびエイリアシングがおこることが難点ゆくゆくは雪だけでなく砂にも応用できるようにしたい技術・手法のキモMPM（中での衝突や位相的な変化を考慮した半陰材料ポイント方法）と実際の雪のふるまいを再現する弾性プラスチック構成モデル次に読むべき論文A Finite Element Method for Anima3ng Large Viscoplas3c Flow

#ftma15 第六回課題 全コースサーベイ

Education

#ftma15 第六回課題全コースサーベイ