清川清 - 大阪大学オープンコースウェアへようこそ —...

1

システムインターフェース設計論

拡張現実感のためのディスプレイ技術

清川清

大阪大学サイバーメディアセンター

Deleted based on copyright concern.

*2 Courtesy of Prof. Oliver Bimber, Weimar Bauhaus Univ.


*1 Courtesy of Prof. YAGI, Yasushi, Osaka Univ.

*1

*2

2

目次

拡張現実感とは

拡張現実感に用いられるディスプレイ

– ヘッドマウントディスプレイ

– 網膜投影型ディスプレイ

– ハンドヘルドディスプレイ

– 据え置きシースルーディスプレイ

– プロジェクションベースディスプレイ

– その他のディスプレイ

3

マジックパドル

H. Kato, M. Billinghurst,I. Poupyrev, K. Imamoto andK. Tachibana, “Virtual object manipulation on a table-top AR environment,” ISAR 2000, pp.111-119

Courtesy of Prof. KATO, Hirokazu, Osaka Univ.

4


計算機情報を重畳表示して現実世界を増強する技術

Courtesy of Dr. Henry Fuchs, University of North CarolineUltrasound Project

Boeing, Wire Harness Assembly

S. Feiner, B. MacIntyre, and D. Seligmann.Knowledge-based augmented reality. Communic. of the ACM, 36(7), July 1993, pp. 52-62.

Courtesy of Prof. Dieter Schemalstieg, Graz Univ. of Tech

MR Systems Lab., Aqua Gauntlet

Courtesy of Canon Inc. Any type of modification by users is strictly prohibited.


Courtesy of Prof. Steven Feiner, Columbia Univ.

5


拡張現実感の３要件

ＡＲ，ＭＲ

ウェアラブルコンピュータ

映画，ＴＶＣＭ

ＶＲ

１）実像と人工像の合成

実＋ＣＧ

２次元ＧＵＩ

合成写真

３次元ＣＧソフト

実時間性

２）実時間のインタラクション

３次元性

３）３次元的な位置合わせR. T. Azuma, “A Survey of Augmented Reality,” in MIT Press Presence: Teleoperators and Virtual Environments Vol.6, No.4 (August 1997), pp.355-385.

6

拡張現実感の位置づけ（Milgram’s Reality-Virtuality continuum）

複合現実感

Reality - Virtuality (RV) Continuum

実環境拡張現実感Augmented Reality

拡張仮想感Augmented Virtuality

仮想環境

HITL

P. Milgram and F. Kishino, “A Taxonomy of Mixed Reality Visual Displays,”IEICE Trans. Information Systems, Vol.E77-D, No.12, 1994, pp.1321-1329.

*1 Courtesy of Prof. Mark Billinghurst, HIT Lab NZ

*2 Courtesy of Canon Inc. Any type of modification by users is strictly prohibited.

*2*1

7

拡張現実感の歴史

1960’s: Ivan SutherlandのVRシステムはシースルー

1994: “AR” という語ができる

1998: 第1回専門国際会議

Deleted based on copyright concern.Deleted based on copyright concern.

8

拡張現実感システムの要素

ハードウェア

– ディスプレイデバイス• HMD, プロジェクタ, PDA …

– トラッキングデバイス• カメラ, ジャイロセンサ, 磁気センサ, 超音波センサ,

ハイブリッド, …

– 計算機• デスクトップPC, ノートPC, ウェアラブルPC

ソフトウェア– レンダリング, トラッキング, ネットワーク, …– ユーザインタラクション, コラボレーション, …

9

画像合成の位置によるディスプレイの分類

Courtesy of Prof. Oliver Bimber, Weimar Bauhaus Univ.

10

ヘッドマウントディスプレイ

Head Stabilized– 実環境に安定した像を提示するに

は頭部の位置姿勢計測が必要

– 画素の角度分解能が一定

常時装着– どこでも使える

– 周辺視が遮られる

装着感・解像度・重量

光学透過型 vs. ビデオ透過型

http://www.vrealities.com/hmd.html


11

光学透過型HMD

PCから

の映像

実環境

光学コンバイナ

12

光学透過型HMDの例

Sony Glasstron (~$2000)Courtesy of SonyAny type of modification by users is strictly prohibited.

i-glasses / i-Scape II ($299)Courtesy of i-O Display Systems

13

光学透過型HMDの特徴

利点

– 実環境の観察に好都合• 高解像度、無遅延、高ダイナミックレンジ、

視点のずれや画像歪みが少ない

– 構造が簡単（≒安価）

– 安全

欠点

– 実環境と仮想環境の画質の整合性が低い• 解像度、ダイナミックレンジ、遅延量

– 実環境を遮蔽できない

– 透過光学系が必要• 広視野化が困難

14

ビデオ透過型HMD

ビデオカメラ

ディスプレイ

PCの映像

画像合成

ビデオ映像

15

ビデオ透過型HMDの例

Trivisio ARvision

Trivisio ARvision-3DCustom handmade

透過光学系が不要なため設計の自由度は高い

カメラ内蔵型製品は極めて限られる

Canon COASTAR

*1

*1 Courtesy of Prof. Mark Billinghurst, HIT Lab NZ

*2 Courtesy of Trivisio

*2

16

ビデオ透過型HMDの特徴

利点– 実映像をフレーム単位で取り込んで処理

• CGとの柔軟な映像合成• CGに合わせた実映像の時間遅れ調整• 画像認識の手法を利用可能• 正しい遮蔽関係の提示が可能

– 光学系の設計の自由度が高い• 広視野化が比較的容易• ビデオの光学系とマッチさせる必要

欠点– システムトラブル時に視界が遮られ危険– 肉眼とビデオ映像の視点が異なる– 実映像の品質が悪い– 構造が複雑（≒高価）

17

ヘッドマウントディスプレイの最新技術動向

実映像の遮蔽を実現する光学透過型HMD– ELMO （旧通総研、トプコン）

肉眼と視点が一致するビデオ透過型HMD– COASTAR （キヤノン）

水平180度の超広視野を実現するHMD– Super Wide View HMD （八木ら）

18

ELMO試作1号機 (1999)

35.7mm

291.7mm

透過型LCDを凸レンズで挟み、実映像の透過度を画素単位で制御- 単眼、ベンチトップ- 肉眼との視点ずれが大きい

ビデオ

Kiyoshi Kiyokawa, Yoshinori Kurata and Hiroyuki Ohno, “An Optical See-through Display for Mutual Occlusion of Real and Virtual Environments,” ISAR 2000, pp.60-67.

19

視点ずれ : 視点ずれは完全に解消厚み : レンズ直径と同程度(3cm)まで薄型化重さ : 片側のリングで200g (３号機の約１０分の１)明るさ : 偏光ビームスプリッタにより従来比２倍の明るさ

Colordisplay

MaskingLCD

Mirror

MirrorMirror

Opticalcombiner

M1

M2

C1

C2

Realviewpoint

Virtualviewpoint

Virtualviewpoint

V1

V2

ELMO試作４号機 (2002)

実時間レンジファインダ

Kiyoshi Kiyokawa, Mark Billinghurst, Bruce Campbell, Eric Woods,“An Occlusion-Capable Optical See-Through Head Mount Display forSupporting Co-Located Collaboration,” ISMAR 2003, pp.133-141.

20

ELMO

試作４号機を通した実際の映像

透明モード不透明モード

21

ELMO

素手によるインタラクション

実時間レンジファインダにより素手とＣＧの衝突判定が可能

左手がブロックを隠している

不正確な距離情報の影響が見られる

22

ELMO

体験者の様子

Kiyoshi Kiyokawa, Yoshinori Kurata, Hiroyuki Ohno, “An Occlusive Head Mount Display for Co-located Collaboration,” SIGGRAPH 2002 Conf. Abst. & Apps., p.74.

23

Xプリズムを用いる手法

Ozan Cakmakci, Yonggang Ha and Jannick P. Rolland, “A Compact Optical See-through Head-Worn Display with Occlusion Support”, ISMAR 2004, pp.16-25.

Courtesy of Prof. Jannick Rolland

24

Xプリズムを用いる手法

Courtesy of Prof. Jannick Rolland

Ozan Cakmakci, Yonggang Ha and Jannick P. Rolland, “A Compact Optical See-through Head-Worn Display with Occlusion Support”, ISMAR 2004, pp.16-25.

25

COASTAR HMD

Akinari Takagi, Shoichi Yamazaki, Yoshihiro Saito, and Naosato Taniguchi, “Development of a Stereo Video See-through HMD for AR Systems,” ISAR 2000, pp.68-80.

Courtesy of Canon Inc. Any type of modification by users is strictly prohibited.

偏心光学系・自由曲面プリズム

カメラの視点が肉眼と一致

26

Super Wide View HMD

水平１８０度、垂直６０度の視野角を確保

– 左右それぞれ１２０度、６０度オーバーラップ

Hajime Nagahara, Yasushi Yagi and Masahiko Yachida, “Super Wide Viewer Using Catadioptrical Optics”, VRST ’03, pp.169-175.

Courtesy of Prof. YAGI, Yasushi, Osaka Univ.

27

Super Wide View HMD

水平１８０度、垂直６０度の視野角を確保

– 左右それぞれ１２０度、６０度オーバーラップ

Hajime Nagahara, Yasushi Yagi and Masahiko Yachida, “Super Wide Viewer Using Catadioptrical Optics”, VRST ’03, pp.169-175.

Courtesy of Prof. YAGI, Yasushi, Osaka Univ.

28

Super Wide View HMD

All images by Courtesy of Prof. YAGI, Yasushi, Osaka Univ.

29

ヘッドマウントディスプレイの動向

国内メーカーから民生用製品は消えつつある– 単眼HMDはある

– 海外はまだ比較的活発• Ex) Saab AddVisor 150 ($95,000)• SXGA, Stereo, 水平54度

技術チャレンジ– 広視野化：Super Wideview HMD– 高解像度化：LCOS – 軽量化：偏心自由曲面プリズム、有機EL

Photo by courtesy of Saab AB

Any type of modification is strictly prohibited.

30



31

網膜投影型ディスプレイ

網膜上で直接映像をスキャン

– マクスウェル視

– 視力に関わらず鮮明な映像

– 瞳射出が小さい

Microvision, Nomad Display Systems(http://www.mvis.com/)

Univ. of Washington,Virtual Retinal Display


32

網膜投影型ディスプレイの特徴

通常のヘッドマウントディスプレイと同様の特徴– Head Stabilized– 常時装着

通常のヘッドマウントディスプレイと異なる特徴

– 損失が少なく、像が明るい• ダイナミックレンジが広い

• 光学透過系の透過度を高く設定できる（外が明るい）

– 画素がないので原理的には超高解像度化可能

– 軽量化に向く

33



34

ハンドヘルドディスプレイによるARの例

ハンドヘルドデバイス上にAR環境を提示する

– デバイスの裏のカメラを用いたビデオシースルー

Jun Rekimoto, “TransVision: A Hand-held Augmented Reality System for Collaborative Design,” VSMM 1996.

ビデオ

D. Mogilev, K. Kiyokawa, M. Billinghurst, J. Pair,"AR Pad: An Interface for Face-to-face AR Collaboration,“ ACM CHI 2002, pp.654-655, 2002.

Courtesy of Sony Computer Science Laboratories, Inc.Any type of modification by users is strictly prohibited.

35

ハンドヘルドディスプレイによるARの例

The Invisible Train(Demonstrated at ISMAR 2004)

Moehring, M., Lessig, C. and Bimber, O.“Video See-Through AR on Consumer Cell Phones, “ ISMAR'04, pp. 252-253.

ビデオ

PDA や携帯電話もプラットフォームに

Courtesy of Prof. Dieter Schemalstieg, Graz Univ. of Tech Courtesy of Prof. Oliver Bimber, Weimar Bauhaus Univ.

36

ハンドヘルドディスプレイARの特徴

利点– めがねを必要としない

– どこでも使える

– 小型・軽量

欠点– 画面が狭い

– カメラと肉眼の視点が異なる

– マシンパワーが非力

– 基本的に２次元（裸眼立体視ディスプレイを除く）

37



38

据置き型シースルーディスプレイ

Bimber, O., Fröhlich, B., Schmalstieg, D., and Encarnação, L.M. “The Virtual Showcase,” IEEE Computer Graphics & Applications, vol. 21, no.6, pp. 48-55, 2001.

伴好弘,佐藤宏介,千原國宏：“強調現実感による電子部品検査の作業支援環境”, 日本バーチャルリアリティ学会論文誌, Vol.3,pp.185-191,(1998).

ビデオ

Courtesy of Prof. Oliver Bimber, Weimar Bauhaus Univ.Courtesy of Prof. BAN, Yoshihiro, Kobe Univ. and SATO, Kosuke, Osaka Univ.

39

Virtual Showcase における

光源環境の再現

Bimber, O., Grundhöfer, A., Wetzstein, G., and Knödel, S. “Consistent Illumination within Optical See-Through Augmented Environments,”ISMAR 2003, pp. 198-207.

ビデオAll images by Courtesy of Prof. Oliver Bimber, Weimar Bauhaus Univ.

40

据え置きシースルーディスプレイの特徴

利点

– 実物体と仮想物体の位置あわせ精度が高い

– 照明を調節すれば光源の影響も再現できる

欠点

– 実物体の手前にハーフミラーが必要

• 自由な位置に仮想物体を表示できない

• 大型スクリーンが必要

• デッドスペースができる

• 場合によっては実物体に手を触れられなくなる

41



42

プロジェクションベースAR

プロジェクタ

再帰反射材を塗布した実物体

Photos by courtesy of Ramesh Raskar, Greg Welch, Wei-Chao Chen, "Table-Top Spatially-Augmented Reality: Bringing Physical Models to Life with Projected Imagery," IWAR 1999, pp.64-74.

43

プロジェクションベースARの例

Photos by courtesy of Deepak Bandyopadhyay, Ramesh Raskar and Henry Fuchs, “Dynamic ShaderLamps : Painting on real Objects,” ISAR 2001.

東城賢司, 日浦慎作, 井口征士：プロジェクタを用いた３次元遠隔指示インタフェースの構築, 日本バーチャルリアリティ学会論文誌Vol.7, No.2, pp.169-176, 2002.

Photos by courtesy of Prof. Shinsaku Hiura, Osaka Univ.

44

プロジェクションARを用いた

協調インタラクション

天井から机上に投影し協調作業を支援

ビデオビデオ

J. Rekimoto and M. Saitoh,"Augmented Surfaces: A Spatially Continuous Workspace for HybridComputing Environments", CHI 1999.

Ben Piper, Carlo Ratti, Hiroshi Ishii,“Illuminating clay: a 3-D tangible interface for landscape analysis,” CHI 2002, pp.355-362.

Courtesy of MIT, Media Lab.Courtesy of Sony Computer Science Laboratories, Inc. Any type of modification by users is strictly prohibited.

45

プロジェクションARの最新の研究例１

通常の映像に３次元情報獲得用パターンを埋め込む

Photos by courtesy of Daniel Cotting, Martin Naef, Markus Gross and Henry Fuchs, “Embedding Imperceptible Patterns into Projected Images for Simultaneous Acquisition and Display,” ISMAR 2004, pp.100-109.

46

プロジェクションARの最新の研究例１

準実時間で獲得する３次元形状とユーザの視点に対応した映像を提示

ビデオ

Images by courtesy of Dr. Henry Fuchs, University of North Carolina

47

プロジェクションARの最新の研究例２

実環境の起伏やテクスチャを気にせず映像を投影

実環境起伏を計測

Bimber, O., Emmerling, A., and Klemmer, T. “Embedded Entertainment with Smart Projectors,” IEEE Computer, January issue 2005.

All images by Courtesy of Prof. Oliver Bimber, Weimar Bauhaus Univ.

48

プロジェクションARの最新の研究例２

実環境の起伏やテクスチャを気にせず映像を投影

補正機能なし補正機能ありビデオ

Bimber, O., Emmerling, A., and Klemmer, T. “Embedded Entertainment with Smart Projectors,” IEEE Computer, January issue 2005.

All images by Courtesy of Prof. Oliver Bimber, Weimar Bauhaus Univ.

49

ウェアラブルプロジェクタ

プロジェクタを背負い、手元に投影することで情報の提示や操作を行う

Toshikazu Karitsuka and Kosuke Sato, “A Wearable Mixed Reality with an On-board Projector,” ISMAR 2003, pp.321-322.

All images by Courtesy ofProf. SATO, Kosuke, Osaka Univ.

50

プロジェクションベースARの特徴

利点– 投影面に直接映像を投影することによる利点

• ハーフミラーなどが不要

• 投影面上では高い融合感が得られる

– 照明を調節すれば光源の影響も再現できる

欠点– 基本的に２次元

– オクルージョンの問題• 手を出すとCG映像が見えなくなる

51

ヘッドマウントプロジェクタ

再帰反射スクリーン上に像を投影

Masahiko INAMI, Naoki KAWAKAMI and Susumu TACHI, “Optical Camouflage Using Retro-reflective Projection Technology,” ISMAR 2003, pp.348-349.

*1

*1 Courtesy of Prof. Jannick P. Rolland

*2

*3

*2 *3 Courtesy of Tachi Lab. Univ. of Tokyo and Inami Lab. UEC

52

ヘッドマウントプロジェクタの特徴

通常のヘッドマウントディスプレイと同様の特徴– Head Stabilized– 常時装着

通常のヘッドマウントディスプレイと異なる特徴– オブジェクト指向

• 映像が再帰反射スクリーン上にのみ提示できる

• 手前の実物体上には映像が提示されない

通常のプロジェクションベースＡＲと異なる特徴– 同じスクリーン上に観察される像が視点ごとに異なる

• 立体視が可能

• 多人数に対応可能

53

ホログラムを用いたAR

透過型ホログラムの奥に立体ディスプレイを設置

Perkins Museum of Geology

Dynamic Haptic Hologram (MIT)Courtesy of Prof. Oliver Bimber, Weimar Bauhaus Univ.



The HoloStation

54

ボリュームディスプレイ

多くはシースルー（Langhans らによる分類（２００２））

- 走査型回転スクリーン

- 平面スクリーン（ＬＥＤアレイ，ActualitySystems，etc.）- 曲面スクリーン（ヘリカルミラー，アルキメデススパイラル，etc.）

振動スクリーン（移動ミラー，振動ＣＲＴ，etc.）可変焦点方式

- 非走査型固体（蛍石＋赤外光, etc.）気体（ルビジウムガス＋レーザー, etc.）その他（光ファイバー，液晶，etc.）

積極的に活用したARシステムはない

“The Perspecta Spatial 3-D Display creates volume-filling three-dimensional images. Photo courtesy of FotoJones and Actuality Systems, Inc(Masa.,USA)

Photo by courtesy of www.laserfx.comL. Michael Roberts

55

その他のシースルーディスプレイ

空中への平面像提示が可能

Heliodisplay FogScreen Inc.


Photos by courtesy of “Chad Dyner, I02 Technology”

56

まとめ

拡張現実感に用いられる様々なディスプレイを分類・紹介

– ヘッドマウントディスプレイ

– 網膜投影型ディスプレイ

– ハンドヘルドディスプレイ

– 据え置きシースルーディスプレイ

– プロジェクションベースディスプレイ

– その他のディスプレイ

清川清 - 大阪大学オープンコースウェアへようこそ —...

Documents