教育分野で利用するar(拡張現実)とvr(仮想現実)の技術
TRANSCRIPT
2016年12⽉11⽇(⽇) ⻲⼭ 悦治 (Etsuji Kameyama)
教育分野で利⽤する AR(拡張現実)/VR(仮想現実)
How to use AR and VR for education
Designed by Freepik
⾃⼰紹介
初のAR記事：2009年2⽉13⽇【2009-2-26 世界初開催！AR(拡張現実)ビジネスの最前線】個⼈運営、現在約6千4百件以上のAR記事、世界50カ国からアクセス、多くのSNSサイトにより拡散
http://development.blog.shinobi.jp/
Blog
Paper.li
私が関係しているサイト・SNS - twitter (@kurakura) - facebook (ekameyama) - LinkedIn (Etsuji Kameyama) - ITmediaマーケティング - SlideShare (ekame) - paper.li (kurakura/ar) - YouTube (ekame) - myspace Music (KURA KURA) - The 25 Most Tweeting About AR - flickr (KURA KURA) - Twitter most popular - AR Mind Map - AMeeT-拡張現実の紹介 - デジタルサイネージとAR - Capital newspaper
2009年より、AR(拡張現実)の普及のために、ARブログの運営、セミナーへの登壇、AR関連書籍の執筆、AR技術を使⽤した企画・提案・開発等幅広い活動を⾏っています。現在はナレッジワークス株式会社の取締役に就任しています。AR導⼊に関するご相談・ご質問は、[email protected] ⼜は[email protected]までお気軽にどうぞ。
私が記事を書いた AR関連の出版物
http://www.nts-book.co.jp/item/detail/summary/it/20140700_19.html
次世代のプロモーション⼿法として注⽬を集めるほか、医療や教育といった他分野への幅広い活⽤・発展が期待されているＡＲ〈拡張現実〉の世界がよくわかる⼊⾨書が電⼦書籍で登場。ＡＲとはカメラなどを通して⾒た現実の映像にＣＧや位置情報といったデジタル情報を重ねて表⽰する技術のこと。本書はその基本的な仕組みから歴史やさまざまな活⽤事例、ＡＲを体験できるアプリの紹介、未来の可能性まで幅広くわかりやすく解説 ---下記の執筆を担当--- 第２章 ARを体験する：代表的なアプリやサービス紹介 第３章 ARの活⽤例を知る：消費とAR／観光とAR／メディアとAR／ビジネスとAR／教育・医療とAR／公共空間とAR／新しいコミュニケーションツールとしてのAR／新しいエンターテイメントとして ※九州産業⼤学 佐野彰
http://www.sogensha.co.jp/booklist.php?act=details&ISBN_5=96001
---下記の執筆を担当--- 第3編 感覚デバイスが創る未来⽣活 / 第3章 コミュニケーション 1.コミュニケーション⼿法としての⾔語に関する限界 2.さまざまなコミュニケーション・ツールの出現 3.⾔語とコミュニケーション 4.⼼理療法とコミュニケーション 5.コミュニケーションボードが家庭に⼊り込む 6.学⽣⽣活と教育とコミュニケーション 7.家庭内ロボットの居る⾵景とコミュニケーション 8.遠隔でのコミュニケーション〈ワープして別の⼟地をリアルタイムに体験する〉 9.⾷／トレーサビリティとコミュニケーション 10.感覚デバイスの課題
ナレッジワークス株式会社について
• データサイエンス事業 • 検索サービス「SCOPE」「Siba」の開発・運⽤ • ⾃然⾔語処理、機械学習等を使⽤した分析アプリケーション開発 • ソーシャルメディアウォッチ・ダッシュボード • アマゾンAWS環境でのシステム構築 ※APN アドバンスド・テクノロジー
• AR／VR事業 : 1000を超えるAR企画・200以上のアプリ開発 • AR/VRアプリ受託開発(スマートフォン、タブレット、HMD、Kinect等) • ARサービス「aug!(オーグ)」の開発・運⽤ • ARぬり絵「daub(だーぶ)」の開発・運⽤ • ⼤型ビジョン表⽰「とんでビューん」の開発・運⽤ • Vuforia の Preferred Developer
• EC・Web事業 • ECやWebサイトのグロースハックサービス • マーケティングオートメーション稼働⽀援 • サイト掲出をパーソナライズ化する「ダイナミックWeb」サービス
http://hp.knowledge-works.co.jp/
‣クラウドの画像認識技術を使⽤した⾼度な認識と⾼性能な追従性
‣アプリ内キャッシュ機能による利便性向上 ‣撮影機能とSNSシェア機能 ‣背景透過アニメ ‣X-Rey機能 ‣拡張トラッキング機能 ‣開発なしでアクションの設定が可能 ‣認識回数等のログ情報提供 ‣安価・短期間で導⼊可能
AppStore,GooglePlay “aug!” で検索
豊かな表現⼒ ARアプリaug!(オーグ)
塗り絵が⾶び出すARぬりえ daub(だーぶ)
AppStore,GooglePlay “daub” で検索
✴国内⼤⼿メーカーでの採⽤実勢50以上(KUMON、TOYOTA、JA共済、DNP、⼭梨⽇⽇新聞、ファミリーマート、成蹊⼤学その他)。
1.VR / AR / MRの違い 2.VR / AR / MRを実現する技術 3.VR / AR / MR の事例紹介 4.まとめ
⽬ 次
体験価値を向上し情報を可視化する 次世代のインターフェース
五感を拡張し⼼に残る素晴らしい体験を提供するこれからの技術
AR / VR / MR とは…
‣ 第１期「PC+ARマーカー」 - 電脳コイル：2007年5⽉頃からNHKで放映されたアニメ「電脳コイル」。この
アニメに影響を受けたエンジニアもいたと⾔われており、2008年から徐々に実⽤化に向けた研究が始まった。「電脳メガネ」をかけるとレンズの内側に現実とデジタル映像を合成した別の世界が映しだされる未来的な物語であったが、その技術がまさにARである。
- 現実の技術としては、パソコンや⾼グラフィックパソコンの使⽤が必須で、全てがマニアックだった。
‣ 第２期「位置情報系AR」 - セカイカメラ：2009年2⽉にiPhone+ARの技術をビジネスで活⽤する事例「空
間にタグを貼るソリューション」を発表し、話題となった。アプリケーション⾃体は無料で使⽤できる。現在も次々とイベント等で使⽤されており、世界的にも有名になった。
‣ 第３期「画像認識系AR」 - 2011年 国内外のAR開発企業、プロモーションやキャンペーンなどでの利⽤が
活発に！
‣ 第４期「センサー系AR」「形状認識AR」「ウェアラブルAR」「VRの復活」！
引⽤) 電脳コイルのサイトより http://www.tokuma.co.jp/coil/story.html
時は202X年、今よりも少し未来のこと。⼦供達の間で“電脳メガネ”が⼤流⾏！。この“電脳メガネ”は、街のどこからでもネットに接続し、様々な情報を表⽰する機能を備えた、⼦供たちになくてはならないアイテム。現代の携帯電話のように普及し、ほぼ全ての⼦供が持っている。
AR利⽤の黎明期から成⻑期
出典(英語)：http://techcrunch.com/2015/04/06/augmented-and-virtual-reality-to-hit-150-billion-by-2020/#.vhlost:avMT
モバイルさえ飲み込むVR/AR市場、2020年には1500億ドルの市場規模に…
出典(和訳)：http://jp.techcrunch.com/2015/04/08/20150406augmented-and-virtual-reality-to-hit-150-billion-by-2020/
「2020年までにAR/VRの市場は1500億ドル規模になると予測している。ARが⼀番多くの割合を占めるだろう。私たちはARは1200億ドル規模、VRは300億ドル規模であると予測した。」 「仮想現実（VR）と拡張現実（AR）はとてもエキサイティングな分野だ。Google Glassが⼀時の脚光を浴びて去っていき、FacebookはOculusを20億ドルで買収し、GoogleはMagic Leapに5億4200万ドルを投じた。MicrosoftにはHoloLensがあるのも忘れてはいけない。」
※2015年4⽉08⽇
1.VR / AR / MR の違い
VR / AR / MR の違いVR (Virtual Reality : 仮想現実-⼈⼯現実感)
•⾒える世界は全てデジタル情報 •現実世界に似せた空間をデジタル情報として制作 •没⼊するデジタル世界へ⼊っていく感覚
AR (Augmented Reality : 拡張現実<感>) •現実世界に対し何らかのデジタル情報を付加 • 拡張する⼀部の情報のみをデジタル情報として制作 •開かれた現実空間が基準
MR (Mixed Reality : 複合現実<感>) •現実世界と仮想世界をリアルタイムに違和感なく融合させる映像技術で、ARはMRの技術の1つと⾔われている
• ユーザーの任意の視点から実⼨⼤のCG映像を体感できる •MRシステムはキヤノン独⾃開発のソリューションが有名
VRの利⽤イメージ…NASAシミュレータ
出典 : http://www.nasa.gov/mission_pages/shuttle/shuttlemissions/sts134/multimedia/gallery/2010-08-27.html
This type of virtual reality training allows the astronauts to wear a helmet and special gloves while looking at computer displays simulating actual movements around the various locations on the station hardware with which they will be working. (Image credit: NASA Aug. 27, 2010)
VRの利⽤イメージ…Second Life
出典 : http://alongerb.umwblogs.org/2012/11/04/virtual-educational-environments/
Virtual Educational Environments
Second Life : http://secondlife.com
Since then, Oculus Rift has released a second generation development kit, DK2. The new hardware offers an even more immersive experience when used with Second Life - thereʼs less likelihood of feeling motion sick thanks to the motion-tracking features, and less of the “screen-door effect” on the visuals, thanks to higher resolution and brighter display.
ARの利⽤イメージ…National Geographic
出典 : http://zakkamekka.com/industry_news/2012/08/image/120824_a.jpg
2010年頃から特に話題になった、ナショナルジオグラフィックの商業施設向け、参加型の拡張現実コンテンツ。ハンガリーから世界に広がったといわれている。2012年8⽉には⽇本にも上陸し、テラスモール湘南で体験することができ、話題になった。
ARの利⽤イメージ-Wikutude / Sayduck
出典 : http://sayduck.com
出典 : https://www.wikitude.com
MRの利⽤イメージ-キャノンMR
出典 : http://wired.jp/2012/06/18/canon-mr/
出典 : https://www.wikitude.com
HMDを装着している⼈には、上記ようにマーカーも何もない空間に実物⼤のクルマのCGが存在しているように⾒える。 右の写真のようにポインターを動かすことで、クルマのボディを持ち上げたり、部品の位置を動かしたりすることも可能。
2.VR / AR / MRを実現する技術
人間の第六感まで拡張
Movement of a body
AR Contact Lens
Smart Glasses/HMD脳波聴覚
味覚
https://www.emotiv.com
https://www.neurodigital.es/
嗅覚
視覚
Smartphone
触覚
http://biorobotics.snu.ac.kr
http://neurosky.comExpansion of sound(Something will be a trigger)
Synthesis of the taste(Something will be a trigger)
Synthesis of the smell(Something will be a trigger)
19
Web Camera
Android Phone Apple iPhone / iPadAndroid Tablet
SONY PS VITA
Windows PC
MAC
NINTENDO DS 3D
Google TangoLenovo Phab 2 Pro
MS Kinect
20
Realsense
Leap motion
AR.Drone
ARを実現するモバイル端末群
VR/AR を実現する様々なHMDMicrosoft HoloLens
SUN Corp AceReal
Meta2
Moverio BT-2000
Moverio BT-200 Moverio BT-300
Fujitsu FHMD001
SONY SmartEyeglass Brother AirScouter
Telepathy Walker
Vuzix m300-smart-glasses
Oculus Rift HTC Vive
AMD Sulon Q
LG 360 VR
STEALTH VR
Samsung Gear VR
HACOSCO GOOGLE CARDBOARD
ODG R-7 SmartglassesSONY PlayStation VR
DAQRI Smart Helmet
OrCam
LUMUS DK-40
JET | Recon Instruments
Optinvent ORA-1
Transparent Immersive
High-spec
HOMiDO VR HEADSET
OSVR
FOVE
HOMiDO VR HEADSET mini
※There are products which are being sold and are under developing.
JINS MEME
Huawei VR
Intel Project Alloy
Google Daydream View
Vuzix iWear
Low-spec
Fujitsu NewType
Qualcomm Snapdragon VR820
Canon MREAL
21
Virtual Reality- HTC ViveHTC Vine
出典：https://youtu.be/GiDBp6OnsKYTested: HTC Vive Reviewhttp://jp.techcrunch.com/2016/04/06/20160405these-mixed-reality-trailers-show-you-exactly-what-gaming-on-the-htc-vive-is-like/
ソフトウェアはValveの「SteamVR」というミドルウェアを利⽤
Microsoft HoloLens
出典：https://youtu.be/mM1P41qeVGs
公式サイト：http://www.microsoft.com/microsoft-hololens/en-us
Microsoftは⽶国時間2015年1⽉21⽇「HoloLens」という新しいホログラフィックコンピュータを披露。2016年、開発者向けに本体と開発キットの出荷を2016年3⽉30⽇から開始した。 ※Build 2016 Keynote
指の動きを正確に検出する[LEAP mortion]
https://www.leapmotion.com
https://www.youtube.com/watch?v=_d6KuiuteIA&feature=player_embedded
https://airspace.leapmotion.comLEAP ストアー
Youtube
公式サイト
出典：http://www.youtube.com/watch?v=NHBF2I4WQi4
LEAP mortion のデモストレーション
Intel RealSence Technology + 透過ディスプレイ
声やジェスチャーでPCを制御するセンサーデバイス。KinectとLeap Motion を合わせたような製品。今後PCに標準搭載されるとも⾔われている。
インテル公式サイト：http://www.intel.co.jp/realsense
出典：http://ggsoku.com/2015/06/samsung-transparent-reflecting-oel-display/「Retail Asia Expo 2015」において、サムスン社は2種類の新型55インチ有機ELディスプレイを発表
ARの技術を⽣かした玩具(1)
http://www.youtube.com/watch?v=5fwjHO6VjWw&feature=player_embedded
Wi-Fi 通信／⾼度6メーター
２機のカメラを搭載し録画可能
http://ardrone2.parrot.com
ARの技術を⽣かした玩具(2)
http://www.youtube.com/watch?v=UPn3jVGQw68
http://www.gosphero.com
※スマートフォンで簡易プログラミングが可能 ※スターウォーズのロボット ドロイドトーク BB-8の玩具の基盤
遠隔コミュニケーション
公式サイト：http://www.doublerobotics.com/
ダブルロボティクス（Double Robotics）が提供するユニークなソリューション「iPad robot（アイポッドロボット）」。 ⾃宅に居ながらにして、遠⽅で⾏われている会議に出席したり、その場所を⾒回ったりすることができる。⾃由に動き回り、対話する⾃分⾃⾝がまるで遠隔地に存在するように感じることができる。 また。遠隔地のロボット同⼠が会話を進めることができる。
さらに次は「脳波」の変化も拡張する?!
脳波
2012年 脳波を感知するセンサーを内蔵した猫耳だ。 人の感情に合わせて猫のように耳が反応する。ノーマル、集中など4種類の動きを実現。Amazonなどで発売中。
http://www.youtube.com/watch?v=JblMzmAyLW8出典：http://www.neurosky.jp
•ARマーカー：通常は⽩⿊の四⾓い形状、QRcode等
•ビジョン=マーカーレス：絵、画像等
•センサー・位置情報：GPS/WiFi/NFC/RFID/Beacon
•⾝体認識(顔、表情、⼿や指、体の動き)
•建築物、商品などの⽴体的な形状認識
•空間認識：空間の状態から仮想空間を⽣成
•プロジェクションマッピング：壁投影
•簡易⽅式：ライブカメラ上にコンテンツを重ねる
ARを実現する⼿法
組み合わせると、効果が増⼤する場合も！
3.国内外の事例紹介
1. 教育・博物館・美術館 2. 展⽰会・イベント会場 3. 観光・⼯場⾒学 4. シミュレーション(什器・家具配置・試着) 5. 業務(保守、機器操作、ピッキング等) 6. 医療(⼿術、レントゲン、⼼理療法) 7. 災害(防災⽀援等)
ARの導⼊が進む様々な分野
1. 既製のAR/VRアプリやコンテンツを個⼈で使⽤ 2. 授業の教材として⽣徒⾃⾝が体験 3. 授業の教材として先⽣が⽣徒への説明のために使⽤ 4. ⽣徒⾃らがAR/VRの教材としてのコンテンツを制作 5. ⽣徒⾃らがAR/VRを簡単にプログラミング 6. 博物館・美術館・イベントなどで使⽤
教育分野での利⽤シーン
3-1.個⼈・教材として使⽤
原⼦模型が動き出すアプリ「原⼦ウォッチ」
https://www.renaissance-academy.co.jp/news/20141203.html
「原⼦ウォッチ」はアプリを起動させたスマートフォンやタブレットを特定の対象にかざすと、カメラから⾒える画像の中にアニメーションや3ＤＣＧで表現された原⼦模型や⽴体周期表が浮かび上がり、分かりやすく学ぶことができます。
※ルネサンスアカデミーの教育教材
元素の結合をARで可視化 case1
https://www.youtube.com/watch?v=beodWECIzpo
探査機の操作を仮想体験
太陽系の宇宙探索を⾏うための探査機をARで楽しむことができる「Spacecraft 3D」。NASAのジェット推進研究所が実現。
AppStore,GooglePlay “Spacecraft” で検索
セサミの Bug Birdと⼀緒に英語を学ぼう
https://www.youtube.com/watch?v=zhbyTGh6pfI
Big Bird's Words
英語の教科書をAR動画で拡張
http://www.rbbtoday.com/article/2011/08/18/80040.html
2011年 バンダイナムコ、ARと教科書を融合させた『ミライ系NEW HORIZON』発売
3-2.授業での活⽤
元素の結合をARで可視化
https://www.youtube.com/watch?v=buVkJanL27c アプリ公式サイト：http://www.arloon.com
VR/AR BOXによる仮想体験学習
https://www.youtube.com/watch?v=lG5l_aQAfsIチェコのオパヴァの学校(Mendel Grammar School)で実施された事例
屋外で楽しみながら植物を観察
http://youtu.be/R_cDSe6MHz0
ハーバード⼤学のDr. CHRIS DEDEが採⽤した植物観察のための携帯向けAR。スマートフォンのカメラで⽊の茂みをかざすと、そこに情報が表⽰され⾳声でも説明。(2010年)
画像認識ARアプリで⾃主的に勉強
https://www.youtube.com/watch?v=1Wsxiw4FUTAテキサスの学校(Texas Elementary School )に導⼊された画像認識アプリが導⼊された事例
Double Roboticsで授業に参加-在宅学習
https://www.youtube.com/watch?v=lG5l_aQAfsI
Double Roboticsで授業をサポート
https://https://www.youtube.com/watch?v=XZw716H4NKI/watch?v=lG5l_aQAfsI
Double Roboticsで授業に参加(在宅学習)
http://www.doublerobotics.com/education/
Homebound Students Bringing the rich learning environment of a classroom to a homebound or hospitalized student can be very difficult. Double enables the remote student to join the classroom in realtime, interact with other students one-on-one, and participate in group discussion. The telepresence robot is a revolutionary tool for homebound students.
Case Study: Sebasticook Valley Middle School Sebasticook Valley Middle School Maine
Bot to school: Injured Commodore Perry teen uses technology to go to classes Commodore Perry High School Pennsylvania
Kindergarten Boy Attends Class via His Double Hoisington School District Kansas
3-3.博物館/美術館での利⽤
東芝未来科学館に展⽰されるAR教材
http://toshiba-mirai-kagakukan.jp/exhibition/permanent_exhibition/enterprise/city/index_j.htm
つくった電気を再利⽤するモーターや、何度でも利⽤できる電池。街には、限られたエネルギーを無駄にしないための⼯夫がつまっています
クリーブランド美術館オハイオ州にあるCleveland Museum of Artでは、指先のタッチでアート作品の情報が得られる「コレクション·ウォール」と呼ばれる⼤型ビデオスクリーンが⽤意されている。それと連動する「アート·レンズ」と呼ばれるソフトウェアを搭載したiPadの提供を⾏い⾼感度の体験を提供。
https://www.youtube.com/watch?v=44BJIh4KN8c
⼤英博物館のパルテノンギャラリー
https://www.youtube.com/watch?v=88Hv2FeRO98イギリス、⼤英博物館のパルテノンギャラリーで、拡張現実技術を使⽤したゲームが採⽤
iBeacon applied to classical art in Antwerp Museum
https://www.youtube.com/watch?v=mAT26h5G-Fghttp://blog.estimote.com/post/77385955199/estimote-beacons-are-enriching-experiences-at-the
Antwerp: Europeʼs city of diamonds. Now, also a place of brilliant ideas, where culture and art meet technology. There is a museum showcasing the ways in which Estimote Beacons connect art and technology.
歴史を散策するARツアー
観光をかねたグループ学習で利⽤された画像認識タイプのAR。各拠点で景⾊にカメラをかざすだけで、歴史上の⼈物が画⾯上に出現し説明してくれる。https://www.youtube.com/watch?v=cauQ_nSbY1o
アテネのウォーキングツアー
世界的に最も先進的なツアーと⾔われている。拡張現実技術をベースにリアルとバーチャルツアーを組み合わせた。アクロポリスや3Dの彫刻などをARで楽しむことができる。https://www.youtube.com/watch?v=04PDwlRwHDY
3-4.その他
仮想現実によるイメージトレーニング
出典：http://development.blog.shinobi.jp/Entry/8651/
恐怖症にもたくさんの種類がある。「閉所恐怖症」「⾼所恐怖症」「あがり」など⼈それぞれ。仮想体験によりそれらを克服することが可能となる。
未来の生活と教育
https://www.youtube.com/watch?v=iR7wx132REQhttps://www.corning.com/jp/jp.html
4.まとめ
1.慣れ親しんだスマートフォン・タブレットなどを使⽤することが多く、⼦どもからから⼤学⽣まですぐに使いこなせる。
2.遠隔地や特有な空間などの制約から解放され、どこにいても授業を受けたり、学習することができる。
3.アバターの使⽤など新しいコミュニケーション⽅式が採⽤できる。
4.印刷物、認識可能な景⾊や建物を画像や⽴体物として認識し、即座に情報(画像/動画など)を表⽰することができる。
5.仮想体験型学習により習得効果が向上する。 ・実物を⾒ることができないことを解決 ・実体験することができないことを解決 ・理解するまで繰返し試すことが可能
教育分野で得られる効果