筑波大学大学院博士課程

システム情報工学研究科特定課題研究報告書

VR を用いた「英語での対話が避けられない

世界」での学習環境の開発

－提案システムにおける VR 環境の実装－

杜 天行

修士（工学）

（コンピュータサイエンス専攻）

指導教員 高橋 伸

２０１７年 ３月

概要

本プロジェクトで開発するシステム「BottsEng」は，VR 技術を利用し，英語の学習者を

対象に，仮想空間内で英会話シチュエーションを楽しく体験すると同時に，英語の実用性と

重要性を認識させ，英会話能力を向上することを目的とする英語学習アプリケーションであ

る．

本プロジェクトは企業提案型プロジェクトではなく，学生提案型プロジェクトである．筆

者を含む 4 人のチームは春学期で提案するシステムに関して考察して技術検証を行い，3 つ

の試作を作成して，それの中の 2 つをイベントに出展した．そこで得たフィードバックによ

り作成したシステムの要件を顧客である株式会社クセジュに提案し，秋学期に開発作業を行

った．開発完了後に，システム評価するため，ワークショップを開催し，ユーザーテストを

行った．

「BottsEng」は英語学習者が利用する「シチュエーション体験アプリケーション」と，学

習塾の教師が利用する「オーサリングツール」から構成される．「シチュエーション体験アプ

リケーション」は Android アプリである．スマートフォンをモバイル VR 用ゴーグルに格納

し，それを装着することで，仮想空間内でシチュエーション英会話を体験することができる．

「オーサリングツール」は Web アプリケーションであり，学習塾の教育者がこれを利用する

ことで，多様なシチュエーション英会話を作ることが可能になった．

筆者は，3 つの試作アプリケーションの開発及び「BottsEng」において VR 英語教育コン

テンツを実行する Android アプリケーションのフロントエンド「シチュエーション体験アプ

リケーション」の開発と各種技術検証に責任を持つ．また，実装に限らず，シチュエーショ

ン体験アプリケーションの体験者から受けたフィードバックから，より直感的な UI 及び，

VR 空間内での操作方法を提案，実装した．

i

目次

第 1 章 序論 ··································································································· 1

1.1 本プロジェクトについて ··········································································· 1

1.2 プロジェクトの背景と目的 ········································································ 1

1.3 本報告書について ···················································································· 3

第 2 章 プロジェクト概要 ················································································· 4

2.1 顧客と開発協力企業 ················································································· 4

2.2 プロジェクトの進行 ················································································· 5

2.3 プロジェクト開発方針 ·············································································· 6

第 3 章 「英語に囲まれる環境を実現する」教育システムの検証 ······························· 7

3.1 教育システムの試作 ················································································· 7

3.1.1 VR で授業 ························································································ 7

3.1.2 「クイズゲーム」と「シチュエーション英会話」 ····································· 8

3.2 試作のユーザーテスト ············································································ 10

3.3 システム開発案決定 ··············································································· 11

第 4 章 BottsEng：VR による英会話教育システム ·············································· 14

4.1 システムの利用者 ·················································································· 14

4.2 システム全体構成 ·················································································· 14

4.3 オーサリングツール ··············································································· 15

4.4 シチュエーション体験アプリケーション ···················································· 17

4.5 役割分担 ······························································································ 19

4.6 筆者の担当範囲及び開発スケジュール ······················································· 19

第 5 章 シチュエーション体験アプリケーションの開発 ········································· 20

5.1 システム構成 ························································································ 20

5.1.1 仮想空間表示デバイス ······································································ 20

5.1.2 入力デバイス ·················································································· 21

5.1.3 ソフトウェア構成 ············································································ 21

5.2 コンテンツ実行機能 ··············································································· 23

5.2.1 コンテンツデータ構成 ······································································ 23

5.2.2 仮想空間表示 ·················································································· 24

5.2.3 シナリオ実行 ·················································································· 25

5.2.4 音声対話の実現 ··············································································· 27

5.2.5 GUI 機能 ······················································································· 28

5.3 コンテンツ管理機能 ··············································································· 32

5.3.1 コンテンツリスト表示機能 ································································ 32

5.3.2 コンテンツダウンロード機能 ····························································· 32

5.3.3 コンテンツ削除機能 ········································································· 33

5.4 コンテンツへのアクセス制御機能 ····························································· 33

5.4.1 デバイス登録 ·················································································· 33

5.4.2 デバイス認証 ·················································································· 34

ii

5.4.3 限定公開コンテンツの取得 ································································ 35

第 6 章 システム評価 ····················································································· 37

6.1 実験内容 ······························································································ 37

6.2 結果 ···································································································· 37

6.3 考察 ···································································································· 39

第 7 章 おわりに ··························································································· 41

謝辞 ················································································································ 42

参考文献 ·········································································································· 43

付録 A アンケートフォーム ··············································································· 45

iii

図目次

図 2-1 図顧客と開発協力企業との相関 ···························································· 4

図 2-2 プロジェクト進行概要 ········································································ 5

図 3-1 「VR で授業」の利用イメージ図 ·························································· 7

図 3-2 「クイズゲーム」の実行画面 ······························································· 9

図 3-3 「シチュエーション英会話」の実行画面 ·············································· 10

図 4-1 システム構成図 ················································································ 14

図 4-2 シチュエーションデフォルト様式 ························································ 15

図 4-3 シナリオ作成画面 ············································································· 16

図 4-4 シチュエーション一覧画面 ································································· 17

図 4-5 HMD を装着している様子 ·································································· 17

図 4-6 「Situation List」画面 ·································································· 18

図 4-7 シチュエーション体験画面 ································································· 18

図 5-1 仮想空間表示デバイス ······································································· 20

図 5-2 入力デバイス ··················································································· 21

図 5-3 ソフトウェア構成 ············································································· 22

図 5-4 VR 空間の仕組み ·············································································· 24

図 5-5 VR 空間の表示 ················································································· 25

図 5-6 シチュエーション実行アクティビティ図 ··············································· 26

図 5-7 選択肢画面 ······················································································ 27

図 5-8 音声認識結果画面 ············································································· 28

図 5-9 GUI 設置図 ····················································································· 28

図 5-10 ブルートゥースリモコン ·································································· 30

図 5-11 Milbox Touch の構造 ······································································ 31

図 5-12 「注視」で操作 ·············································································· 31

図 5-13 開発中のシチュエーションリスト画面 ················································· 33

図 5-14 デバイス登録機能ユースケース図 ······················································· 34

図 5-15 デバイス登録画面 ··········································································· 34

図 5-16 デバイス認証システムユースケース ···················································· 35

図 5-17 デバイス認証画面 ··········································································· 35

図 5-18 コンテンツリスト更新ユースケース図 ················································· 36

図 6-1 シチュエーション体験時間の長さ ························································ 38

図 6-2 シチュエーション表現度 ···································································· 38

図 6-3 話すことの恥ずかしさ ······································································· 38

iv

表目次

表 3.1 受けたフィードバック ...................................................................................... 11

表 3.2 プロジェクト検討のまとめ ...............................................................................12

表 4.1 プロジェクトの役割分担 ..................................................................................19

表 4.2 筆者の開発スケジュール ..................................................................................19

表 5.1 Json ファイルの構造 ........................................................................................23

表 5.2 操作方法のまとめ .............................................................................................32

表 6.1 ワークショップの時間表 ..................................................................................37

表 6.2 シチュエーション体験後の感想 ........................................................................39

1

第1章 序論

1.1 本プロジェクトについて

本プロジェクトは，筑波大学大学院システム情報工学研究科コンピュータサイエンス専攻

の高度 IT 人材育成のための実践的ソフトウェア開発専修プログラム（以後，高度 IT コー

ス）における研究開発プロジェクトである．筆者を含む 4 人のチームは顧客である株式会社

クセジュ及びアドバイザーの株式会社ナーブと連携し，プロジェクトの提案，技術検証及び

システムの実装を行った．

1.2 プロジェクトの背景と目的

グローバル化が急速に進んでいる 21 世紀の中で，英語教育は各国国家戦略の一環として，

ますます重視されている．英語のコミュニケーション能力は国際競争をする上で不可欠の能

力であり，高校や大学でも逃げられない科目である．しかし，日本における英語の教育では

実践能力が身に付きにくいという問題があり，多くの学生と親は筆記試験の点数にだけ関心

を持ち，学校の試験ために英語を勉強している[1]．世界中で実用性が高い英会話などの実践

能力を重視不足[2][3]の原因として，以下といった課題が考えられる．

1. 英語に興味が足りない

調査により中学に入学する前，英語の学習や英語に対する気持ちについては 6 割以上の

調査対象者が「嫌い」という選択肢を選択し，中学校で英語を学ぶことが「楽しみでは

なかった」という選択肢を選択したことが分かった[4]．

2. 英語の必要性に対する認識の正しさ

調査により中学生の中に「勉強しないといけない」を学習動機として英語を勉強してい

る学生は 8 割弱と見込める．テストの点数を上げるために英語を勉強するより，単語や

文法の暗記をする勉強が多いためである．また，日本人の英語教師が多く，困った時に

は日本語が使用できるため[5]，英語で話す必要性に迫られない．

3. 英語を話せないことが普通である環境

周りに英語を流暢に話せる同年代が少ないため，英語を上手く話せないのは普通という

認識がある．また，英語を話した際の間違いを怖がる．そのため，英語を話すこと敬遠

し，恥ずかしいと感じる[6][7] ．

以上の問題を解決するために，現在主流な英語の勉強手段について調べ，効果的な手段が

2

以下と考えられる．

1. 英語圏への語学留学

英語圏への留学は英語に囲まれた環境に身を置くことができ，強制的に英語を話す環境が

できる．そのため，全問題点にとって効果的な手段[8][9]として考えられるが，コスト面で

の障壁が大きい．

2. オンライン英会話

海外留学の代わりに，現在 Skype などのアプリを利用し，オンラインでマンツーマンの授

業が受けるサービスがある．この手段は留学より料金が安く，スケジュールの管理も簡単

というメリットがある．一方，毎日の勉強が義務になり，オンライン会話自体も「練習の

ために話す」といった，中身のない会話ばかりだと感じる人も少なくない．

これらの英語の勉強手段に対して，我々は利用者に英語の興味を引き出すと同時に，英語

の重要性と必要性を感じさせることを前提として，コストを抑える手段を検討した．その結

果，仮想現実（Virtual Reality，以下 VR）の没入感を活用して，英語に囲まれる環境を仮想

的に体験することで，上記の問題を解決することを目指し，その効果について考察した．

VR を利用し教育分野での活用事例として，「教育分野における VR を用いた 3 次元立体文

化映像コンテンツの活用に関する研究」[10]や「探索行動との連携により携帯端末での個別学

習を可能とする VR 学習環境の開発と評価」[11]などで VR の没入感を利用し，学習に効果的

な評価が得られた．そして，「人間の能力とは？学び成長するとは何か？VR を教育に役立た

せるための提案」から，脳における思考に必要な情報入力の視点から VR を教育改善の有望

な道具であることを示した[12]．また，2011 年に鈴木らが行った「異なる簡易 VR 学習環境

課での学習効果の差異に関する研究」[13] では，スクリーン上の教材投影を利用した場合と

ヘッドマウントディスプレイを利用する学習効果の違いを研究した．その結果，ヘッドマウ

ントディスプレイを利用する方が高い効果が得られると証明した．本システムにおいてヘッ

ドマウントディスプレイを利用し，より高い教育効果が得ると考えられる．

そこで，我々は VR の没入感を利用した英語教育システムを提案することとした．VR 空間

内で英語に囲まれた環境に身を置き，色んなシチュエーションの体験に通じて，英語の楽し

さと達成感を体験者に実感させ，英語学習への興味不足，英語の必要性と重要性を認識して

いないなどの問題を解消する．英語の実践能力の向上だけでなく，積極的に英語を学習する

ような意識に変えることも可能だろう．また，本システムは留学や英会話より，自国にいな

がら安価に英語に囲まれた環境での英語学習を提供することが実現できる．

本システムは，企業提案型プロジェクトではなく，学生提案型のプロジェクトであるため，

我々は提案システムの実現に先立ち，顧客にシステムのコンセプトを端的に示すため春学期

に，プロトタイプシステムを実装し，ラーニングテクノロジー2016 にてデモンストレーショ

ンを行った．その後，デモンストレーションで得られたフィードバックを反映する形で，VR

を用いた英語教育システムの設計および開発を行った．

3

1.3 本報告書について

本報告書は本章を含めた全 6 章及び付録で構成される．以降，第 2 章において本プロジェ

クトの進行方針及び開発体制について述べ，第 3 章では「英語に囲まれる環境を実現する」

教育システムの検証から最終システム「BottsEng」の提案までの流れについて述べる．第 4

章は実装したシステムの構成をまとめて説明し，各部分の責任担当について述べる．第 5 章

以降は，筆者が担当する部分について設計内容と実装方法及び実証実験について述べる．

4

第2章 プロジェクト概要

2.1 顧客と開発協力企業

本プロジェクトの顧客は株式会社クセジュである．顧客は高校受験を中心した学習塾であ

る．現在，小学校から高校向きの教育事業を行っているが，単に「目先の点数」や「入試合

格」を目標するだけではなく，「学ぶことそのものの楽しさをとことん追求する」理念があり，

その上世界や社会に貢献する人を育てることを目指している．そのため，顧客は問題量を増

やし，膨大な練習量として「一時」の学力向上の代わり，まず学生に「勉強に興味関心を持

つ」ことを第一として考えている会社である．アドバイザーを担当するナーブ株式会社は，

VR コンテンツのクラウドサービスを提供している企業であり， 現在不動産， 飲食など多

様な分野での VR サービス展開を広げつつある． 我々は提案システムを当社のクラウドサ

ービス上で提供することを想定して開発協力体制を結んでいる．図 2－1 に顧客と協力企業，

開発チームの相関図を示す．

図 2-1 顧客と開発協力企業との相関図

5

2.2 プロジェクトの進行

本プロジェクトでは顧客から開発依頼を貰い，それに対して開発するではなく，学生側か

ら顧客に提案し，学生提案型プロジェクトとして進めている．プロジェクトは図 2－2 に示し

ているように，春学期と秋学期の 2 段階に分けて進めている．

春学期である 4 月から 6 月までに我々はプロジェクトの最初にまず教育システムにおける

要件や学習効果などの調査を行い，プロジェクトの方向を VR の没入感を活用する英語教育

システムを開発することを決定した．また，4 月 7 日に高度 IT コース研究開発プロジェクト

の「開発リクエスト・ガイダンスプログラム」でテーマを「仮想現実を用いた英語教育のイ

ノベーション」として公開した．その後，我々は VR の没入感についてサービス検証を行い，

試作として「VR で授業」を作成した．また，「VR で授業」の開発により，教育システムとし

ての不足点を発見でき，VR を活用した英語教育システムの具体案を顧客に提案するため，さ

らに「クイズゲーム」と「シチュエーション英会話」二つのプロトタイプを作成した．6 月 8

日，二つのプロトタイプをラーニングテクノロジー2016 に出展し，デモンストレーションを

行った．多くのフィードバックを受け，それを反映した形で最終システム「BottsEng」の要

件を改良，設計し，6 月末に顧客に提案した．

秋学期では 7 月から春学期提案した「BottsEng」の開発に入り，11 月末までに実装作業を

行った．また，品質向上のため，12 月 17 日に Tsukuba Place Lab でワークショップを開催

し，完成したシステムを参加者に体験させ，アンケート調査を行った．調査結果により，12

月末までにシステムの不足部分を修正し，システムの体験度と完成度を高めた．

図 2-2 プロジェクト進行概要

6

2.3 プロジェクト開発方針

本プロジェクトの開発手法はスクラム開発のアジャイルを採用し，2 週間を一つのスプリ

ントとしてプロジェクトを推進した．この開発手法は伝統的なウォーターフォールなどと大

きく異なる．開発システムを多数の「開発タスク」に分割し，「スプリント」という長さ固定

の時間単位の中にタスク見積り，開発実装，テスト及び振り返りを行う．スプリントを反復

することで，システム全体作業を推進する．また，各スプリントはタスクを基本単位として

チーム全員で開発を行うため，機能の実装は特定な担当人に指定し，全実装を担当人にお任

せすることではなく．開発の責任を 4.5 節で述べるように割り振っている．

プロジェクトをより効率的に管理，推進するため，本チームはチャットツール「Slack」，

バージョン管理ツール「GitHub」，タスク管理ツール「Taiga」を利用した．

Slack

システム開発は共同作業しているため，メンバーが常にお互いの作業内容と進捗を把握す

ることが必要である．そこで，本プロジェクトはチャートツール「Slack」を導入し，コミュ

ニケーション内容に各チャネルを分けてスムーズに情報共有ができ，情報共有ミスで開発に

支障が出ることを防ぐ効果が得た．

GitHub

本プロジェクトのバージョン管理は，「オーサリングツール」と「シチュエーション体験ア

プリケーション」両方を分けて，現在グローバル範囲内で広い採用しているバージョン管理

ツール「GitHub」の上にレポジトリーを作成し，バージョン管理を行った．「GitHub」の利

用により，チームメンバー間で開発内容のチェック，統合などの作業を簡単にできるように

なった．

Taiga

各スプリントの見積りやタスク分担及びプロジェクト進捗などの管理をするため，無料の

タスク管理ツール「Taiga」を利用した．「Taiga」は各タスクに実装に掛かる時間を「Point」

で統計し，スプリントのタスク見積りの時に参考しながらより合理的な計画を作成すること

ができる．また，当スプリントのタスク一覧を表示し，各タスクに「未着手」「進行中」「実装

完了」の 3 つの状態を調整することで，自分及びチーム全体の進捗を直感的確認することが

可能であり，スプリント完了時のテストや振り返りにも高い効果を得た．

7

第3章 「英語に囲まれる環境を実現する」教育

システムの検証

3.1 教育システムの試作

3.1.1 VRで授業

チームのテーマを「仮想現実を用いた英語教育のイノベーション」として公開した後，我々

は VR を利用することを前提として，「英語に囲まれる環境」について追求し，仮想空間内で

多国籍クラスを作り，算数等の世界的に行われている授業を英語で行うことにより，日本人

には英語に囲まれたグローバルな授業環境・模擬留学体験ができると想定し，これを実現す

るシステム「VR で授業」を提案，試作として実装した．

本システムの利用者は講師一名と生徒複数名を想定し，講師専用アプリと学生専用アプリ

がある．利用イメージは図 3－1 に示しているように，講師は講師アプリのカメラとマイクを

利用し，仮想空間内の生徒たちにレッスンを行うことが可能．生徒たちは HMD を装着し，

外国人講師が英語で行われる算数等の授業を受けることができる．また，講師は講師専用の

アプリで問題を設けることや生徒の返答をチェックすることができる．生徒側は携帯端末の

マイクを利用し，VR 空間内で講師の質問に返答やクラスメートとの交流をすることができ

る．このシステムにより自国にいながら安価に英語に囲まれたグローバルな授業環境を享受

でき，英語を学ぶのではなく学ぶ為に英語が必要な本来あるべき環境を提供できることが見

込まれる．

図 3-1 「VR で授業」の利用イメージ図

8

「VR で授業」を開発する途中に，我々は本システムについて以下の問題点を発見した．

1．システム利用範囲の設定が広いため，利用者の管理が難しい

2．講師と学生のレベルや発音など国により差が大きい，特に講師の資格審査が困難である

3．現実の英語レッスンを受けると比べ，授業を行う形式が同じため，VR の新鮮感が失っ

たら飽きやすい

4．レッスンは生放送の形式で行うため，学生がアプリを利用するには講師が授業する時間

のみ，時間上の制限がある．また，生放送をわざわざ VR 内で見る必要性がない．

5．生徒間の会話を VR 上で実現できるが，現実のように相手を見ながら会話することの表

現が難しい，

問題点 1 と 2 はシステムを運営する管理人がいれば一定な程度で解決できるが，問題 3，4

と 5 はシステムの実用性と教育効果を抑えた．チーム内で相談した結果，我々は「VR で授

業」の開発案を不採用と決定し，「英語に囲まれる世界」の解釈についてもう一回検討し，上

記の問題点について，システム要件を以下のように見直した．

1．利用者の管理をしやすいになるため，利用者を学習者だけにする．

2．英語の発音や正確性を確保するため，音声部分は標準化のサンプル音声を再生すること

にする．

3．学習者に常に新鮮感を与えるため，より面白い内容や表現方法が必要．

4．もっと VR の没入感を活用し，教育内容と仮想空間内での活動に関連すべき．

5．現実の英会話練習相手の代わりに，仮想的な相手と対話する方が，より簡単に仮想空間

内で表現できる．

そこで，我々は二つ新しいシステム「クイズゲーム」と「シチュエーション英会話」を提案

した．

3.1.2 「クイズゲーム」と「シチュエーション英会話」

「クイズゲーム」

「クイズゲーム」は仮想空間に古代遺跡を構成し，利用者が遺跡すべての謎を解決してそ

こから逃げ出すことを目的とするゲームと設定している[14]．図 3－2 に示しているように，

利用者はトロッコに乗って出口を目指して移動しながら英語の質問を聞き，目の前に提示さ

れた 2 つの選択肢から回答を一定時間内に選択する．正しい回答を選択した場合はスコアが

加算され，次の問題に移行する．クイズの内容はテキストファイルを編修するだけで管理す

ることができるため，常に新しいクイズを追加することができる．また，本システムの利用

者は学習者だけと制限し，システムの本質もゲームであるため，普段の英語学習に拒絶感を

持つ学習者にとって，利用しやすいという利点がある．英語が苦手な学習者にとっては，オ

ンライン英会話など，英会話の練習相手と直接会話することに，大きなストレスを感じるこ

とがある．本システムには気軽に利用することが可能で，学習者に英語に対する興味を引き

9

出すことを期待できる．

図 3-2 「クイズゲーム」の実行画面

「シチュエーション英会話」

「シチュエーション英会話」は「クイズゲーム」と違い，現実世界での英会話を行う場面

を再現し，あるシチュエーションを想定した英会話を疑似的に体験できるアプリケーション

である[15]．本アプリケーションでは，学習者は，仮想環境にて「英語が母国語の人」から質

問され，図 3－3 に示すように，表示した 2 つの選択肢から質問に対する回答を選択する．回

答が正解であった場合，選択肢の内容を発声する．発生した音声データを音声認識によって，

画面上に表示し，学習者は自身の発音のチェックを行う．シチュエーション全体は質問と回

答が交互に行われ，最後の質問まで進行する．アプリケーションの利用者は「クイズゲーム」

と同様に，学習者のみに限定し，テキストファイルを編修することにより新しい会話に変更

することができる．また，「シチュエーション英会話」は聞くだけではなく，音声認識により

自分の発音を練習することができる．学習者の聞く・話す両方から英語能力を向上させるこ

とが期待できる．

10

図 3-3 「シチュエーション英会話」の実行画面

3.2 試作のユーザーテスト

ラーニングテクノロジー2016 は，教育分野で ICT を活用している事例を出展企業が紹介

するイベントであり，2016 年 6 月 8 日から 6 月 10 日に開催された．「ユーザが英語の必要

性を認識し，英会話能力を向上する」ことが達成されるかの検証と，利用者のフィードバッ

クを貰うため，我々は「クイズゲーム」と「シチュエーション英会話」をイベント出展し，ユ

ーザーテストを行った．

得られたフィードバックは表 3.1 に示しているように，「面白い」「英語を発音することが

恥ずかしくなかった」という肯定的な意見を得られ，VR を活用することで英語を話すという

ことへの障壁を下げる効果があるという結果を得ることができた．逆に，「教育コンテンツと

しての中身をもっとしっかりした方がいい」といった意見も得られた．また，シチュエーシ

ョンの体験度や VR 空間内の操作について，アドバイスを貰った．

11

イベントでは，体験者から様々な意見を貰ったが，「シチュエーション英会話」に対する意

見は「クイズゲーム」よりも肯定的なものが多かった．フィードバックの内容から，「シチュ

エーション英会話」のコンテンツの内容の現実世界の表現度は「クイズゲーム」より高いこ

とが原因と考えられる．「クイズゲーム」のコンテンツ内容はクイズであり，体験する時に各

クイズは現実とは無関係である．また，クイズを提示する時に，重複する可能性がある欠点

がある．一方，「シチュエーション英会話」のコンテンツは複数のシーンから構成され，全体

的に一つのシナリオとなっており，より高い没入感を感じられる．

表 3.1 受けたフィードバック

良い点 悪い点・改善点

面白い 画面上のデザイン，操作方法を改善する方がよい

仮想空間内でヒントを見つけながら進

められた

VR 空間上でインタラクティブにやれるとよい，

ユーザのレベルに合わせて出題ができるとよい

英語を発音することが恥ずかしくなか

った

発音も正解不正解などがないとなぜ読まされる

かよくわからない

教育コンテンツとしての中身をもっとしっかり

したほうがいい

発音のお手本があった方がよい

3.3 システム開発案決定

本プロジェクトにおいて開発する VR を活用した英語教育コンテンツがラーニングテクノ

ロジー2016 で受けたフィードバックを含む様々な角度から検討を行い，二つのプロトタイプ

に分けて以下の表 3.2 にまとめた．

「クイズゲーム」の仮想空間は全部 3D モデルで構成したため，画面の表現度は高いが，

Android 携帯端末に掛かる負担が大きい．また，3D 空間についての機能を拡張する際に高い

技術力とコストが必要である．システムのコンテンツ内容である「コミュニケーション」部

分にも，「クイズゲーム」のコンテンツは「正確性」がある問題だけを対象とし，「シチュエー

ション英会話」のシナリオ展開より表現力が低く，英語を話す練習もできないなどの欠点が

ある．それらの原因から，我々は「シチュエーション英会話」を開発するシステムで扱うコ

ンテンツとして決定した．

12

表 3.2 プロジェクト検討のまとめ

プロトタイプ クイズゲーム シチュエーション英会話

特徴 3D モデルで仮想環境構造 360 度の画像で現実環境再現

実行速度 やや遅い 普通

向いている VR

コンテンツ

正解がある問題 会話全体

利点 仮想環境の表現度が高い 仮想空間の作成が簡単

発音練習機能付き

シナリオ付き，表現力が高い

欠点 酔いやすい

仮想空間の作成は大変

背景が動けない，仮想空間の画面表現

が高くない

拡張性とコス

ト

拡張性が高いがコストも高い 拡張性が高くコストが低い

フィードバッ

ク

あまりフィードバックを貰って

いません

いい評価を貰った

複数の改善点とアドバイスを受けた

システムで扱うコンテンツを決定した後，我々は，システムの要件定義について検討した．

大まかに以下の 2 点が挙げられた．

1．教育コンテンツとしての質

ラーニングテクノロジーで展示したシチュエーション英会話のコンテンツ内容は，学生で

ある開発チーム側でシナリオ作成，画像の撮影などを担当し，作成したため，教育コンテン

ツとしての中身は不十分であった．より学習効果の高いコンテンツを提供するため，教育を

事業として行っている企業の教育者がコンテンツを作成する方が妥当である．そこで，本シ

ステムの利用者はコンテンツを作成する教育者とコンテンツを体験する学習者とする．また，

「シチュエーション英会話」のコンテンツを作成するためには，プログラミングスキルが必

要である．シナリオの更新はテキストファイルを編修するだけでできるが，音声ファイルや

画像ファイルの切り替えは「シチュエーション英会話」を開発した Unity3D ゲームエンジン

を利用する必要がある．この問題を解決するため，プログラミングスキルを有していなくて

も，シチュエーション英会話の作成ができる「コンテンツ作成支援サービス」が必要である．

2．教育者が作成したコンテンツを体験できる

現段階の「シチュエーション英会話」はコンテンツを一つしか体験することができない．

教育者が作成した多様なシチュエーションコンテンツを体験できるようにするため，システ

ム側は複数のコンテンツを管理し，コンテンツを動的に読み込む機能が必要である．学習者

は複数のコンテンツから，一つを選択して体験する機能が必要である．

13

以上の開発方針について，顧客に相談した結果，教育者がシチュエーションの作成・管理

を行う「英語学習のための VR コンテンツオーサリングツール」（以下，オーサリングツール）

と生徒が作成されたシチュエーションを体験する「シチュエーション体験アプリケーション」

の 2 つのアプリケーションから構成されるシステム「BottsEng」の開発を決定し，秋学期で

実装する．

14

第4章 BottsEng：VRによる英会話教育システム

4.1 システムの利用者

3.3 節で述べたように，システムは以下二種類の利用者を想定する．

1．英語教育者

対象とするユーザに学校や塾の英語の教育者が挙げられる．オーサリングツールを使用し，

英語教育に関する VR コンテンツを作成し，受け持つ生徒にそれを提供する．

2．英語学習者

作成された VR コンテンツを体験する学校や塾の生徒が挙げられ，小中学校に通う英語の

初学者の中で，英会話の実践能力を身に付けたい学生を対象としている．ヘッドマウントデ

ィスプレイ（以下 HMD）を装着して VR 上での操作を行い，英会話能力の基礎構築を目指す

対象である．

4.2 システム全体構成

本システムは図 4－1 に示しているように，外部の音声認識ツールを除いて，VR 空間内で

シチュエーション英会話を体験するコンテンツシチュエーション体験アプリケーションと，

コンテンツの作成の支援をするオーサリングツールの 2 種類のアプリケーションから構成さ

れる．利用フローとして，まず教育者がシチュエーションのシナリオを構想し，シナリオに

必要な素材（画像データなど）を用意する．その後，オーサリングツールを用いて，用意した

データと構想したシナリオ構成を作成する．最後に，学習者がシチュエーション体験アプリ

ケーション上で教育者によって作成したシチュエーションをダウンロードすることにより，

模擬的な英会話体験をすることができる．

図 4-1 システム構成図

15

4.3 オーサリングツール

オーサリングツールは，教育者向けのシチュエーション英会話コンテンツの管理を行うア

プリケーションである．教育者は，これを通じて自らの指導方針に合わせてコンテンツを作

成，管理，配信することが出来る．

オーサリングツールを使用するため，教育者は完全なシナリオの構想・シナリオのシーン

を再現する画像を準備する必要がある．作成手順は「Ask the way」という外国人に道を聞か

れたという案内シチュエーションを作成することを一例として説明する．

1．オーサリングツールでシチュエーションの作成メニューを選択すると，図 4－2 に示す

ように，5 種類のシナリオのテンプレートが表示される．図中のマルは 1 つのシーンを表し，

左から 2 番目の図は三つのシーンが順に実行されることを示す．また，左から三番目の図は

質問の回答により，次に示されるシーンが異なることを示す．教育者は構想に相応しい一つ

を選択する，「Title」に今回のコンテンツ名「Ask the way」を入力し，作成ボタンを押して，

各シーンの詳細を編集する．

図 4-2 シチュエーションデフォルト様式

2．オーサリングツールは作成者が選択したテンプレートをベースとして，シナリオの作成

画面に遷移する．図 4－3 を示しているように，画面は「画像一覧」「シナリオ」「シーン」3

つの部分から構成する．「画像一覧」で「＋」ボタンを押すことにより，各シーンの仮想空間

を再現するための全天球画像データをアップすることができる．「シナリオ」部分は現在作成

中のすべてのシーンをマル印で表示し，各シーン間の関連を線で表示し，シチュエーション

の展開様式を即時に確認することができる．各シーンの丸印をクリックすることにより，直

接に選択したシーンの編集画面に遷移することができる．「シーン」の部分は「背景画像」，

「質問」及び「回答」，3 つの部分の内容を入力することが必要である．「背景画像」のリスト

は作成者が「画像一覧」でアップロードした画像データを表示し，その中の 1 つの画像を選

択するにより，現在編集しているシーンの背景画像として設定することができる．「質問」部

分で現在編集中のシーンの質問文を設置することができる．質問文は「Normal」「Easy」「Too

16

Easy」の最大 3 段階難易度の質問文を設置することが可能であり，「Show more」ボタンを

押したらより低い難易度の入力ボックスが表示する．また，右の性別印をクリックすること

で質問音声の性別を指定することができる．「回答」部分では，「質問」で設置した質問文に

対する返答の選択肢内容を設置するところである．「Add more」ボタンを押すことにより，

選択肢は最大 4 つまで追加することが可能である．また，各テキストボックスの下の選択ボ

ックスで該当する選択肢を選んだ後の遷移先を配置することができる．すべてのシーンの編

集が終わった後，「質問を保存」ボタンを押して，シチュエーション一覧画面に戻る．

図 4-3 シナリオ作成画面

17

3，シチュエーション一覧画面で，図 4－4 を示しているように，公開範囲の設定を行った

後，システムは自動的に作成したシチュエーションの完成度をチェックする．通過した場合，

シチュエーションの状態を「公開」に変更し，シチュエーション体験アプリケーションでダ

ウンロード，体験することができる．

図 4-4 シチュエーション一覧画面

4.4 シチュエーション体験アプリケーション

シチュエーション体験アプリケーションは春学期に作ったシチュエーション英会話をベー

スとして，オーサリングツールで配信したすべてのコンテンツを VR 空間で再現，シチュエ

ーション英会話を体験することを基本機能として実装し，更に機能面にアカウント情報やデ

バイス認証システムなどを追加した．シチュエーション体験アプリケーションは筆者が実装

成員とし，担当した部分については第 4 章から詳述する．以下から，4.3 節で作成した「Ask

the way」を体験することを例として，シチュエーションの体験手順について説明する．

図 4－5 に示しているように，シチュエーション体験アプリケーションを利用するため，

Android OS の携帯と Google CardBroad 系 HMD 及びヘッドセットが必要である．

図 4-5 HMD を装着している様子

18

学習者はシチュエーション体験アプリケーションを立ち上げ，デバイス登録を行った後，

「Situation List」画面（図 4－6）に転移すると，4.3 節にて作成した「Ask the way」を含

むコンテンツのタイトルが表示される．コンテンツを実行するにはまずデータをダウンロー

ドする必要がある．ダウンロードしていないコンテンツはタイトルの右に「Download」とい

うボタンがあり，これをタップするとデータがダウンロードされ「Play now」というボタン

にかわる．

図 4-6 「Situation List」画面

「Play now」ボタンをタッチすると，シチュエーション体験が開始され，仮想空間画面に

遷移する．その時，使用者は携帯端末を HMD に収納し，ヘッドセットと一緒に装着するこ

とにより，仮想空間に没入することができる．「装着状態を確認」及び「ボタンをタッチして

シチュエーション開始」というメッセージが仮想空間内で表示される．「確認ボタン」を選択

した後に，シチュエーションが開始し，図 4－7 のように 4.3 節で作成した内容を体験するこ

とができる．

図 4-7 シチュエーション体験画面

19

4.5 役割分担

本プロジェクトはアジャイル開発のスクラムを導入しており，オーサリングツールとシチ

ュエーション体験アプリケーション両方分けて，開発進行の責任者を定めて進捗を推進して

いる．具体的な責任担当は表 4.1 に示す．

表 4.1 プロジェクトの役割分担

シチュエーシ

ョン体験アプ

リケーション

シチュエーションのサービスとシチュエーショ

ン体験アプリケーション全体の UI 設計

杜 天行

オーサリングツールとの連携と配信コンテンツ

の管理と更新

武藤 寛

オーサリング

ツール

サーバ側のデータベース設計及びコンテンツ配

信サービスの開発

森谷 優大

コンテンツ作成支援ツールの開発 小幡 潤

筆者はシチュエーション体験アプリケーションのシチュエーション体験サービス及びシチ

ュエーション体験アプリケーション全体の UI 設計を担当する．また，体験サービス及びユー

ザと UI の連携部分についてラーニングテクノロジー2016 で頂いたフィードバックを踏まえ，

ユーザの体験度を中心として考察し，システムの全体アップデートを行った．筆者担当の部

分については第 5 章から詳述する．

4.6 筆者の担当範囲及び開発スケジュール

筆者が担当している部分のスケジュールは表 4.2 に示しているように，春学期に「VR で

授業」と「クイズゲーム」について考察し，技術検証を兼ねて開発を行った．秋学期には，

ラーニングテクノロジー2016 から貰ったフィードバックを基づいて，シチュエーション体

験アプリケーション内でシチュエーションを動的に導入することができるようにアップデー

トした．また，デバイス登録やフォロワー登録などのサービスを追加実装した．最後に，リ

モコンの操作手段の他，2 種類の操作方法を実装し，ユーザは自分の好みで操作方法を自由

に選択することができるようになった．

表 4.2 筆者の開発スケジュール

20

第5章 シチュエーション体験アプリケーション

の開発

筆者は本プロジェクトのシチュエーション体験アプリケーションのシチュエーション英会

話の再現と UI 設計を担当し，Unity3D ゲームエンジンで開発を行った．以下から，システ

ム構成から，各機能まで具体的に述べる．

5.1 システム構成

5.1.1 仮想空間表示デバイス

我々には安価に本システムを利用できるようにするため，Android 端末をソフトウェアの

プラットフォームを採用した．端末をモバイル VR 用ゴーグルに嵌め込むことで，HMD と

して利用することができる．シチュエーション体験アプリケーションの VR 空間はゲームエ

ンジン Unity3D にて実装した．また，仮想空間を HMD により両眼で体験するため，

CardBroad SDK を利用して携帯の画面を左右の視点のビューに分割表示するように実装し

た．HMD の構成は図 5－1 に示す．

図 5-1 仮想空間表示デバイス

21

5.1.2 入力デバイス

シチュエーション体験アプリケーションの入力デバイスは以下 2 種類が必要である．

1．音声入力デバイス

英会話をするため，音声の再生，発声した音声を録音するためのデバイスである．

2．操作入力デバイス

メニューや選択肢を操作するためのデバイスである．

図 5－2 を示しているように，音声入力デバイは，ヘッドホン・マイク一体型のヘッドセッ

トを採用した．操作入力するため，シチュエーション体験アプリケーションは 1 種類ソフト

内部の入力方法とブルートゥースのリモコンと Milbox のタッチパネル，2 種類の外部デバイ

スを利用する入力方法を実装した．操作入力についての詳細は 5.3.5 節で述べる．

図 5-2 入力デバイス

5.1.3 ソフトウェア構成

アプリケーションの構造は図 5－3 に示しているように，大きく分けてシチュエーション体

験アプリケーションはコンテンツ実行機能，コンテンツリスト表示機能及びコンテンツへの

アクセス制御機能 3 つの部分がある．

コンテンツの実行機能は学習者がVR空間内でシチュエーションを体験できる機能である．

また，コンテンツ実行機能をさらに分けると，学習者に仮想空間の表示するための仮想空間

表示機能，シナリオを再現する機能や音声で模擬英会話を実現する音声対話機能などのサブ

機能が存在する．具体的な内容は 5.2 節で述べる．

コンテンツ管理機能は学習者に体験できるすべてのコンテンツを表示・管理する機能であ

る．また，コンテンツ管理機能をさらに分けると，学習者に全リストをカテゴリー別で表示

するコンテンツリスト表示機能，利用できるコンテンツをローカルにダウンロードするコン

テンツダウンロード機能及び不要なコンテンツを削除するコンテンツ削除機能が存在する．

22

具体的な内容は 5.3 節で述べる．

コンテンツへのアクセス制御機能は学習者の端末に作成者が限定公開しているコンテンツ

の利用権限付与に関する機能である．コンテンツへのアクセス制御機能は，端末に関連付の

デバイス名を登録するためのデバイス登録機能，利用者の限定公開コンテンツの利用権限を

貰うためのデバイス認証機能及び現在利用権限がある限定公開のコンテンツを確認するため

の限定公開コンテンツ取得機能が存在する．具体的な内容は 5.4 節で述べる．

図 5-3 ソフトウェア構成

23

5.2 コンテンツ実行機能

5.2.1 コンテンツデータ構成

各コンテンツは一つの Json ファイルと複数の画像ファイル及び質問数に対応する音声フ

ァイルが必要である．以下，各構成ファイルについて説明する．

1.Json ファイル

Json ファイルに含めた内容は大まかに 3 種類に分ける．その 1 種類はコンテンツに関する情

報である．もう 1 つは，コンテンツの音声会話に関する内容である．最後の一つは学習者が

質問音声を聞いた後，回答の選択肢に関する内容である．Json ファイルの中身には表 5.1 の

データが含める．

表 5.1 Json ファイルの構造

ID コンテンツの ID

Title コンテンツの名前

Release コンテンツの公開範囲

Questions（複

数）

QuestionID 質問の ID

ImagePath 質問に当たるシーンの仮想空間構成用画像のパス

QuestionVoiceList

（複数）

Key 質問音声の ID

Value 質問音声の内容

Difficulty 質問音声の難易度

Options

（複数）

Subscription 選択肢の内容

Action 選択肢後の遷移

コンテンツ自体に関する情報は ID，Ttile，Release である．これらの情報はコンテンツ管

理する時利用する．コンテンツ管理については 5.3 節で詳述する．

コンテンツのシナリオは複数の質問から構成し，質問ことに一つのシーンを表示する．

QuestionID は該当する質問の ID を表すものである．QuestionID を指定することにより，

対応するシーンに遷移することができ，シナリオを各方向に展開することが可能になった．

他に，設置していた ImagePath から読み込んだ画像を仮想空間の表示で利用する．仮想空間

の表示については次の節で述べる．また，QuestionVoiceList で設置した質問内容は，音声対

話部分で利用する．その部分の内容は 5.2.4 節で説明する．

コンテンツの選択肢に関する Option の部分に Subscription で該当する質問の各選択肢の

内容を格納する．Action はシナリオ展開の方向をコントロールする内容である．シナリオ展

開についての内容は 5.2.3 節で詳述する．

24

2.画像ファイル

4.3 節の第 2 部分でオーサリングツールを利用してコンテンツを作成する時に，各シーン

の仮想空間を再現するため，全天球の画像をアップロードした．その時の画像はコンテンツ

をローカルにダウンロードする時に，配信サーバから貰い，ローカルに保存するものである．

また，画像のデータサイズを抑えるため，拡張子は Jpg に制限している．

3.音声ファイル

シチュエーション体験する時の音声会話部分に使用している質問音声ファイルはコンテン

ツをダウンロードする時に，IBM Watson の「Text To Speech」という外部の Api を通

じてテキスト内容を音声ファイルに転換作業を行い，Wav の音声ファイルとしてローカルに

保存している．

5.2.2 仮想空間表示

アプリケーションは VR 空間を構築するため，コンテンツ構成データから貰った全天球画

像データを利用し，3D 区間空間中の天球面に貼り付けることにより，図 5－4 のような 360

度のシーンを生成することができる．

図 5-4 VR 空間の仕組み

また，3D カメラを天球の真ん中に設置することに，図 5－5 のような VR 空間を見ること

ができる．シナリオの進行と共に，他のシーンに移行する場合，対応するシーンの画像をも

う一度読み込んで，現在貼り付けている画像と入り替わるだけで，シーンの転換ができる．

25

図 5-5 VR 空間の表示

5.2.3 シナリオ実行

シチュエーション開始後，対応するシーンの仮想空間を自動的に生成し，シナリオの展開

をその中で行う．

図 5－6 に示しているように，シナリオの実行は，シーンごとに「音声で質問を受ける」「返

答として一つの選択肢を選ぶ」「選んだ選択肢の内容を発声する」「発声した音声の認識結果

を確認する」4 つのステップがある．全体なシナリオはこの 4 つのループで展開する．また，

選んだ選択肢により，シナリオの展開が違う方向に進行することがある．具体的に以下の進

行アクションが存在する．

Repeat：

会話の答えに正確性の判断がある時，答えが間違えた場合このシーンをもう一度再開し，

前回流した音声の代わりにもっと簡単な質問音声を再生する．利用者はもう一回聞き取り，

回答を求める．

別のシーンに移行：

学習者が正しく回答できた場合，別のシーンに移行することができる．

End：

シチュエーションを終了し，シチュエーションリスト画面に戻る．

26

図 5-6 シチュエーション実行アクティビティ図

27

5.2.4 音声対話の実現

本アプリケーションでは英語による会話を一問一答の形式で行う．事前に読み込んだ質問

の音声ファイルを再生し，仮想空間にいる人物が学習者に話しかけているように見せる．そ

の後，利用者は聞き取った質問問題を基に図 5－7 を示しているようなシナリオで準備した最

大 4 つの選択肢から 1 つを選んで回答する．

図 5-7 選択肢画面

利用者自らの発音を確認するため，図 5－8 のように回答を発話して音声認識の結果を利用

者にフィードバックする機能がある．「Answer Text」下のテキスト内容は選んだ選択肢の

発声内容になり，「You Said」下のテキスト内容は体験者が発声した内容について音声認識

を処理した結果である．また，利用者は自分の発音と比べることができるため，「Answer

Text」の右横にあるサンプル再生ボタンをタッチすることで標準な音声が流れることが出来

る．音声認識部分は IBM が提供する Watson API の Speech to Text を利用して実装した．

実際に利用者が発声することにより，リアルで外国人と話すような雰囲気が生まれ，自然的

に会話することが出来る．

28

図 5-8 音声認識結果画面

5.2.5 GUI機能

メニューの表示

シチュエーション体験アプリケーションの UI 部分は Unity3D の GUI 作成プラグイン

NGUI を利用して実装した．図 5－9 に示しているように，仮想空間内に UI として表示する

部分は「シチュエーション開始提示パネル」「選択肢リスト」「音声認識結果パネル」などが

ある．

図 5-9 GUI 設置図

29

また，実装した UI は以下の機能を揃える．

1．メニューを隠す・表示機能

メニューの左上に，「HideMenu」というボタンをタッチすることで，この機能を利用する

ことができる．この機能は UI を隠す・表示することができる．UI を隠すことで，シチュエ

ーションを体験する時，利用者が手やすく仮想空間内で対話と質問のヒントを探すことがで

きるになった．

2．戻す機能

メニューの右上に，「Exit」ボタンをタッチすることで，シチュエーションリストに戻すこ

とができる．体験者は現在体験しているシチュエーションを中断し，シチュエーションリス

トに戻したい時に利用する．

3．選択機能

この機能は，各シーンで質問された時に返答として利用する．体験者は複数の選択肢の中，

正し選択肢を選択する．選択した選択肢より，シナリオの進行ルートも違い，新しい体験を

得ることができる．

4．リトライ機能

この機能は，現在体験しているシーンを最初に戻すことができる．体験者はもう一回発音

練習をやりたいなどの理由でシーンを再生する場合，音声認識結果画面で，左下の「Retry」

ボタンをタッチすることで，この機能を利用できる．

5．音声再生

この機能は，発声練習内容の正確音声を流すことができる．体験者は自分の音声の音声認

識結果を確認した後に，音声認識結果パネルの右上であるスピーカマークをタッチすること

で，サンプル音声を一回再生し，自分の発音ミスを見直すことができる．

メニューの選択

春学期では，シチュエーション体験アプリケーションを利用するため，アンドロイド端末

と HMD，Bluetooth のリモコンが必要になる．ラーニングテクノロジー2016 のフィードバ

ックにより，リモコンの入力方式は分かり辛い意見があり，経験が少ない使用者は HMD を

外してリモコンを確認しながらすすめることがあった．それを解決するため，我々はリモコ

ン以外の操作方法を検討した．現在，リモコンのボタンを押す代わりに，他の 2 つ種類の操

作方法を考え，実装した．その一つは VR 空間内の UI ボタンに「注視」する動作を認識し，

その動作をボタンの実行する操作方法である．もう一つは明治大学の研究結果である Milbox

Touch という HMD を利用し，付属しているタッチパネルで操作する方法である．この 3 種

類の操作方法は全部アプリに実装したため，使用者は自分の環境と使用感により自由で選択

することができる．

以下，3 種類の操作方法について述べる．

30

1．リモコンで操作

春学期の時，プロジェクトの初期実装した操作方法である．我々は図 5－10 のブルートゥ

ースのリモコンを利用した．また，リモコンを利用する場合，アプリを立ち上げる前に，リ

モコンと携帯端末を関連する操作が必要である．

シチュエーションを体験中，リモコンを利用して，メニュー内に存在するボタンを選択す

ることができる．普段マウスを利用する時に「ボタンをクリックする」操作の代わりに，リ

モコンは左右ボタン（図 5－10 の□と〇ボタン）を押すことにより，選択状態をメニュー上

の全ボタンの間に巡り，選択状態になるボタンを緑色で表示する．リモコンの確認ボタン（図

5－10 の×ボタン）を押すことで，ボタンをクリックすることになる．

図 5-10 ブルートゥースリモコン

2．タッチパンネルで操作

Milbox Touch は明治大学の研究成果「ExtentionSticker 技術」を利用する新しいインター

フェースである．図 5－11 を示しているように，普通の Google CardBroad より一枚の静電

容量式タッチパネルが貼り付けることにより，HMD 外部から入力することが可能になる．

外部インターフェースのパネルを利用するが，HMD に内蔵しているため，両手で HMD を

頭に付けた後にまだリモコンを探す状況を避けることが可能，ブルートゥースのリモコンよ

り便利と考える．

Milbox Touch のパネル操作を対応するため，筆者はタッチパネル上のダブルクリックとフ

リック操作の認識をアプリ内で実装し，一定程度な精度を確保していた．操作方法について

は，リモコンの左右ボタンの代わりパネルに前後のフリック操作でメニュー内のボタンを選

択する．また，ダブルクリックで選択になったボタンをクリックと認識する．

31

図 5-11 Milbox Touch の構造

3，「注視」で操作

「注視」で操作方法は利用者が見ている画面の中央部分に丸い点を付ける．この点は利用

者の注視点であり，頭の向きの方向と共に移動する．タッチなどの操作ができる UI を注視す

ると，注視点は丸に変化し，利用者に「タッチできるところ」ということ示すようにする．ま

た，すべての「タッチできるところ」を利用者に示すため，各 UI にターゲットの印を付けた．

そして，注視点を操作可能な UI に一定時間合わせ続けると，図 5－12 のように注視点の外

にもう一つの大きな丸が徐々にゼロから一周に回る．この大きい丸は注視する時間を表示す

るものである．ボタンから注視点を離すと，丸は消えて，注視時間をゼロにリセットする．

代わりに，注視し続け，丸を一周まで回せれば，このボタンをクリックすることと判断する．

このインタラクション方式を実装することにより，シチュエーションすべての操作はHMD

内で実現することが可能なり，外部デバイスを利用せずに操作することが可能になり，利用

者の使用体験度と没入感は一定な程度で向上することを期待できる．

図 5-12 「注視」で操作

32

3 つの入力方法について，各方法の特徴，利点及び欠点について検討し，以下の表 5.2 にま

とめた．

表 5.2 操作方法のまとめ

操作方法 リモコン操作 タッチパネルで操作 「注視」で操作

利用デバイス 外部の独立デバイス

（外部）

HMD と一体化した

タッチパネル（半内

部）

ソフトウェア内部で対応

（内部）

値段 有料 有料 無料

入力精度 普通 悪い 高い

入力速度 早い やや遅い 2 秒に固定

デバイス設置 面倒 簡単 不要

5.3 コンテンツ管理機能

5.3.1 コンテンツリスト表示機能

シチュエーションを確認・管理するため，シチュエーション一覧リストを表示することが

必要である．

コンテンツリスト画面の表示には，シチュエーションの数が増えた時，リストの表示を見

やすくするため，図 5－13 を示しているように，使用可能なコンテンツリストが作成者毎に

分けて表示ように実装した．各作成者が作成したすべてのコンテンツは一つのカテゴリーに

なる．サンプルコンテンツ及び一般公開されているコンテンツは「Public」カテゴリーに表示

される．また，各カテゴリーをタップすることにより，その作成者のシチュエーションの一

覧が表示されるようになっている．他に，シチュエーションは状態未ダウンロードとダウン

ロード済みの 2 つの状態があり，状態を分けて表示し，別々の利用機能が必要である．既に

ダウンロード済みのコンテンツは図 5－13 のように明るい色で表示し，ダウンロードしてい

ないコンテンツは暗い色で表示するように実装した．また，操作できるボタンはダウンロー

ド状態に分けて「Play now」ボタンと「Download」ボタンが表示する．

5.3.2 コンテンツダウンロード機能

図 5－13 に示しているように，未ダウンロードのコンテンツは暗い色で「Download」ボタ

ン付きで表示する．コンテンツを利用するため，コンテンツをダウンロードし，ローカルに

保存する必要がある．5.2.1 節で述べたように，コンテンツ構成データは Json ファイルと画

像ファイル及び音声ファイルが必要である．その中に，画像ファイルは直接配信サーバから

取得，保存する．質問音声ファイルは Json ファイルから質問文を取得，IBM 社が提供して

33

いる Watson API の Text To Speech を利用し，質問文のテキストから音声ファイルを生成し

て保存する．また，すべての音声ファイルと画像ファイルを正しく保存した後，Json ファイ

ル中のファイルパス部分の更新を行い，ダウンロード終了になる．

5.3.3 コンテンツ削除機能

シチュエーションのシーンの数より，ストレージの消費が異なるが，一枚の全天球画像だ

けで 3MB ぐらい消費する．また，時間と共にダウンロードしたシチュエーションの数が増

え，シチュエーションを削除し，ストレージを回復したい時がある．そのためシチュエーシ

ョンの削除機能が必要である．そのため，既にダウンロードしたコンテンツの「Play now」

ボタンの横に削除ボタンを実装した．このボタンを押したら，削除確認パネルが表示し，確

認ボタンを押した後関連しているコンテンツを削除することができる．

図 5-13 開発中のシチュエーションリスト画面

5.4 コンテンツへのアクセス制御機能

5.4.1 デバイス登録

教育者がシチュエーション体験アプリケーションを利用するデバイスの利用権限を管理す

るため，シチュエーション体験アプリケーションでは初回起動時にデバイス名の登録を要求

するようにした．また，オーサリングツールの利用により，教育者の限定公開シチュエーシ

ョンの利用権限を得たデバイス一覧表示や，権限を解除することと想定する．

デバイス登録機能の設計は図 5－14 に示しているように，利用者はデバイス画面でデバイ

ス ID を入力し，確認ボタンを押すことにより，配信サーバ側のデバイス登録 Api にデバイ

34

スデータを送り，データベースに登録する．また，サーバから配ったデバイスナンバーをシ

チュエーション体験アプリケーションに返信し，セッティングファイルに書き込むことで，

デバイス登録を完成する．

図 5-14 デバイス登録機能ユースケース図

図 5－15 を示しているように，デバイス登録画面で学習者のデバイス名を入力し，「Submit」

ボタンを押すことで，配信サーバにデバイス名が送信する．登録成功した場合システムから

配ったデバイス ID を返信し，この ID とデバイス名をセッティングファイルに保存すること

で，デバイスの登録が完成する．

図 5-15 デバイス登録画面

5.4.2 デバイス認証

デバイス認証機能は前に述べた通り，端末と作成者を関連し，利用者が作成した限定公開

のコンテンツを利用することができるため，デバイス認証機能が必要である．

デバイス認証機能は，作成者から配る認証コードを利用者により端末に入力することで関

連関係を結ぶと想定する．認証コードを貰った後，図 5－16 に示しているように認証コード

をデバイス認証画面にて入力し，サーバ側の認証管理 Api により登録を行う．成功した場合，

認証結果として作成者の ID と権限を得たコンテンツリストを実行アプリ端末に返信し，最

35

新のコンテンツリストを利用することができる．

図 5-16 デバイス認証システムユースケース

デバイス認証画面は図 5－17 に示しているように，デバイス認証画面で利用者から貰った

認証コードを入力し，「Submit」ボタンを押すことで，配信サーバにデータを送信する．認証

成功した場合，アプリ側に返した作成者の ID をシステムセッティングファイルの中に保存

しシチュエーションリスト画面に戻り，リストを最新状態に更新し，デバイス認証が完成す

る．

図 5-17 デバイス認証画面

5.4.3 限定公開コンテンツの取得

デバイスを認証した後，対応する作成者が作成したコンテンツを利用することができるよ

うになる．図 5－18 に示しているように，毎回シチュエーションリスト画面に移行する時，

システムセッティングファイルから認証した作成者の ID を読み取り，コンテンツ配信サー

36

バに送信し，利用可能なコンテンツ最新リストに更新する．

図 5-18 コンテンツリスト更新ユースケース図

37

第6章 システム評価

12 月 17 日に Tsukuba Place Lab でワークショップを開催し，オーサリングツール及び実

行アプリの評価実験を行った．ここまでに開発が完了していたシステムの使用感について評

価を行った．

6.1 実験内容

この実験では，開発した実行アプリの体験度及び使用効果について調査することを目的と

した．実施した内容は，表 6.1 に示しているように，我々はまず参加者全員にプロジェクト

の概要を説明し，事前に作成完了のシチュエーションを参加者に体験し，シチュエーション

作成からシチュエーション利用するまでの流れについて説明した．その後，オーサリングツ

ールと実行アプリの操作方法を紹介し，オーサリングツールを利用するためのアカウントと

シチュエーション作成用の画像を撮れる 360 度カメラ Theta を配り，シチュエーションの作

成作業に入った．

表 6.1 ワークショップの時間表

時間 内容

11:00-11:40 ワークショップとシステムの説明

11:40-12:00 チームを組んで初期設定

12:00-13:30 シチュエーションを作る

13:30-14:00 作品の披露・アンケート記入

計測方法は，作成したシチュエーションを披露した後にアンケートを記入することで，シ

チュエーションの体験度を調査する．アンケートの内容は以下 4 点がある．

1．ダウンロード時間を含むシチュエーション体験時間の長さ

2．シチュエーションの表現度

3．話すことの恥ずかしさ

4．利用後の感想

6.2 結果

今回のワークショップは，最後 5 つの作品を披露し，5 人分のアンケート結果をいただい

た．アンケート調査内容の 1－3 の評価分布は図 6.1 から図 6.3 に示す．

38

図 6-1 シチュエーション体験時間の長さ

図 6-2 シチュエーション表現度

図 6-3 話すことの恥ずかしさ

39

また，アンケート調査内容 4 の感想については，シチュエーション体験アプリケーション

に対する感想だけを統計し，表 6.2 に示す．

表 6.2 シチュエーション体験後の感想

良い インターフェース部分．背景画像の中にメニューがあり，点をそこに

置き続けることで選択するインターフェースはこのアプリにとてもあ

っていると思いました．

VR の感覚

悪い 画像の枚数制限

アプリが安定していなく，よく落ちてしまったこと．

6.3 考察

今回の実験について，各内容のアンケート結果について，筆者は分析を行い，以下に述べ

る．

シチュエーション体験時間の長さ：

シチュエーション体験時間の長が受け取れる範囲内で考えている人は 80%と認定し，シチ

ュエーション体験の時間が適切と判断した．また，「短い」を選択した原因として，我々はシ

チュエーションに 5 つ以上のシーンができないため，シナリオ内容を制限しているが原因と

判断した．シーンの数を制限している理由として，シチュエーションを体験する最初に，全

部の画像や音声を一気に読み込むため，携帯端末にメモリの消費が激しくなる．制限しない

場合，5 枚以上の画像を同時に読み込む時，アプリが落ちやすい．解決策として，シチュエー

ション開始前の読み込みの代わりに，シーンごとに読み込む操作を行うことで，メモリの消

費を抑え，一定な程度に維持することが可能になった．この機能はワークショップの後に実

装し，現在実装済みになった．

シチュエーションの表現度：

仮想空間の還元効果に違和感があるが，受け入れる範囲内であることを証明した．また，

安価の Google CardBroad の利用と Theta から撮った写真だけで素早く仮想空間を還元す

ることを前提として以上，現在表現度の評価は良いと考えた．

話すことの恥ずかしさ：

60%の体験者は現実より恥ずかしくないと回答したが，意外に 40%の人は現実より恥ずか

しと回答した．原因としては，今回のワークショップでシチュエーションを披露する時，HMD

を掛けてみんなの前でやりながら発表するため，実装アプリの体験外の恥ずかしさを感じし

たと考えた．一人で体験する時，より恥ずかしさを減少することができると思う．

体験感想：

体験感想について，予想している通りに，「注視」で操作する方法はより自然と便利の原因

40

で好評を貰った．また，VR の没入感を感じ，興味を引き出した目的を達成になった．一方，

シチュエーション体験時間の長さで述べるように，画像の枚数制限やアプリをよく落ちると

いう感想を頂いて，ワークショップの後，改善案としてシステムをアップデートした．

41

第7章 おわりに

本プロジェクトでは，株式会社クセジュを顧客とし，ナーブ株式の協力の下で，VR を用い

た「英語での対話が避けられない世界」での学習環境の開発を行った．春学期では，技術検

証及びプロトタイプを開発し，ラーニングテクノロジー2016 でデモ展示し，秋学期の開発方

針を決めた．秋学期は貰ったフィードバックを基づいて，教育者がシチュエーション作成用

のオーサリングツールと学習者がシチュエーション体験用のシチュエーション体験アプリケ

ーションを分けて，アジャイル開発を行った．

筆者の担当範囲はシチュエーション体験アプリケーションの全 UI 実装及びシチュエーシ

ョン体験サービスである．また，シチュエーション体験時の入力方法について考察し，外部

インターフェースのブルートゥースリモコンを利用する代わりに，他 2 種類の操作方法を実

装した．

システム評価として，ワークショップを開催し，シチュエーションの作成から自分の手で

完成したシチュエーションを体験するまで参加者に体験した．最後に，シチュエーション体

験アプリケーションの体験度及び使用効果についてアンケート調査を行った．調査結果を分

析，考察し，体験度と使用効果を肯定と認定した．また，考察した結果より，シチュエーショ

ン体験アプリケーションの不足部分を発見でき，改善するため，ワークショップ後シチュエ

ーション体験アプリケーションにアップデート作業を行った．

本システムの今後の展望として，現在通信状況や携帯端末のスペックを考慮した結果，シ

チュエーションは画像を利用し，静的な環境を再現している．今後は，360 度のビデオを利

用し，仮想空間を再現することで，より高い還元度と没入感を得ることを見込める．また，

VR 環境内の入力手段として，より便利な操作方法を研究し，より便利と自然な操作感を期待

できる．

42

謝辞

本報告書を執筆するまでに，多くの人にご指導，ご協力をいただきました．

本プロジェクトの課題担当教員である渡辺知恵美助教には，日頃から多くのご指導をいただ

きました，プロジェクトを進めてく上で困っている際にたくさんのアドバイスをいただき，

多くのことを学ばせていただきました，心より感謝申し上げます．

本プロジェクトの顧客であるクセジュ社の社長鈴木久夫様には，ご多忙の中貴重な時間を割

いて打ち合わせのご協力をいただき，ここで厚く御礼申し上げます．

M1 の指導教員である田中二郎教授には，筆者が入学する前から様々な指摘とご助言をいた

だきました．また，M2 の指導教員高橋伸准教授から中間報告から最後の研究報告書までご指

導ご助言を数多くいただきました．在校の 2 年間，本当にお世話になりました．深く感謝申

し上げます．

本プロジェクトのチームメンバーである小幡潤氏，森谷優太氏，武藤寛氏には日本語の指導

から，技術面の支援まで様々な面でお世話になりました．ここに感謝の意を表します．

後に，これまで様々な面から支えてくださった家族や友人，大学院生活でお世話になったす

べての方々に，心より感謝いたします．

43

参考文献

[1] Benesse 教育研究開発センター:第１回中学校英語に関する基本調査（生徒調査）・速報版

[2009 年 ] ， ベ ネ ッ セ 教 育 総 合 研 究 所 ( オ ン ラ イ ン ) ， 入 手 先

<http://berd.benesse.jp/global/research/detail1.php?id=3302>(2009)，pp.9-15，(参照 2016-11-14).

[2] 文部科学省:平成 26 年度英語力調査（高校 3 年生）結果の概要，文部科学省(オンライン)，

入手先<http://www.mext.go.jp/a_menu/kokusai/gaikokugo/1358258.htm>(2016)，pp.2-8， (参照

2016-11-14).

[3] 太田かおり:日本の英語教育における盲点:音声教育の現状と課題，九州国際大学国際関係

学論集，Vol.8，pp.37-70(2013).

[4] Benesse 教育研究開発センター:第１回中学校英語に関する基本調査（生徒調査）・速報版

[2009 年 ] ， ベ ネ ッ セ 教 育 総 合 研 究 所 ( オ ン ラ イ ン ) ， 入 手 先

<http://berd.benesse.jp/global/research/detail1.php?id=3302>(2009)，pp.6，(参照 2016-11-14).

[5] 文部科学省:今後の英語教育の改善・充実方策について，文部科学省(オンライン)，入手先

<http://www.mext.go.jp/b_menu/shingi/chousa/shotou/102/houkoku/attach/1352464.htm>(2015) ，

(参照 2016-12-24).

[6] デービッド・K・アサノ:日本人が英語を正しく使えない理由，電子情報通信学会誌，Vol.87(10), pp.901-904(2004).

[7] 北野 朋子 :第二言語での会話における「恥ずかしさ・正確さ・配慮要求」意識，日本教育

心理学会総会発表論文集，Vol. 52, pp.510, (2010).

[8] 関久美子・野中辰也・隅田郎彦:短期語学留学プログラムの効果測定(3)，新潟青陵大学短

期大学部研究報告，Vol.39，pp.105-113(2009).

[9] 濱田真由・横川博一:短期海外英語研修が日本人英語学習者のスピーキングにおける語彙

使用に及ぼす影響(言語運用と専門教育) ，電子情報通信学会技術研究報告. TL, 思考と言語

Vol.114(385), pp.13-18(2014).

[10]鄭松奎・寺島信義:教育分野における VR を用いた 3 次元立体文化映像コンテンツの活用

に関する研究，Vol.72，pp.35-36(2010).

[11]藤木卓・元井良行・寺嶋浩介・小清水貴子:探索行動との連携により携帯端末での個別学

習を可能とする VR 学習環境の開発と評価，日本教育工学会論文誌，Vol.34，pp .81-84(2010).

44

[12]高橋優三・木島竜吾:人間の能力とは？学び成長するとは何か？VR を教育に役立たせる

ための提案，日本バーチャルリアリティ学会論文誌，16(4) ，pp.615-622(2011) .

[13]鈴木貴大ほか. 異なる簡易 VR 学習環境下での学習効果の差異に関する研究. 教育シス

テム情報学会研究報告，Vol.25(7) ，pp.15-20(2011) .

[14]周欣欣・杉原健一・村瀬孝宏:Kinect を利用した教育用体験型 AR アプリの開発，映像情報

メディア学会技術報告，Vol 40(11) ，pp.201-202(2016) .

[15]瀬戸崎典夫・吉冨 諒・岩崎 勤全・炳徳:全天球パノラマ VR コンテンツを有する平和教

育教材の開発，日本教育工学会論文誌，Vol.39，pp .85-88(2015).

45

付録 A アンケートフォーム

46