holo lens × ue4での開発について
TRANSCRIPT
![Page 1: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/1.jpg)
HoloLens × UE4での開発について
![Page 2: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/2.jpg)
自己紹介
山地直彰
XRを中心に関西とかで活動してる関西のHoloLensの人
最近はHoloLens×UE4での開発もしてる
![Page 3: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/3.jpg)
最近やったホロ活
・HoloLens×UE4で作成したゲームがUE4ぷちコンで2位になる
・Osaka HoloLensミートアップvol2やりました
・HoloLensいじり始めてそろそろ一年
・Dell Visor及びWindowsMRモーションコントローラーを体験
・VR ZONE SHINJUKUでHoloLensを装備しながらコンテンツを体験してDXR
・Nagoya HoloLens Meetup vol1に参加して、ついでにLTもしてくる
![Page 4: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/4.jpg)
XRについて
主にAR/MR/VR等の総称として使用
広義的にはAR/MR/VR等のUXを支える技術等も含む?
略さずいうとXR(クロスリアリティ)のイメージ
ーーその他XR
USJのXRライド(GearVR+屋内ジェットコースター)
GDC2017でOpenXRという標準規格が発表(ARも含むVRの新しい規格)
UnityでもXRというワードが使われている
最近は普及してきた?
![Page 5: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/5.jpg)
XRミーティング(このイベント)について
・月1ぐらいでXRに関する情報交換、情報共有
・HoloLens体験やHoloアプリのお披露目、空間共有等実機を試せる
・XRと絡んでればわりと何でもあり
・XRについて興味がある人同士で交流
・発表等もゆるい感じ
![Page 6: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/6.jpg)
最近のHolo話題
・HoloLensのガッコウ
・Windows Mexed Reality SteamVR preview
・WindowsMixedRealityモーションコントローラーが開発者向けに発送される
・WindowsMixedRealityモーションコントローラーは単体でも買える模様
・WindowsMixedRealityHeadset一般販売開始
・Immersiveデバイス対応のUnity2017.2がリリース(MRTKも対応済み)
・競合デバイスのMeta2がようやく日本にも届き始めた模様
・富士通もWindowsMixedRealityデバイスを販売
・日本エイサーWindowsMixedReality向け開発コンテスト
・HoloLensの壊れ方報告
![Page 7: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/7.jpg)
ここから本題
![Page 8: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/8.jpg)
WindowsMR、UE4で開発できるの?
できなくはない
(Epic Games)公式では対応していないが、(Epic Games)非公式で(Microsoftの)公
式(の人)が対応しているものがある
UE4はソースコードが公開されており、ビルドも各自で行えるため、UWP向けの
出力機能を持った改造したエンジンのソースコードがある
UWP向けのデプロイ方法についてはここに書いてあります
![Page 9: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/9.jpg)
環境構築
1.GitHub上のUE4のソースコードにアクセスできるようにする
2.UWP用のUE4のGitHubにアクセスし、Clone or Download(WinMR用にブランチ
は「dev_MixedReality」を選択)
3.VisualStudioのセットアップを行い、従来GitHub経由のUE4と同じ手順で環境構
築(README.mdに手順は記載されています)
4.エンジンのビルドが完了すれば、UWP出力可能なUE4が使用できます
(基本的には自前でUE4をエンジンビルドするのと同じ)
![Page 10: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/10.jpg)
デプロイ方法
1.ビルドしたUE4を起動して、「UWP(x86-32bit)」をターゲットとして、パッケ
ージ化
2.ダイアログが出て、パッケージ化時の証明書関連の設定を求められます(デプロ
イするだけであればOKを選択し、次のメッセージボックスではいを選択でOK)
3.パッケージ化完了でappxファイルがパッケージデータの出力先に生成されます
4.デバイスポータル側からappxファイルをインストール
![Page 11: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/11.jpg)
「UWP(x86-32bit)」でパッケージ化
![Page 12: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/12.jpg)
証明書関連の設定
ストアに上げる場合は設定が必要だろうが、手元で実験する分には設定不要
ダイアログボックスは「OK」→メッセージボックスは「はい」
パッケージ化の終了直前に勝手にでてきます。
![Page 13: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/13.jpg)
appxファイルが出力される
通常通りビルドした際のデータが一式出力されている模様
![Page 14: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/14.jpg)
デバイスポータル経由でインストール
デバイスポータルのApp→Install App→App Packageで作成したappxファイルを
指定し、Deploy→Goボタン押下
![Page 15: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/15.jpg)
WindowsMR用のHMD対応用プラグイン
VirtualReality→MicrosoftWindowsMixedRealityHMDプラグインを使用すると3Dア
プリとして使用できるっぽい
(デフォルトで有効になってた)
![Page 16: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/16.jpg)
直面した問題点あれこれ
・WindowsMixedReality用の機能の使い方解らん
・動作が重いが最適化の最適解が不明
・一部動作で落ちる
・一部機能が正常に動いていない
あと中間ファイル含めてビルドしたエンジンデータが80GBほど容量持っていって辛かった
![Page 17: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/17.jpg)
WindowsMixedReality用の機能の使い方解らん
情報がほとんどない(基本はGitHub上のドキュメント)
日本語の情報はたぶん存在しない
コンポーネントもまだ謎のものあり
HoloLensのデバッグ実行やリモートでの実行的なことはできるのだろうか(VSか
らのデバッグ実行やUnityのHolographicEmulation的なもの)
![Page 18: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/18.jpg)
動作が重いが最適化の最適解が不明
いくつかモデルを表示していたらFPSが1桁になることも
モバイル向けの設定にはしたものの、HoloLens用の最適化としてこれでいいのか
不明
最終的に描画系の諸々をとにかく軽くなるように設定して、だいたい15~20FPS
で動くようにはなった
![Page 19: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/19.jpg)
一部動作で落ちる
一部プラグインを有効にしたらエンジンが落ちて何もできなくなった(途中で何故
か発生しなくなる)
一部関数(OpenLevel等)を実行した際に、実機でのみ落ちた
![Page 20: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/20.jpg)
一部機能が正常に動いていない
HoloLensの位置トラッキングが正常に動作していない(Immersiveは正常に動作)
音声認識のコンポーネントの内1つの終了処理が正常に動いていないっぽい
アプリの再開処理がおかしい(正常に再開できない)
![Page 21: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/21.jpg)
その他情報
・なんか途中でGitHubにWindowsMixedReality用のテンプレートが追加されてた
・音声入力はブループリントのみで使える
・VRプレビュー使用でWindowsMRHeadsetによるプレビューが使用できる(エンジンの拡張機能設定から拡大・縮小解像度で縮小するとちゃんと見えない)
・複合現実ポータル向けのデプロイもできた
・ブループリントからモーションコントローラーの入力が取れそう
・ジェスチャーはまだブループリントからはとれなさそう
・SpacialMappingもまだブループリントからは使えなさそう
![Page 22: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/22.jpg)
これらを踏まえたうえでも使った理由
・Blueprintが素晴らしい
・UE4で開発がしたい
・UnityよりUE4を使っている人と一緒に開発できる
・UE4でのリソースを使用できる
・UE4ぷちコンに応募するので、UE4である必要がある
![Page 23: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/23.jpg)
まだまだ対応中で問題もあるが、それでも使いたいのであれば、一緒に使いましょう!
![Page 24: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/24.jpg)
告知
Japan XR Fest vol.0
関西を中心にXR(AR/MR/VR)の開発に取り組む企業/個人による展示会(LT有)
日時:12/3(日) 10:00~19:00
会場:大阪イノベーションハブ(梅田)
![Page 25: Holo lens × ue4での開発について](https://reader034.vdocuments.site/reader034/viewer/2022042517/5a65c2b67f8b9aa4758b691b/html5/thumbnails/25.jpg)
以上!