홀로렌즈를 이용한 증강현실 육성 시뮬레이션...

Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology

Vol.7, No.11, November (2017), pp. 897-904

http://dx.doi.org/10.14257/ajmahs.2017.11.79

ISSN: 2383-5281 AJMAHS

Copyright ⓒ 2017 HSST 897

홀로렌즈를 이용한 증강현실 육성 시뮬레이션 개발

손범준1), 이은정2), 정홍규3), 이현아4), 박창훈5)

A Development of Augmented Reality Simulation Game

Using Hololens

Beomjun Son1), Eunjung Lee

2), Hongkyu Jung

3), Hyuna Lee

4),Changhoon Park

5)

요 약

기술의 발전으로 디지털 공간에서 현실과 유사한 사용자 경험이 보다 가능해지고 있다. 본 논문은

최신의 증강현실 기술을 이용하여 애완동물을 키우기 힘든 사람들을 위하여 애완동물 육성 시뮬레이

션 게임을 개발하고자 한다. 우리는 스마트폰 용으로 제작된 기존의 시뮬레이션 게임이 화면 크기와

상호작용 인터페이스의 제약으로 인하여 실제 애완동물을 키우는 것과 유사한 경험을 제공하지 못한

다고 생각한다. 본 논문은 이러한 한계를 극복하기 위하여 마이크로소프트의 Hololens를 이용하여 강

아지 키우기 시뮬레이션 게임을 제안하고자 한다. 제안하는 게임은 증강현실의 공간인식 기술을 이용

하여, 화면 안에 있던 강아지를 실제 공간으로 정합시킨다. 결국, 사용자는 가상의 강아지와 마치 같

은 공간에 공존하는 것과 같은 시각적 경험을 제공받는다. 또한, 가상의 강아지와 사용자 사이의 자

연스러운 상호작용을 구현하기 위하여 음성인식 기술을 이용한다. 즉, 사용자가 음성으로 강아지를

부르거나 명령을 하면 강아지가 이에 반응하도록 한다. 마지막으로, 인공지능 기술을 이용하여 가상

강아지가 주어진 공간의 특성을 고려하여 자율적으로 행동할 수 있도록 하였다.

핵심어 : 증강현실, 혼합현실, 홀로렌즈, 시뮬레이션, 가상 애완동물

Abstract

In recent years, with the development of technology, user experiences similar to reality in digital space

are becoming more possible. This paper aims to develop a pet breeding simulation game for people who

are not able to raise pets using the latest augmented reality technology. Conventional simulation games

Received (September 16, 2017), Review Result (September 29, 2017)

Accepted (October 16, 2017), Published (November 30, 2017)

131499 Dept. Game Engineering, Hoseo Univ., Baebang-eup, Asan-si, Chungcheongnam-do, Korea

email: [email protected] Dept. Game Engineering, Hoseo Univ., Baebang-eup, Asan-si, Chungcheongnam-do, Korea



email: [email protected](Corresponding Author) 31499 Dept. Game Engineering, Hoseo Univ., Baebang-eup, Asan-si,

Chungcheongnam-do, Korea

email: [email protected]


Using Hololens

Copyright ⓒ 2017 HSST898

designed for smart phones do not provide experience similar to raising real pets because of the limitation

of screen size and interaction interface. We think that existing simulation games made for smart phones do

not provide experience similar to growing real pets because of the limitation of screen size and interaction

interface. To overcome these limitations, this paper proposes a game of raising puppies using Hololens of

Microsoft Corporation. In other words, the proposed game uses the augmented reality space recognition

technology to draw the puppy in the screen to the actual space. Eventually, the user is presented with a

visual experience that coexists in the same space with a virtual dog. In addition, speech recognition

technology is used to realize a natural interaction between a virtual dog and a user. That is, when a user

calls or orders a puppy with a voice, the puppy reacts to it. Finally, using artificial intelligence technology,

virtual dogs can act autonomously considering the characteristics of given space.

Keywords : Augmented reality, Mixed reality, Hololens, Simulation, Virtal Pet

1. 서론

기술이 점차 발달해감에 따라 현실에서 하지 못했거나 힘들었던 일들을 가상공간에서 해결하고

구현해보고자 하는 노력이 계속해서 진행되고 있다. 이에 맞추어 증강현실 또한 시장이 커지면서

게임을 포함한 의료, 건축 등 다양한 분야에서 점점 광범위하게 활용되고 있다. [1][2]

최근에는 산업화와 가족 붕괴 현상이 가속화 되면서 느끼는 감정적 공백을 애완동물을 통해 치

유받길 원하는 사람들이 많이 늘어나고 있다. [3] 하지만 이와 더불어 버려져 죽거나 유기되어 떠

돌게 되는 애완동물 등과 같은 사회적 문제들도 점차 커져가고 있으며, 이로 인해 애완동물을 키

우는 것에 부담감을 느끼거나 현실적으로 어려워하는 경우 또한 많이 발생하고 있다. [4] 이와 같

은 문제를 해결하고자 디지털 공간에서 가상으로 애완동물을 키울 수 있는 Nintendo의 닌텐독스

등과 같은 애완동물 육성 게임들이 출시되어 가상이라는 공간에서 부담 없이 애완동물을 키울 수

있게 되었지만, 조그만 기기, 제한된 화면에서만 상호작용이 가능하다는 점은 사람들에게 충분한

만족감을 주기에는 어려움이 많았다.

본 논문은 조그만 화면으로 인한 상호작용의 어려움을 극복하기 위해 새롭게 개발된 증강현실

HMD 기기인 Microsoft의 Hololens를 활용하여 이를 극복하고자 한다. 우리는 스마트폰 용으로

제작된 기존의 시뮬레이션 게임이 화면 크기와 상호작용 인터페이스의 제약으로 인하여 실제 애완

동물을 키우는 것과 유사한 경험을 제공하지 못한다고 생각한다. 본 논문은 이러한 한계를 극복하

기 위하여 마이크로소프트의 Hololens를 이용하여 강아지 키우기 시뮬레이션 게임을 제안하고자

한다. 제안하는 게임은 증강현실의 공간인식 기술을 이용하여, 화면 안에 있던 강아지를 실제 공

간으로 정합시킨다. 결국, 사용자는 가상의 강아지와 마치 같은 공간에 공존하는 것과 같은 시각

적 경험을 제공받는다. 또한, 가상의 강아지와 사용자 사이의 자연스러운 상호작용을 구현하기 위

하여 음성인식 기술을 이용한다. 즉, 사용자가 음성으로 강아지를 부르거나 명령을 하면 강아지가

이에 반응하도록 한다. 마지막으로, 인공지능 기술을 이용하여 가상 강아지가 주어진 공간의 특성

을 고려하여 자율적으로 행동할 수 있도록 하였다.


Vol.7, No.11, November (2017)



2. 관련 연구

증강현실은 가상현실의 하나의 분야에서 파생된 기술로 현실세계와 가상의 체험을 결합하는 기

술을 의미한다[2]. 즉, 현실세계의 실시간 정보와 가상세계의 부가적인 정보를 합쳐 하나의 영상을

보여줌으로써 사용자가 가상의 물체와 상호작용하며 향상된 현실감을 줄 수 있고 자신이 위치해있

는 실제 환경을 인식함과 동시에 실제 영상 위에 표현된 가상의 정보를 인식함으로 가상현실에 비

해 더 뛰어난 현실감을 표현할 수 있다. 증강현실에서 가장 일반적으로 사용되는 디스플레이는

HMD(Head Mounted Device)로서 머리에 착용할 수 있는 형태와Non-HMD(Non-Head Mounted

Device)인 머리에 착용하지않는 형태로 분류된다.증강현실은 현실 영상과 가상의 그래픽을 접목하

여 보여주기때문에 정확한 영상을 얻기 위해서는 가상 객체들을 화면에서원하는 자리에 정확히 위

치시켜야 한다. 따라서 대부분의 증강현실 시스템은 주로 마커(marker) 인식을 이용해 상대적 좌

표를 축출하고 가상영상을 실제 영상에 합성한다.

이혜선은 컴퓨터 게임의 장점인 다양성과 사용자의 직접적인 체험적 몰입 효과를 높이기 위해

서 증강현실이라는 환경을 제공하여 수학교육 게임을 제시하였다. [6] 제안된 수학용 교육게임은 2

인용 게임으로 두 개의 숫자 수자위와 하나의 연산자 주사위를 가지고, 플레이어가 번갈아가며 주

사위를 던져서 셈을 한 후, 결과 값만큼 보드판의 숫자를 이용한다. 출발 지점에서 도착 지점까지

빨리 도착하는 사람이 승리하는 게임이다.

증강현실을 게임으로 게임을 구현하기 위하여 아래 그림과 같이 멀티마커 보드판, 플레이어 마

커, 숫자 마커, 그리고 연산자 마커를 이용하였다. 보드 마커는 15개의 멀티마커로 구성되며 보드

판이 플레이어 마커에 의하여 일부 가려지더라도 가상물체들을 증강하는데 문제가 발생하지 않도

록 하기 위함이다. 플레이어 마커, 숫자 마커, 연산자 마커는 독립적인 싱글마커를 사용하였다. 이

때, 연산자 마커와 숫자 마커는 주사위 개념을 사용하여 윗면만 인식하도록 하였다.

[그림 1] 증강현실 기반의 수학교육 게임

[Fig. 1] Mathematics education game based on augmented reality


Using Hololens


박종성은 증강현실 게임을 단순하고 빠르게 개발할 수 있도록 소프트웨어 프레임워크인 AR

Room을 제안하고 이를 기반으로 오목 게임을 구현하였다. [7] AR Room은 증강현실 게임에 특

화된 저작도구로서 기능별로 분리된 독립적인 컴포넌트를 적절히 사용하는 방식으로 증강현실 게

임의 빠른 프로토타이핑을 지원한다.

AR Room에서 제공하는 다음과 같으 4개의 영역으로 분류된다. 상호작용 처리 카테고리는 카메

라와 입력장치와 관련되고, 추적 카테고리는 증강현실 응용의 정확성과 안정성을 결정하는 중요한

기능으로 마커 추적과 모션 추적을 제공한다. 시나리오 관리 카테고리는 개발자나 응용 디자이너

가 명시하는 스토리를 자체 규격으로 정의한 스크립트 파일로 제작하도록 지원한다. 랜더링 카테

고리는 출력 표현에 대한 모든 기능을 포함한다.

[그림 2] 증강현실 오목게임 플레이 장면

[Fig. 2] Augmented Reality Omok Gameplay

박영숙은 학습에 증강현실 게임 시스템을 접목시킴으로서 게임이 단순한 놀이에 그치지 않고

학습자로 하여금 여러가지 교육적 목적과 재미를 거둘 수 있도록 기능성 게임(serious game)으로

설계한다. 교육적인 효과가 있는 전래동화를 선정하고 선정된 전래동화를 소재로 외국어 학습과

인성교육을 위한 AR콘텐츠를 제안한다. 전래동화는3D 콘텐츠 제작을 위해 6~8개의 씬(scene)으로

분량을구성하였고 각색하여 번역하였다. 더빙은 모국어로 사용하는 원어민 성우를 통해 표준발음

을 사용하여 더빙하였고, 효과음은 장면에 어울리도록 별도 제작하여 편집하였다[8].

아래 그림처럼 각 scene의 스마트 폰에서의 실행화면은 설정메뉴 버튼과 동화/종료버튼 마커인

식 대기버튼 재생/실행 버튼으로 구성하고 설정버튼을 클릭하면, 하부메뉴들을 선택할 수 있는 화

면이 생성된다. 이곳에서는 자막과 음성을 국가별로 선택할 수 있는 버튼과 가상환경을 확대하거

나 축소하거나 회전시켜볼 수 있는 버튼으로 구성하였다.

이전의 종이형태의 동화책이 평면 형태의 이미지를 벗어나지 못했다. 증강현실기술 적용 3D전

래동화 콘텐츠는 증강현실기술의 상호작용 성을 적용하여, 특정 버튼을 터치할 때마다 반응하도록

설정하여 양방향 학습과 놀이가 가능해진다. 또한 3D전래동화 콘텐츠는 어린 독자와 부모가 함께

참여하고 즐길 수 있도록 대중화시켰다.





[그림 3] 앱 화면 설계와 실행 화면

[Fig. 3] App Screen Design and Screen shoot

3. 증강현실 강아지 육성 시뮬레이션

3.1 시스템 구성

어플리케이션의 개발을 위하여 Unity3D 엔진을 사용하였다. Unity3D 엔진은 개발을 위한 다양

한 기능을 툴 내에서 쉽게 제공하며 어플리케이션의 테스트 및 디버그 작업이 빠르고 용이하다는

장점이 있다. 증강현실 기술 구현을 위하여 Hololens를 사용하였다. Hololens는 HMD 형태의 증

강현실 기기로 공간 특징점 추출 방식을 통해 주변 환경을 인식해 활용하는 특징이 있다. 손가락

을 이용한 제스처 입력과 음성 인식 기능을 기본으로 지원하며 Unity3D 플러그인을 지원한다.

3.2 주요 동작

3.2.1 강아지 자유행동 AI

강아지는 특정한 조건에 따라 다양한 행동을 무작위로 하며, 음성 명령을 통해 특정 행동을 하

도록 구현하였다. 강아지는 무작위 장소로 이동하거나, 소리 내어 짖기도 하며, 앉거나 눕는 등 다

양한 행동들을 자유롭게 한다. 강아지의 행동에는 다음과 같은 총 4가지의 상태와, 해당 상태 별

로 행동할 수 있는 활동들이 정해져 있다.


Using Hololens


[그림 4] 강아지 애니메이션의 종류

[Fig. 4] Kinds of Puppy animation

3.2.2 음성인식을 통한 명령 기능

강아지와의 상호작용을 더 강화하기 위해 홀로렌즈의 음성인식 시스템을 사용하였다. 음성을 통

해 직접 강아지의 이름을 지어주거나 특정 행동을 하게끔 명령을 내릴 수 있게 구현하였다. 강아

지를 처음 분양 받을 때 음성인식을 이용해 이름을 지어주게 되며, 강아지에게 명령하기 위해서는

지어준 이름을 먼저 불러주어야 한다. 이를 통해 의도치 않은 명령을 막는 동시에 강아지와의 상

호작용을 더 많이 할 수 있도록 하기 위함이다. [5] 강아지의 이름을 불러 준 뒤에, 정해진 음성을

통해 강아지에게 특정 행동을 하도록 명령을 내릴 수 있다. 명령은 총 5 가지가 존재하며, 해당

명령에 따른 행동은 다음의 표와 같다.

[표 1] 음성 명령 목록

[Table. 1] Voice command list

Sit down Stand up Come on Get out Lay down

앉아 일어서 이리와 저리가 누워

3.3 구현 결과

어플리케이션을 처음 구동 시 강아지를 먼저 분양 받아야 하며, 왼쪽 상단에 출력되어 있는 강

아지 분양 받기 버튼을 제스처로 클릭해 사용한다. 제스처를 통한 UI의 조작은 유니티 내에서 제

공되기에 그대로 사용해 제작하였으며, 분양 시 홀로렌즈의 음성 인식을 이용해 이름을 직접 설정

해 주어야 한다.





[그림 5] 어플리케이션 구동 사진

[Fig. 5] Application Screenshots

강아지에게 명령을 내리는 방식 또한 음성인식을 통해 강아지의 이름을 부른 뒤, 강아지가 해당

명령을 듣고 반응하면, 원하는 명령을 하도록 순서를 구분해 구현하였다. 직접 지어주는 이름 외에

도 puppy 또한 불러도 반응하도록 추가로 설정하였다.

UI의 다른 버튼을 통해 밥그릇이나 개집을 생성, 강아지가 밥을 먹거나 집에서 잘 수 있게 해줄

수 있으며, 떠나보내기 버튼을 통해 키우던 강아지를 삭제할 수 있도록 구성하였다. 이미지 내 화

면 중앙에 있는 텍스트는 음성 인식을 테스트하기 위한 용도로 임시로 설정하였다.

[그림 6] 음성 명령 부분 구동 사진

[Fig. 6] Screenshots of Voice Command System

4. 결론

본 논문에서는 증강현실 HMD 기기인 Hololens를 이용하여 강아지 키우기 시뮬레이션을 개발

하였다. 기존의 닌텐독스 등의 애완동물 키우기 어플리케이션들이 가지고 있던 문제점인 화면 내

에서 제한되었던 공간과 상호작용의 불편함을 Hololens의 음성 인식과 제스처 기능을 활용해 해결

하고자 하였다.

시뮬레이션에 현실성을 더 부여하기 위하여 방을 인식하여 이를 활용하는 부분을 추가하고, 강

아지와 상호작용할 수 있는 행동과 컨텐츠들을 추가하는 등의 후속 연구가 요구된다.


Using Hololens


References

[1] Lee Dong-Eun and Ham Ko-Wun, The Forecasting of Augmented Reality Service with Scenarios,

Humanities Contens (2010) March, Vol.17, pp.173-198.

[2] Kang-Hoon Lee, Sae-Hong Cho. "Implementation of Traditional Architectural Heritage Using Augmented

Reality." Journal of Korea Multimedia Society (2012) January, Vol.15, No.1, pp.131-139.

[3] Park Jeong-Ki, A Study on Legal Status of Animals, LAW REVIEW (2010) August, Vol.51, No.3,

pp.25-53.

[4] Ma Sang Jin, Educational Intrinsic Values of the ‘Fostering Companion Animal’ Lesson in Practical Arts

Subject, Journal of Korean Practical Arts Education (2004) March, Vol.17, No.1, pp.187-197.

[5] Ma Sang Jin, Pet Animal Ownership and Interaction of Elementary School Students, Journal of Korean

Practical Arts Education (2004) June, Vol.17, No.2, pp.191-208.

[6] Hye Sun Lee and Jong Weon Lee, Mathematics education game based on augmented reality, Korea HCI

Conference (2006), pp. 817~822.

[7] Jong-Seung Park, "Software Design Framework for Augmented Reality Games," Journal of The Korean

Society for Computer Game (2010), No. 22, pp. 59~67.

[8] Young-sook Park and Dea-woo Park, 3D Graphic Nursery Contents Developed by Mobile AR Technology,

Journal of the Korea Institute of Information and Communication Engineering (2016), Vol. 20, No. 11, pp.

2125~2130.

[9] Kyung-Hee Noh, Hyung-Keun Jee and Sukhyun Lim, Effect of Augmented Reality Contents Based

Instruction on Academic Achievement, Interest and Flow of Learning, JOURNAL OF THE KOREA

CONTENTS ASSOCIATION (2010), Vol. 10, No. 2, pp. 1-13.

[10] Kim jin-guk and Lee jong-weon, Augmented Reality Board Game Framework, Korea Contents Association

Conference (2010), Vol. 5, No. 1, pp. 639-643. 2007.

[11] Yong-Tae Won and Ha-Dong Kim, Augmented Reality Authoring Tool and Marine Life Culture Contents

for 3D Realistic Experience-Based Learning, JOURNAL OF THE KOREA CONTENTS

ASSOCIATION(2012), Vol. 12, No. 5, pp. 70-80.

[12] Yong-Tae Won, Malrey Lee, Hyo-Won Noh and Hoon-Sung Kwak, Development and Utilization of Ocean

Edutainment Games, Journal of The Korean Society for Computer Game(2008), No. 14, pp. 37-46.

[13] Lee Yeoun-Soo and Lee Mingu, Motivation for Energy Saving Through Interactive Serious Game with

Augmented Reality," KSDS Conference Proceeding(2017), pp. 269-269.

홀로렌즈를 이용한 증강현실 육성 시뮬레이션...

Documents