현실감 부족한 가상현실 눈여겨볼 해결 노력들 · 3 가상현실은 광의로는...

17LG Business Insight 2016 8 3116 LG Business Insight 2016 8 31

LGERI 리포트

올해 초 오큘러스, HTC Vive 출시와 함께 시작된 VR에 대한 관심은 리우 올림픽에서도 이어져 개막

식과 폐막식은 물론 주요 경기가 VR영상으로 중계되기도 했다. AR 기반의 포켓몬 고는 출시와 함께 엄

청난 인기를 끌고 있다. 가상현실을 체험하는 사용자는 점점 늘어나면서 기대감도 높아지는 반면 디스플

레이 해상도의 한계, 어지러움이나 발열과 같은 기술적인 문제들에 대한 불만의 목소리도 적지 않다.

몰입감 높고 불편하지 않은 가상현실이 구현되기 위해 극복해야 할 과제들의 상당부분은 컴퓨팅 파

워, 디스플레이 해상도, 반응 속도, 경량화 등과 같이 계속되는 성능 향상을 통해 극복될 수 있는 문제들

이다. 그러나 이와 같이 연속적이고 점진적인 발전만으로는 극복되기 어려운 문제, 혹은 기존의 방법과는

다른 방법의 시도가 필요한 과제들도 있다. 어지러움을 완전히 극복하기 위해서는 초점거리와 수렴거리의

불일치를 해결해야 하며 가상 세계와 현실 세계가 서로 어긋나지 않고 정교하게 맞물리기 위해서는 현실

공간과 현실에 존재하는 실물들에 대한 섬세한 인식과 이를 3D 가상 공간상에 재현할 수 있는 기술들이

필요하다. 구글, 마이크로소프트, 페이스북 등의 기업들이 가상현실에서의 차별화된 가치를 만들기 위해

경쟁하고 있다. 아직 불확실한 면이 많고, 해결과제도 남아있는 지금이 앞으로 펼쳐질 가상현실에서의 기

회들을 놓치지 않기 위해 준비할 적기일지도 모른다.■

현실감 부족한 가상현실눈여겨볼 해결 노력들

이우근 책임연구원 [email protected]

1. 가상현실에 대한 아쉬움과 기대

2. 눈여겨볼 시도들

3. 맺음말

LGERI 리포트

LG Business Insight 2016 8 31 1918 LG Business Insight 2016 8 31

가상현실을 체험하는

사용자가 늘어나며

기대감이 높아지고

있다.

”

“지난 7월 6일 호주, 뉴질랜드, 미국을 시작으로 출시된 포켓몬 고(PokémonGo)

는 출시 일주일여 만에 하루 사용자 수가 트위터를 추월하고 미국 모바일 게임 사용

자 기록을 갱신했다1. 전 세계 누적 다운로드 횟수가 4천만건을 넘고, 수익도 2억달

러에 이르는2 등 AR(Augmented Reality) 기반 콘텐츠의 문화적, 사회적 파급력을

보여주었다. 이로 인해 오큘러스나 소니PS VR과 같은 VR(Virtual Reality)기기 중

심으로 주목 받던 가상현실3 시장에서 AR을 수면위로 다시 떠올렸다. 올해 초 페이

스북 오큘러스와 HTC Vive 출시와 함께 시작된 VR에 대한 관심도 꾸준히 이어지

고 있다. 리우 올림픽 경기 실황과 인기 TV프로그램인 무한도전이 VR콘텐츠로 제

작되기도 하고, 다양한 VR기기를 즐길 수 있는 VR방이 생기면서 일반 소비자들이

별도로 VR기기를 구매하지 않더라도 가상현실을 쉽게 즐길 수 있게 되고 있다. 정

부에서도 9대 국가전략프로젝트에 VR과 AR을 포함시키는 등 경제의 새로운 성장

동력으로 주목하며 육성을 위한 환경 조성과 지원이 이어질 전망이다4.

1. 가상현실에 대한 아쉬움과 기대

가상현실을 수면위로 올린 오큘러스의 CTO인 존 카멕(John Carmack)은 둠

(Doom)과 퀘이크(Quake)를 개발한 프로그래머로 1인칭 슈팅 게임의 기초를 정립

했다고 평가 받고 있다. 소니 역시 게임 콘솔인 플레이스테이션으로 유명하다. 이

때문에 가상현실이 게임을 중심으로 전개되는 것이 그리 이상한 일은 아니다. 하지

만, 페이스북이 오큘러스를 인수하면서 차세대 소셜네트워크 플랫폼으로서 가상현

실의 가능성을 보았듯이 가상현실을 바라보는 시각은 크게 바뀌고 있다. 가상현실

이 단순히 모니터 화면으로 즐기던 1인칭 슈팅게임을 HMD(Head Mounted

Display)를 통해 몰입감만 높이는 정도라면 실감나는 게임을 즐기기 위한 하나의 액

세서리에 불과할 것이다. 그러나, 가상현실은 사용자로 하여금 몰입감을 높여주는

1　연합뉴스, ‘포켓몬 고 활동사용자수, 美서 트위터 추월…게임 최고기록 경신’, 2016.7.14

2　WSJ, ‘Pokémon Go’ Surged by Building Community, 2016.7.25; 전자신문, ‘포켓몬 고 글로벌 매출, 1개월간 2억달러 추산’, 2016.8.8

3　가상현실은 광의로는 현실환경에 가상 이미지를 더하는 증강현실(Augmented Reality, AR), 가상환경에 현실 이미지를 더하는 증강가

상(Augmented Virtuality, AV), 전체 환경 모두를 가상 이미지로 구성하는 가상환경(Virtual Environment)을 모두 포괄하는 개념으로 사

용되며, 협의로는 가상환경만을 포함한다. 본 원고에서는 광의의 의미로는 가상현실로 협의의 의미로는 VR로 적고자 한다.

4　이투데이, ‘2020년 ‘VRㆍAR 글로벌 플랫폼’ 5개 구축’, 2016.08.10; 디지털타임스, ‘자율주행차·AI·AR 등 9대 산업 집중 육성’,

2016.08.10

LGER

I 리포

트


아직 기대하는 만큼의

현실같은 가상현실을

당장 보여주기에는

한계가 있다.

”

“것 이상의 가치가 있으며, 이러한 가치를 페이스북을 비롯한 글로벌 기업들은 주목

하고 있다. 그 동안 인터넷과 TV를 통해 ‘보던’ 콘텐츠들을 다른 사람과 함께 ‘체험

하는’ 것으로 만들어나갈 잠재력을 가지고 있는 것이다. 과거 미디어나 스마트폰이

사용자의 삶을 어떻게 바꿨는지를 보더라도 그 파급력을 예상해볼 수 있는데, 사람

들은 책으로 읽거나 그림으로 보던 모습에서 이제는 화면 속 영상을 보고 들을 수

있게 되었다. 책으로 긴 시간 읽고 이해하는 대신 영상을 통해 직관적으로 받아들이

게 된 것이다. 그런 측면에서 가상현실은 현실과 같은 체험을 제공함으로써 과거의

변화 그 이상을 기대하게 한다. 가상현실이 보편화되면 “어제 올림픽 배구 경기 봤

어?”가 아닌 “어제 올림픽 배구 경기장 갔었어?”로 물어볼 것이다. 이 뿐 아니라, 친

구들을 만날때 카페나 레스토랑 등 같은 장소 대신 가상공간으로 약속을 잡게 될 수

도 있다.

하지만, AR과 VR 모두 기대하는 만큼 획기적인 무언가를 당장 보여주기에는 기

술적인 제약이 많은 것도 사실이다. AR은 구글 글래스 이후 부분부분 적용되고 있

기는 하지만, 소비자들이 다양한 용도로 체험할만한 기기는 아직 나오지 않은 상황

이고, VR은 “즐길 만한 게 제한적이다”, “착용이 너무 불편하고 어지럽다”, “발열이

심하다”, “디스플레이 화소가 보인다”는 등 불만의 목소리도 나오고 있다. 단기적으

로 이러한 불만을 해소하지 못한다면 가상현실의 현실화는 기대보다 시간이 좀 더

오래 걸릴 수도 있다. 하지만, 많은 기업들의 참여와 노력으로 ‘우리의 삶을 바꿀 기

술’로 한걸음씩 나아가고 있다.

(1) 디스플레이 해상도

스마트폰의 고도화와 함께 디스플레이의 해상도는 빠르게 향상 되어왔다. 레티나

디스플레이라는 말이 등장하기도 했고, 작은 사이즈임에도 불구하고 TV와 유사한

해상도의 스마트폰이 등장해왔다. 하지만, VR기기의 경우 디스플레이가 눈에 가깝

게 있을 뿐 아니라 렌즈를 통해 확대된 영상을 들여다보게 되면서 해상도 개선이 필

요하다는 목소리가 나오고 있다. 아무리 좋은 콘텐츠가 준비되어 있다고 하더라도

낮은 해상도로 인해 화면 자체에 대한 몰입감이 떨어진다면 가상현실로 고객을 사

LGERI 리포트


디스플레이 해상도의

향상과 영상 처리 기술을

통해 영상의 몰입감을

높일 것이다.

”

“로잡기는 시작부터 어려울 수 있다.

지금까지 디스플레이 해상도가 향상되어온 과정을 감안하면 디스플레이 해상도

가 눈이 인지하지 못할 만큼 발전하는 것은 기술적으로 충분히 가능할 것이다. 하지

만, 해상도와 함께 가격을 동시에 만족시키는 일이 단시간 내 쉽지 않을 수 있다. 디

스플레이 제조사 입장에서도 고해상도의 VR용 디스플레이가 필요하다는 것은 충분

히 이해하지만, 해상도를 높이면서 공정 난이도나 소재와 부품 변화에 따라 제작 비

용이 함께 높아지기 때문에 충분한 물량이 보장되어야만 적극적으로 참여할 가능성

이 높다. 결국, 합리적인 가격대를 맞추기 위해서는 충분한 물량이 이미 확보된 스

마트폰과 공용화될 필요가 있는 것이다. 현재도 이런 점을 고려하여 오큘러스, HTC

Vive, 소니 PS VR 기기의 경우도 스마트폰에 적용되는 디스플레이를 그대로 활용

하고 있다.

따라서, 단기적으로는 스마트폰 해상도와 같은 속도로 발전할 가능성이 높아 보

이며, QHD에서 UHD로의 향상은 충분히 기대할 만하다. 민감한 소비자들에게는

여전히 부분적으로 거슬릴 수도 있겠지만 자연스러운 영상 처리를 통해 극복해갈

것으로 보인다. 초고해상도 구현과 현재 디스플레이 방식에 따른 문제의 해결을 위

해 LCD나 OLED와 같은 기술 외에도 스마트 안경에 주로 적용되고 있는 마이크로

디스플레이 기술이나 소형 프로젝터 기술도 함께 검토될 전망이다.

(2) 어지러움과 발열 문제

기기에 따라서는 긴 시간을 사용하지 않더라도 어지러움을 느끼기도 하는데 그 이

유 중 하나는 고개를 돌리는 것과 같은 사용자의 움직임에 비해 화면이 느리게 반응

하기 때문이다. 오큘러스와 같은 VR전용 기기는 사용자의 움직임에 대해 반응하는

데까지 소요되는 지연시간(Latency)을 대부분의 사용자가 불편함을 느끼지 않는

20ms미만으로 맞춘 것으로 알려져 있지만, 스마트폰과 연계하는 경우는 이보다는

긴 것으로 보인다. VR전용기기라고 하더라도 예민한 사용자들은 어지러움을 느낄

수도 있어, 궁극적으로는 5ms 미만을 목표로 개발을 진행 중에 있다. 한편, 스마트

폰을 활용한 VR기기의 경우, 가장 많이 지적 받는 부분은 발열 문제이다. 발열 문제

LGER

I 리포

트


프로세서의

고도화를 통해

어지러움과 발열문제는

상당부분 극복될

것으로 보인다.

”

“는 생각보다 심각해서 사용 중에 경고 메시지를 받기도 하고, 경우에 따라서는 스마

트폰의 전원이 꺼지는 현상도 나타난다. 오큘러스와 같은 VR전용 기기의 경우에는

큰 문제가 나타나지 않는 점을 감안하면, 스마트폰에서 과부하가 걸렸다고 이해할

수 있다.

어지러움이나 발열 문제는 상당 부분 프로세서의 성능에 기인하고 있다. 스마트

폰의 경우 하나의 AP가 기존 PC의 CPU, GPU 역할을 동시에 수행하다보니 크기를

작게 하고 전력소모량을 낮추는 장점은 있지만 개별 성능은 PC보다는 떨어질 수 밖

에 없다. 특히 오큘러스나 HTC Vive가 추천하는 PC사양이 상당히 높은 편임을 감

안하면 스마트폰을 가지고 VR 콘텐츠를 제대로 즐기기는 쉽지 않을 것이라는 예상

이 가능하다. 당장 그래픽 처리 능력만 비교해 보더라도 초당 처리할 수 있는 영상

의 크기는 10배 이상 차이가 난다. 현재의 컴퓨팅 파워 수준에서 높은 화질의 3D

VR 콘텐츠를 제대로 즐기기 위해서는 PC기반의 VR기기를 사용해야 한다. 하지만,

GPU만 해도 30만원이 넘고 전체 PC가격이 200여만원이 된다면 가격에 대한 부담

감은 크다.

이에 대해 최근 가상현실에 특화된 CPU와 GPU가 개발되면서 가격이 하락할 수

있는 여지가 보인다. AMD, NVIDIA, 인텔 등 관련 기업들은 저마다 VR용 부품 개

발에 적극적인데, AMD는 CPU와 GPU를 하나로 일체화 시도를 하고 있고, 인텔이

나 NVIDIA는 자신들의 CPU, GPU가 적용된 기기를 직접 만들어 나오기도 했다.

이처럼 기존 PC 부품 기업들은 VR을 계기로 다시 한번 도약할 수 있는 기회로 인

식, 적극적으로 참여하면서 VR시장을 활성화할 것으로 보인다.

(3) 무게, 디자인 및 활용성

가상현실 기기는 대부분 HMD 형태이다. 이는 사용자의 움직임을 보다 정밀하게

감지하고, 몰입감 높은 이미지를 효율적으로 전달하기 위한 당연한 선택이기도 하

다. 그러나, 현재 모습은 크고 착용하기 불편할 뿐 아니라 경우에 따라서는 주변의

도움을 받아야 착용이 가능하기도 하다. 게다가 우스꽝스럽게 보이는 모습 때문에

평상시 착용하기에는 어려움이 있다. 하지만, 안경의 발전 모습을 생각해보면 가상

LGERI 리포트


무겁고 불편한 HMD

기기도 경량 소재 적용,

광학 기술의 발전으로

보다 가볍고 편리한

형태로 발전할

것이다.

”

“현실 기기도 고성능화, 경량화되며 상당한 발전을 해 갈 것이다. 최초의 안경의 모

습 역시 무겁고 불편하며 어색한 모습이었지만, 경량 소재나 광학 기술의 발전으로

현재는 가벼울 뿐만 아니라 선글라스와 같이 기능성과 패션아이템으로서의 만족을

동시에 주기도 한다. 그렇다면 HMD 형태의 기기 모습은 어떻게 변화해나갈까? 선

글라스와 같은 형태는 AR기기 형태로 MS(홀로렌즈)나 BMW에서도 제안한 바 있

다. 또한, 현재 적용되고 있는 OLED 디스플레이는 휘어지고 구부러지는 플렉시블

디스플레이, 그리고 상황에 따라 투명하거나 불투명하게 변화할 수 있도록 하는 가

변형의 디스플레이로의 진화가 가능하다. 당장은 구현되기 어렵겠지만 필요에 따

라 선글라스도 되고 VR이나 AR로도 전환 가능한 기기의 형태로도 발전해 갈 것으

로 보인다.

(4) 콘텐츠 부족

최근 360도 카메라가 등장하면서 VR 영상 제작이 단순해졌다. 모든 VR 콘텐츠를

360도 카메라로 만들어 갈 수는 없겠지만, 여행지에서 액션캠의 활용으로 상당한

몰입감을 제공하는 컨텐츠들이 쉽게 만들어지고 있다. 게다가 유튜브나 페이스북을

통한 공유도 가능해 이미 많은 360도 영상들을 쉽게 접할 수 있게 되었다. 따라서,

단기적으로는 360도 카메라만으로도 가치 제공이 가능한 분야를 중심으로 성장해

나갈 가능성이 높다. 뮤지컬이나 콘서트의 경우는 컴퓨터로 영상을 만들어 내는 것

보다는 360도 카메라를 통해서 촬영하는 것이 더 효율적이며, 이것만으로도 생동감

있는 영상 제공이 가능할 것으로 보인다.

그러나, 가상의 3차원 공간에서 이동 등 활동이 가능한 제대로 된 3D VR용 콘

텐츠는 기존 2D 이미지에 기반한 콘텐츠 대비 만만치 않은 제작 비용이 들어갈 수

밖에 없다. 현재로서는 주로 3D 게임, 테마파크, 시연용 등 제한된 범위에 머무르고

있다. 앞으로 이 부분에서 얼마나 양질의 콘텐츠가 저비용으로 간편하게 만들어지

느냐에 따라 VR 시장의 성장이 크게 좌우될 가능성이 있다.

LGER

I 리포

트


어지러움을 근본적으로

해결하기 위한 영상구현

방식의 변화가 시도되고

있다.

”

“2. 눈여겨볼 시도들

앞서 본 바와 같이 몰입감 높고 불편하지 않은 가상현실이 구현되기 위해 극복해야

할 과제들의 상당부분은 컴퓨팅 파워, 디스플레이 해상도, 반응 속도, 경량화 등과

같이 계속되는 성능 향상을 통해 극복될 수 있는 문제, 즉 얼마나 빨리 극복될 수 있

느냐는 시간 문제들이다. 그러나 이와 같이 연속적이고 점진적인 발전만으로는 극

복되기 어려운 문제, 혹은 기존의 방법과는 다른 방법의 시도, VR과 AR이 진정한

3D 가상공간으로 펼쳐지기 위해서 극복해야 할 과제들도 있다. 어지러움을 완전히

극복하기 위해서는 해상도와 반응속도 이상의 기술이 필요하며 가상 세계와 현실

세계가 서로 어긋나지 않고 정교하게 맞물리기 위해서는 현실 공간과 현실에 존재

하는 실물들에 대한 섬세한 인식과 이를 3D 가상 공간상에 재현할 수 있는 기술들

이 필요하다. 가상현실 세계로 더 가까이 가기 위해 시도되고 있는 주목해볼 변화들

을 살펴보자.

(1) 영상구현 방식의 변화 가능성

장시간 착용 시에 어지러움을 느끼는 이유 중 하나는 입체영상을 구현하는 방식에

서 기인한다. 당연한 말이지만 현실환경에서 사용자들은 모든 사물을 입체적으로

받아들인다. 원근 즉 3차원은 두 눈 사이의 거리(약 6.5cm)에서 받아들이는 서로 다

른 이미지가 하나로 보여지면서 인식되는데, 이 때

초점 거리(Focus Distance)와 수렴 거리(Vergence

Distance)가 일치한다. 하지만 대부분의 HMD에서

는 초점 거리는 눈과 디스플레이 사이의 거리로 고정

되어 있는데, 수렴 거리가 변화되며 어지러움을 유발

할 수 있다. 어지러움 문제는 이미 3D TV나 영화를

통해 경험한 바 있는데, 이를 극복하기 위해 디스플

레이를 구현하는 광학 기술의 패러다임 변화 가능성

이 엿보인다. 그 중 하나는 라이트 필드(Light Field)

디스플레이

실제 환경

수렴거리 ≠ 초첨 거리

초점거리

수렴거리

초점거리

수렴거리

수렴 거리 = 초점 거리

현재 HMD 기반 입체 영상

<그림 1> 원근(3차원)을 인식하는 방식의 차이

LGERI 리포트


기술이다. 이는 전기장(Electric Field)나 자기장(Magnetic Field)

과 같이 공간의 개념으로 빛을 인식하는데, 각각의 점에서 주변 사

물에서 반사되는 모든 빛을 인식하여, 평면정보가 아닌 공간정보

로 받아들인다. 아직 구현 방식과 기술이 구체적으로 알져지지 않

아 베일에 쌓여 있는 매직리프(Magic Leap)가 핵심 기술 중 하나로

소개하고 있는 기술이다. 라이트로(Lytro)라는 업체에서도 이 기술

을 활용하여 촬영 후 초점과 심도 조절이 가능한 카메라인 라이트로 일룸(Lytro

Illum)을 출시한 바 있고, 최근에는 VR용 카메라를 개발 중이다.

(2) 현실공간과 실물의 가상화

포켓몬 고의 경우, 각 지역의 지형과 랜드마크를 적절히 활용하고 있다. 수많은 사

용자들은 그 곳에서 카메라를 다양한 각도로 계속 비춰가면서 게임을 즐긴다. 카메

라로 바라보는 영상정보들이 축적된다면 어떻게 될까? 카메라나 센서를 통해 공간

에 대한 정보를 인식하고 이를 데이터화한다면, 스트리트뷰를 더욱 실감나게 바꿀

수도 있고 더 나아가 이를 그대로 VR 콘텐츠로도 활용할 수 있을 것이다. 지금은 속

초에 직접 가서 게임을 즐겨야 하지만, 충분히 데이터가 축적된다면 VR기기를 통해

호주나 미국으로 이동하며 즐길 수 있는 것이다.

MS의 홀로렌즈는 오큘러스나 HTC Vive 같은 HMD형태이지만 앞이 막혀있지

않고 투명하기 때문에 현실 환경을 배경으로 가상의 이미지를 홀로그램5 형태로 볼

수 있다. 개발자 버전의 기기가 $3,000 수준의 가격으로 이미 출시가 되어 있다. 직

접 체험하기에는 꽤나 비싼 수준이지만, 프리젠테이션을 통해 보여준 시연 영상에

서는 사용자의 움직임이나 위치는 물론이고 주변 공간의 모양이나 거리를 상당히

정확하게 인식하는 모습이었다. 이와 같은 기술이 더 발전하면 영화 아이언맨이나

마이너리티 리포트에서 나오던 것처럼 공중에 화면을 여러 개 띄워놓고 작업을 할

수도 있고, 킹스맨에서와 같은 가상 회의 모습도 가능할지 모른다. MS는 홀로렌즈

5　 MS의 홀로렌즈나 Magic Leap가 구현하는 홀로그램은 기존에 기술 개념으로 정의되어 오던 홀로그램과는 다른 방식이다.

공중에 입체 이미지를 띄워 사용자에게 보여준다는 측면에서 유사 홀로그램으로 구분되고 있다. 하지만, 이미 프로젝터와

거울을 활용한 홀로그램 콘서트도 홀로그램으로 받아들여지고 있어, MS의 홀로렌즈와 매직리프의 기술도 홀로그램으로

불러도 무방해 보인다.

매직리프의 AR 헤드셋 모식도와 현재 개발 중인 안경알 모습

(자료: Patent US20150016777, Wired)

LGER

I 리포

트


를 PC플랫폼인 윈도우 10과 연동하고 있다.

홀로그램과 유사한 접근을 하는 기업은 MS 외에도 앞서 라이트필

드 기술에서 소개되었던 스타트업인 매직리프(Magic Leap)가 있다.

학생들이 가상의 해마를 눈 앞에서 보고, 사무실에 태양계의 움직임

이 펼쳐지거나 실내 체육관 바닥에서 거대한 가상고래가 튀어나와 허

공으로 솟구치는 등 AR에 기반한 데모영상을 보여준 바 있다. 매직

리프는 비록 접할 수 있는 시제품이나 개발자 버전의 기기를 내놓지

는 않았지만, 상당한 기술력과 컨텐츠 제작 능력의 잠재력을 인정받고 있는 유니콘기

업이다. 구글, 알리바바, 퀄컴이 투자에 참여했고 그 밖에도 자신의 SF소설에서

‘Metaverse6’ 세계를 그려 가상현실 관련 SF 소설에서 선구자적 위치를 인정받고 있는

닐 스티븐슨(Neal Stephenson)이나 영화 ‘반지의 제왕’의 감독인 피터 잭슨(Peter

6　가공, 추상을 의미하는 meta와 현실세계를 의미하는 universe의 합성어

스스로 생각하고 나와 공감하는 아바타가 등장한다면

가상현실이 인공지능 기술과 결합

하면 어떤 모습이 될까? 이러한 상상

이 부분적으로 영화 ‘그녀(Her)’에서

보여진 바 있는데 아내와 별거 중인

주인공이 가상현실 속 운영체제인 ‘사

만다’와 특별한 애정을 느끼게 되는

과정을 그리고 있다. 처음 주인공은

책을 읽는다거나 연락처를 정리해주

는 업무 도우미로서 사만다의 능력에

놀라지만, 점차 자신의 입장에서 이야

기를 들어주고 공감해주며 위로해주는

모습에 마음을 열고 애정을 느끼게 된

다. 이러한 상상은 충분히 현실화될 가능성이 높다. 소니의 PS

VR과 함께 선보일 서머 레슨(Summer Lesson)은 비록 인공지

능이 결합되진 않았지만 가상현실 속 애인의 모습을 그려보고

자 하였다. 구글의 로크하이머 부사장도 인터뷰에서 안드로이드

의 인공지능 기술 도입이 머지 않음을 밝혔다1. 게임에서도 어느

정도 정해진 패턴을 익히고 나면 어렵지 않게 미션을 수행하고

지겨워지기 시작하고, 그러면서 컴퓨터와의 대결보다는 다른 사

용자간의 대결이 더욱 흥미를 느끼게 된다. 가상현실의 콘텐츠

1　Premium Chosun, “가상현실 기기의 부족한 점 ‘누가’가 채울 것”, 2016.7.10.

도 이러한 한계점에서는 자유로울 수

없기 때문에 인공지능과의 결합은 콘

텐츠 자체의 다양성과 현실감을 제공

할 것으로 보인다. 즉, 가상환경 속 상

황들이 나의 반응에 따라 변화하고, 진

화해나가는 모습을 보여줄 것이며, 이

는 더 높은 몰입감을 제공하게 될 것이

다. 이 때, 인공지능과 결합한 콘텐츠와

그렇지 않은 콘텐츠가 소비자에게 주는

가치의 격차는 더욱 벌어질 수 밖에 없

을 것이다.

트라우마 치료와 사회성을 높이는

데에도 VR기술이 이미 적용되고 있다. 하지만, 아직은 의사가

옆에서 환자의 반응을 지켜보면서 적절한 반응을 지시하며 환

경을 바꿔줘야 한다. 초기 치료에는 분명한 도움이 되지만, 실

제 생활과의 간극은 아직까지 존재할 수 밖에 없다. 하지만, 인

공지능이 접목되면 가상의 환경이나 인물들과의 관계를 통해서

심리치료 효과도 상당히 높아질 것이다. 결국, 가상현실 속 아

바타가 눈과 귀를 입을 가지고 있던 것에서 인공지능을 통해

말 그대로 머리와 뇌를 갖게 되어 VR 콘텐츠의 패러다임을 바

꿔놓을 것으로 기대된다.

반다이남코의 서머레슨(Summer Lesson) (자료: YouTube)

서머레슨은 아직 인공지능이 접목되진 않았다. 따라서, 경우의

수는 한정적이기 때문에 보여줄 수 있는 스토리 또한

제한적이다. 하지만, 인공지능과 결합된다면 가상 환경 속의

애인이 등장할 지 모른다.

영화 ‘킹스맨’에서의 가상회의 장면. 주인공 해리가 안경을 쓰면 홀로그

램 형상의 다른 동료들이 나타난다.

LGERI 리포트


구글과 인텔은 현실과

가상의 경계를 허무는

시도를 하고 있다.

”“

Jackson)도 함께 일하고 있어 현실공간에 현실같은 가상의 이미지를 만들어내며 AR

컨텐츠의 수준을 높일 것으로 기대되고 있다.

구글 프로젝트 탱고는 공간의 인식을 통해 AR을 고도화하는 한편 AR과 VR의

경계를 허무는 시도를 하고 있다. 올해 개발자 컨퍼런스를 통해서도 가상공간 속에

현실공간으로 가는 통로를 만들기도 하고, 현실 속에 가상의 괴물들이 등장하기도

뇌와 연결되는 시대 올 수 있을까

영화 매트릭스에서는 “느끼고 맛보고 냄새 맡고 보는 그런

것들을 실재라고 하는 거라면, 네가 말한 모든 것은 그저 뇌에

서 받아들인 전기 신호에 불과할지 모른다.”라는 대사가 나온

다. 우리가 느끼는 오감이라는 것이 일종의 전기 신호라고 한다

면 가상현실에서도 어떻게 뇌에 전기 신호를 전달하느냐가 궁

극적인 오감을 느끼도록 하는 최종 목표일지도 모른다. 단기적

으로는 대부분의 정보를 시각으로 받아들이고 있기 때문에 좀

더 생동감있고 리얼한 이미지 구현이 가상현실에 있어 목표가

될 수 밖에 없지만 모든 감각을 하드웨어로 구현하는 일 또한

매우 어려울 수 밖에 없다. 한 예로 촉감과 관련한 기술 역시

표면의 질감 차이를 제공하기 위해 정전기를 이용하거나 전기

신호에 따라 소재 특성이 변하는 신소재를 적용하는 등 다양한

방법들이 시도되고 있기도 하고, 52개의 다양한 자극을 줄 수

있는 VR용 수트가 개발되기도 했다1. 하지만 각각의 감각에 맞

는 소재나 자극을 모두 찾아내어 다 옆에 둘 수도 없는 일이다.

이런 가운데 뇌 과학은 어떻게 오감을 가상현실에서 구현해줄

수 있는가에 대한 실마리를 제공하고 있다. 우선 뇌에 대한 연

구는 미국 오바마 대통령도 ‘인류 최고의 도전 분야’라도 말할

만큼 세계 각국이 모두 주목하는 분야로 인간이 가지고 있는

신비로움과 잠재력을 알 수 있는 미지의 세계이다. 이 때문에

해결해야 할 과제도 많지만 가장 기대되는 분야이기도 하다. 뇌

를 연구함으로써 뇌질환의 극복과 같은 건강한 삶을 제공할 수

도 있고, 최근 각광받고 있는 인공지능 발전을 위한 단초를 제

공할 수도 있다. 특히, 가상현실과 관련이 높은 뇌공학은 뇌신

경계와 외부기기를 융합하는 연구가 주로 이루어지는데 터치나

웨어러블 기기와 같은 사람과 기계간의 인터페이스(Human-

Machine Interface, HMI)를 넘어 뇌와 기계간의 인터페이스

(Brain-Machine Interface, BMI)에 대한 연구가 활발히 진행

중이다. 원숭이 뇌의 운동 영역에 전극을 꽂아 스스로 특정 신

1　한국경제매거진, “확장성·플랫폼 선점 노린 ‘IT 거인들’ 격전장”, 2016.7.27

경세포를 조정하게 한 연구2 이후 뇌신경세포 신호를 이용해서

외부 보철기구를 조정할 수 있음을 밝혀내었고3 2008년 로봇

팔을 조정해서 먹이를 먹는 원숭이의 모습를 볼 수 있었다4. 이

후 2014년 브라질 월드컵 개막전에서는 하반신이 마비된 환자

가 생각으로 보조 로봇을 조정하여 걸어 나와 공을 차는 모습

을 선보여 전세계 국민들에게 감동과 희망의 메시지를 전달하

고 얼마전에는 BMI 기술과 로봇을 활용하여 뇌 척수마비 환자

의 감각을 살리는 실험이 성공하기도 했다5. 이렇듯 BMI는 개

념적인 기술에서 원숭이, 사람에게 까지 적용되며 빠르게 발전

하고 있다.

가상현실에 BMI가 접목된다면 어떻게 될까? 영화 속에서 벌

어지는 일들이 구현 가능할지도 모른다. 사용자는 여러 가상 속

공간과 현실 공간을 넘나들며 활동하고, 그 모든 체험들이 현실

에서 느끼는 것과 완전히 동일한 모습이 될 것이다. 가상현실을

다루고 있는 상당수의 영화나 SF만화는 뇌 신호를 읽어 들이고

자극할 수 있는 장치를 머리에 연결하고 있다. 이를 통해 현실에

서 느끼던 모든 감각들을 가상 공간에서 느끼게 되고, 때로는 사

고나 질병으로 움직이지 못하거나 느끼지 못하던 감각들이 살아

나기도 한다. 더 나아가 가상공간 속에서의 움직임을 통해 현실

에서의 로봇을 움직이기도 하며 로봇이 가상 공간 속의 아바타

처럼 또 다른 내가 되는 세상이다. 이러한 꿈 같은 이야기가 과

연 가능할까? 가상현실만을 위해서라면 발전하기 어려울 것에

틀림없다. 하지만, 인간의 생명을 연장하고, 장애를 극복하고 위

험에서 보호하려는 노력은 지속될 것이기 때문에 이에 기반하여

가상현실에서의 꿈 같은 일들이 이루어질지도 모른다.

2　Fetz EE (1969), Operant conditioning of cortical unit activity, Science 163, 955-

958, 1969

3　 Schmidt EM (1980), Single neuron recording from motor cortex as a possible

source of signals for control of external devices, Ann. Biomed. Eng. 8, 339-349.

4　조선일보, ‘생각대로 로봇 팔·다리 움직이는 시대가 성큼’, 2008.5.30

5　서울신문, ‘현실 된 아바타… VR·로봇으로 마비된 척수 감각 깨웠다’, 2016.8.13

LGER

I 리포

트


현실공간과 사물,

사용자를 인식하고

가상화한다면 하나의

플랫폼으로서

폭발적인 성장이

가능할 것이다.

”

“

하는 등 가상과 현실을 넘나드는 모습을 보여준 바 있다. 인텔도 개발자컨퍼런스를

통해 AR와 VR을 아우르는 융합현실(Merged Reality)를 소개하며 프로젝트 얼로이

(Alloy)를 공개했다. 얼로이는 VR 헤드셋이지만, 카메라 솔루션을 접목하여 사용자

앞의 실제 사물을 인식하여 가상 공간으로 가져오기도 하고, 콘트롤러가 아닌 손을

직접 이용한 조작이 가능하도록 하였다. 물론, 실제의 공간을 정확히 인식하고 이를

데이터베이스로 구축하는 일은 결코 쉽지만은 않다. 단순히 공간의 위치를 기억하

고 저장하는 것이 아닌 사용자의 맥락을 구분해야 하기 때문이다. 가령, 우리가 사

용하는 방을 생각해보면 청소하고 정리해서 깨끗이 정돈된 방의 모습이 있고, 옷이

나 책들로 어질러 수도 있고 어제 먹다 남은 과자 봉지나 음료수 캔 같은 쓰레기가

바닥에 놓여진 상태를 생각해볼 수 있다. 사용자에 입장에서는 분명히 같은 방이지

만, 이를 센서로 인식하면 서로 다른 환경이 된다. 결국 같은 공간의 여러 가지 상황

들이 개별적인 공간의 모습으로 인지될 수 있는 것이다. 이러한 문제를 얼마나 빠르

게 해결해 나갈 수 있느냐에 따라 현실과 가상의 어우러짐을 기대해 볼 수 있다.

3. 맺음말

포켓몬 고는 현실의 영상과 가상의 이미지를 조합함으로써 가상현실 혹은 증강현실

이 어떤 것일지, 얼마나 파워풀 할 것인지를 보여주었다. 포켓몬 고는 HMD나 구글

Virtuix Omni PrioVRNeurodigital

Tech. AvatarVR

Neurodigital Tech.

GloveoneManusVR Tobii

이동 방향, 속도 인식

상체, 팔 움직임 인식

상체 인식, 손가락 인식 및

햅틱 피드백

손가락 움직임 인식, 햅틱 피드백

손가락 움직임인식

눈(동공) 움직임 인식,

시선 추적

<그림 2> 입력 방식의 다양화

주 : 다양한 스타트업의 참여로 가상공간에서 움직임이 자유로워지고 있다. 몸의 움직임과 손의 세밀한 움직임을

감지할 뿐 아니라 햅틱 피드백을 통해 생동감을 더하고 있다.

자료 : 각사 홈페이지, roadtovr

LGERI 리포트


가상과 현실이

어울어지는 세상,

영화에서나 볼 수 있던

꿈같은 세상이 더 이상

불가능해 보이지

않는다.

”

“글라스와 같은 AR, VR 기기를 사용하지 않고 스마트 폰을 사용하는 게임으로 사람

들에게 폭발적인 관심과 인기를 끌고 있지만 만약 구글 글래스 정도의 가벼운 안경

을 끼고 포켓몬 고와 같은 게임을 할 수 있다면 완전히 새로운 게임의 세계가 펼쳐

질 것이다. 내가 앉아 있는 방의 벽을 뚫고 몬스터 들이 출몰하고 내 손에 들려진 가

상의 광선 검을 들고 그들과 싸울 수도 있다. 생일 날 아침 출근해보니 미국에 여행

가 있는 여자친구가 예쁜 꽃 한 송이를 내 책상 위에 올려 놓은 게 보일 수도 있다.

회의시간에 일본 지사에 있는 동료들이 같이 앉아 탁자 위에 띄워진 신제품 디자인

을 보여 토론을 벌인다. 점심시간에는 미국의 여자친구와 시내 백화점에서 만나 같

이 쇼핑을 할 수 있을 지 모른다. AR 안경을 쓴 백화점 점원들이 가상의 방문객인

우리를 알아보고 제품 소개를 하고 우리의 질문에 답하기도 한다. 결제 후 다시 현

실의 세계로 돌아와 업무를 보다가 파리에서 테러가 났다는 뉴스를 보고 테러 현장

을 방문 한다. 오후 외부 협력 회사 방문 뒤 카페에 들러 커피 마시면서 한숨 돌리며

가상의 모니터 띄워놓고 보고서를 마무리하고 퇴근해보니 점심 때 백화점에 구매한

제품 배달되어 있다. 저녁 후 가상의 세계에서 제2의 생활도 있다. 그곳에서는 땅도

제법 소유하고 있고 거대한 저택도 소유하고 있으며, 스웨덴에 사는 친구와 이웃간

이기도 하다. 취미와 관심사가 같아 자주 오고가는 사이다. 꿈 같은 세상, 영화에서

나 볼 수 있었던 세상이 불가능해 보이지 않고 멀지 않아 보인다. 가상현실, 증강현

실 등의 트렌드는 이런 세상으로 들어가는 길을 우리에게 만들어 줄 것이다. 그 길

로 들어가는 문턱에 와 있지만 문과 길이 반듯하고 시원하게 뚫려 있지는 않다.

가상현실이 통합 플랫폼으로 자리잡기 위해서는 가상 공간을 만들어가야 할 것

으로 보이며, 이를 위한 공간과 사용자를 인식하는 기술은 플랫폼 사업자에게 핵심

경쟁요소가 될 수 있다. 아울러 가상현실은 인공지능과 같은 신기술과의 융합으로

그 파급력을 더 키워갈 것이다. 몇몇 콘텐츠가 단기적으로 주목 받을 수 있겠지만,

결국은 가상현실만의 차별화된 가치를 누가 어떻게 만들어가느냐가 이 시장에서의

성패를 가를 것으로 보인다. 여기에 구글, 애플, 페이스북, MS 등 글로벌 기업들은

미래 유망한 영역에 대한 다양한 연구를 진행 중이며 융합을 통한 성장의 기회를 모

색하고 있다. 가상현실에서 특히 두드러지는 구글은 구글 글래스를 통해 AR의 미래

와 우려를 동시에 맛본 뒤 매직리프 투자, 카드보드 VR, 프로젝트 탱고와 데이드림

LGER

I 리포

트


사용자들이 컴퓨터나

인터넷을 통해서는

다양한 정보들은

‘보았다’고 기억한다면

가상현실을 통해서는

직접 ‘겪은 것’처럼

기억하게 될 것이다.

”

“(Day Dream)에 이르기까지 자신만의 방식으로 가상현실을 준비하고 있다. 포켓몬

고에서도 보았듯 앞으로도 일부 콘텐츠는 구글의 도움 없이는 즐길 수 없게 될 지도

모른다. 이러한 구글의 장악력 확대에 페이스북은 자신들의 소셜 플랫폼과 연계하

고자 하고, MS는 홀로렌즈 구현이 가능한 윈도우10을 통해 기존 PC기반 환경과의

통합에 공을 기울이고 있을 것이다.

지금까지 사용자들이 컴퓨터나 인터넷을 통해서는 다양한 정보들은 ‘보았다’고

기억한다면 가상현실을 통해서는 직접 ‘겪은 것’처럼 기억하게 된다고 한다. 우리는

TV를 통해 멋진 세느강의 풍경을 보면서 감탄하더라도, 이후에 체험으로 남아 있는

것은 내가 직접 걸어본 한강의 모습일 것이다. 이처럼 책을 읽고 영화나 TV를 보면

서 새로운 지식을 습득하기도 하고 이를 기억하지만, 가상현실은 이것들과는 비교

가 되지 않는 강력한 ‘체험’의 세계로 우리를 데려갈 것이다. 그런 가상현실의 세계

가 이제 막 시작되려고 하고 있다. 불확실한 면이 많고, 해결과제도 남아있다. 하지

만, 지금이 앞으로 펼쳐질 가상현실에서의 기회들을 놓치지 않기 위해 점검해보고

준비할 적기일지도 모른다.www.lgeri.com

현실감 부족한 가상현실 눈여겨볼 해결 노력들 · 3 가상현실은 광의로는...

Documents