증강현실 ar, augmented reality
TRANSCRIPT
증강현실AR, Augmented Reality
정석희 본부장미니게이트
들어가며
SKT 증강현실 홍보 CF
최근 안드로이드 기반의 스마트폰 홍보에 열을 올리고 있
는 SKT가 만든 CF가 화제다. 배우 조진웅이“오브제 서비
스 무서운 거야. 속에 정보가 다 보이는…”이라며 이다희 몸
쪽으로 향하다가“안보이는구나”란 멘트 후 한 대 맞는 장
면이 그것이다. 안드로이드 오브제 서비스가 바로 증강현실
의 대표적인 어플리케이션이란 것을 아직 알지 못하는 사람
이 많은 것 같다. 오히려 속이 비치는 카메라 정도로 이해하
고 있는 사람도 적지 않은 것은 어쩌면 다소 생소한 개념 일
뿐 아니라 그 용어 자체부터가 언뜻 이해하기 어려운 면이
많기 때문일 것이다.
증강현실 이라는 기술 용어가 국내에서 대중적으로 알려
진 것은 극히 최근으로 대략 2009년 말 즈음이다. 아니 그보
다는 애플의 아이폰이 KT를 통해서 출시된 이후라고 하는
게, 해외에 비해 국내에서 늦게 알려진 이유를 설명하는 정
확한 표현일 것이다.
증강현실 이란
증강현실이란, 가상 현실(Virtual Reality)의 한 분야로 실제
환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재
하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법으로,“증
대, 확대”라는 의미를 담고 있는 증강(Augmentation) 이라
는 단어와 눈앞에 펼쳐진 실제 현실(Reality)이라는 단어가
합쳐진 합성어이다.
이 증강현실 기술은, 일반적으로 사용자가 가상의 세계에
몰입하게 되어 실제 환경을 볼 수 없게 되는 가상현실 기술
과는 달리, 실제 존재하는 환경을 카메라 또는 모니터를 통
해 보면서 실제 환경에 추가적으로 중첩된 가상의 정보(객
체)를 얻게 된다. 다시 말하면, 가상 현실은 현실 세계를 대
체하여 창조된 새로운 환경이지만, 증강현실은 현실 세계에
가상의 정보(객체)를 중첩함(Mixing)으로써 현실 세계를 보
충하여 사용자에게 보여 준다는 큰 차이점을 가지고 있다.
1968년 이반 서덜랜드가 개발한 HMD(Head Mounted
Display; 머리 부분에 장착해 유저의 눈앞에 직접 영상을 제
시할 수 있는 디스플레이 장치)를 그 초기 모델로 발전시킨
것을 시초로 하여 연구되기 시작하여, 1990년 Tom Caudell
이 보잉사의 작업자들에게 항공기의 전선을 조립하는 것을
돕기 위한 과정에서 증강 현실이란 용어가 최초로 등장하였
고, 이후 IT 기술과 접목을 통해 오늘날에 이르기까지 발전
하였다. 이러한 증강현실에 대한 보다 명확한 설명은“로널
드 아즈마(Ronald Azuma)의 증강 현실에 대한 정의”에 나타
나 있는데, 요약하자면 다음과 같다.
4 Semiconductor Insights
>>>>Market Trends
증강 현실의 조건
· 현실(Real-world elements)의 이미지와 가상의 이미지를 결합한 것
·실시간으로 인터랙션(interaction)이 가능한 것
·3차원의 공간 안에 놓인 것
증강현실 기술의 오늘과 내일
증강현실 기술은 가트너 그룹이 지난 2008년,“2010년부
터 2012년 사이의 미래를 이끌 10대 혁신 기술”로 선정하였
을 만큼 이미 해외에서 주목받고 있는 기술로 성장하고 있으
며, 주로 건축, 게임, 네비게이션 분야에서 활용되고 있다.
앞으로 교육 분야에서의 괄목할만한 성장이 기대된다.
증강현실 요소 기술
증강현실의 요소기술로는 마커 검출, 마커 정합, 트래킹,
3D 오브젝트 랜더링 등 여러 가지가 있다. 여러 가지 기술
중에서도 마커 검출 또는 특징 점 추출 및 트래킹 기술은 AR
시스템에 있어 가장 근본이 되는 중요한 기술이다. 이러한
마커 검출, 정합, 트래킹의 과정은 이미지의 실시간 프로세
싱에 의해 이루어지므로 카메라를 연결하여 데이터를 얻고
그것을 프로세싱하는 과정을 거쳐야 한다.
● 마커 검출 기술(Marker Detection Technology)
기준 좌표 역할을 하는 사각형의 마커를 인식하고 그 마커
를 기준점으로 하는 기술이다.
(참고 사이트 http://www.boffswana.com/news/?p=392)
이 사각형의 그림을 프린트하여 웹캠으로 비추면 그 위에 가상의 외계인이 나타난 것을 모니터를 통해 확인할 수 있다.
● 마커리스 트래킹(Markerless Tracking Technology)
보다 더 자연스러운 증강현실을 위해 마커가 없는 마커
리스 트래킹 분야가 있다. 특징 점 기반의 트래킹(Feature
based Tracking)이라고도 하는데 영상 내에서 특징 점들
을 추출하고 이 특징 점들을 기반으로 좌표 계를 추출해 낸
다. 특징 점을 이용하기 때문에 사용자가 정의한 특정 패턴
을 마커로 이용할 수도 있다. 증강현실 기술에 있어서 가
장 난이도 있고 점차 더 중요한 기술이 될 것으로 평가 받
고 있다.
이 증강현실 기술은 무엇보다도 카메라 기술의 발전의 필
요성이 요구되고 있는데, 눈속 컴퓨터와 같은 첨단 카메라
가 개발되어 상용화된다면 기술적 가치는 상상을 초월하게
될지도 모른다.
출처 :‘눈 속 컴퓨터’시대 온다… 렌즈 컴퓨터, 글래스 컴퓨터, 2009.4.29 팝뉴스
증강현실 적용 어플 실제 구현 방안
증강현실 어플리케이션을 만들 때 기본적으로 필요한 것
이 카메라로부터 획득한 비디오를 배경에 그려주는 것이다.
그 이후에 위의 이미지 프로세싱 작업들이 필요하게 된다.
데스크탑의 경우 OpenGL을 이용하여 glDrawPixels함수로
비디오 데이터를 그려주거나 텍스처 맵핑을 통하여 구현할
수 있다.
애플의 경우 SDK 3.1 부터는 아이폰의 카메라에 들어오는
비디오의 preview를 배경으로 하고 그 위에 다른 view를 올
려볼 수 있도록 하는 기능이 추가 되었다(이전 버전에서는
또 다른 방법으로 접근한다).
>>>>Market Trends
Jul.-Aug. 2010 5
6 Semiconductor Insights
>>>>Market Trends
상기와 같은 기본 이해를 바탕으로 조금 더 구체적인 실제
소스 이해로 들어가 보도록 하자.
UIImagePickerController가 가진 cameraOverlayView라는
property의 정의는 다음과 같다.
@property(nonatomic, retain)UIView *cameraOverlay-
View : The Custom view to display on top of the default
image picker interface.
사용법은 UIImagePickerController를 통해 모달뷰(Modal-
View)를 띄울 때 CameraOverlayView에 자신이 만든 view를
넣어주면 카메라 preview를 배경으로 자신이 만든 view가 떠
있는 것을 알 수 있다. 앞의 preview 데이터를 직접 얻어와서
프로세싱을 하는 과정을 할 수 없는 제약적인 방법이지만 이
방법을 응용하여 증강현실 응용을 만들 수 있다.
최근 앱스토어의 증강현실 응용앱(Layar, Wikitude, Pseu-
do-AR, 오피넷)들은 이러한 방식으로 만들어져 있다(솔직
히 현실적으로 그리고 공식적으로 이 방법밖에 없다. 앱스
토어에 올라가는 앱들은 공식적인 API만을 사용하여야 하
는 탓에…).
아래는 버튼의 IBAction에 구현한 코드이다.
// Add and image view on the video.
UIImage *image = [UIImage imageNamed:@"AR_
Rader.png"];
UIImageView *imgView = [[UIImageView alloc]
initWithImage:image];
imgView.bounds = CGRectMake(100, 100, 100, 100);
// initialization of UIImagePickerController.
UIImagePickerController *camera = [[UIImagePick-
erController alloc] init];
// Hide Apple's UI.
camera.sourceType = UIImagePickerController-
SourceTypeCamera;
camera.showsCameraControls = NO;
camera.navigationBarHidden = YES;
camera.toolbarHidden = YES;
camera.wantsFullScreenLayout = YES;
// Add the view to be overlaid.
camera.cameraOverlayView = imgView;
[imgView release];
[self presentModalViewController:camera
animated:YES];
상기에 예로 제시한 소스를 참고하면 앞에서 말한 이미지
프로세싱은 불가하나 GPS, 콤파스 기능을 이용하여 지리와
위치를 표현한 증강현실 응용 어플을 개발할 수 있다.
<방송미디어 관점에서 본 AR과 VR>
• 가상현실(VR)과 증강현실(AR) 비교
가상현실 사례 증강현실 사례
축구 경기 직전에 보여지는 선발 출전 선수들의 포지션
을 보여주는 화면으로 좌측은 순수한 그래픽 작업 결과
물로써 가상현실 사례이고, 우측은 카메라로 실제 촬영
된 축구 경기장 화면 상에 선수들의 포지션이 덧씌워 나
타나는 증강현실 사례이다.
• 요즘 유행하는 아바타와 가상현실은 어떤 관계일까?
아바타(avatar)는 분신(分身)·화신(化身)을 뜻하는 단어
로 또 다른 나를 실현한 것이라 볼 수 있다.
가상현실은 실제 현실을 반영하기 마련인데, 나(我)라는
존재에 대한 가상현실 상에서의 반영물이 아바타가 되
는 것이다. 아바타는 현실세계와 가상현실을 이어주는
매개체이며, 이를 통해 참여자는 자신이 가상현실에 소
속되어 있다고 느끼며, 또한 다른 참여자로 하여금 나를
인식하도록 하는 역할을 한다. 아바타는 어떠한 가상현
실이냐에 따라서 사람, 동물, 로보트 등 여러가지 형태
를 띄게 된다.
• 가상현실과 컴퓨터 그래픽스와의 관계는?
가상현실의 세계는 현실에 구애 받지 않고 상상의 세
계를 현실인 것처럼 만들어 내며 인체의 모든 감각 기관
(눈, 귀, 피부, 코, 입)이 인위적으로 창조된 세계에 몰입
됨으로써 자신이 바로 그곳에 있는 것처럼 느낄 수 있게
할 수 있는 창조된 세계이다. 가상현실 속에서 사람의 오
감을 구현하기 위해 현재 다양한 연구가 진행 중이다. 가
상현실을 만들어 내는 데에 가장 중요한 요소가 시각적
인 부분이며, 이를 위한 분야가 컴퓨터 그래픽스라고 볼
>>>>Market Trends
수 있다. 가상현실에서는 일반적인 컴퓨터 그래픽스와
는 달리 얼마나 짧은 시간 내에 실제 물리세계와 가까
운 3차원 영상을 생성할 수 있는지의 실시간성이 중요
한 요소가 된다. 이는 참여자의 행동이 발생하였을 때에
즉각적인 영상의 변화를 제공하지 않을 경우 몰입감이
저하되기 때문이다.
• 방송 제작에 가상현실을 종종 사용하는 이유는?
가상현실은 실제 존재하지 않는 것을 마치 존재하는 것
처럼 참여자로 하여금 느끼게 하는 것이다. 방송 프로그
램을 제작할 때에도 이와 같은 목적을 위해서 사용된다.
대표적인 예가‘역사 스페셜’과 같이 블루 스크린과 실
시간 컴퓨터 그래픽스를 사용하여 가상의 세트를 만들
어 내는 가상 스튜디오이다. 이 외에도‘TV 유치원 하
나둘셋’에 사용되었던‘팡팡’과 같은 가상 캐릭터 등이
있는데, 이를 통해 알 수 있듯이 가상현실을 방송에 사
용함으로써 현실적으로는 존재하지 않거나 제작이 힘든
사물을 만들어 내어 시청자로 하여금 이해를 증진시키
며 흥미를 유발한다. 특히, 선거방송, 일기예보와 같이
실시간으로 데이터를 보여줘야 하는 경우에도 가상현실
내에서 바로 보여줄 수 있으므로 효과적이다.
증강현실 App 사례
현재 가장 많은 증강현실 어플을 쉽게 만나볼 수 있는 곳
은 애플의 앱스토어를 꼽을 수 있다. 애플의 앱스토어에
서“AR”이라는 키워드로 검색해보면 이미 약 200여개 이상
의 어플이 등록되어 있고, 생활에 유용한 무료 어플도 꽤나
많이 제공되고 있어서 사용자들의 입소문을 타고 사용자수
가 급격히 늘고 있다. 그 중에서 필자가 종종 사용하는 AR
어플을 몇가지 소개하고자 한다.
(1) 스캔서치 (Scan Search)
• 개발·배포 업체 : 올라웍스
• 가격 : 무료
• 제공 정보 : 하늘을 비추면 날씨 정보가, 거리
를 비추면 각종 가게 정보들이, 책이나 음반 표지를 카메라
로 찍으면 해당 정보들이 뜬다. 지역 검색에서 스캔 검색까
지, 범용 증강현실 서비스로는 가장 폭넓은 기능을 자랑하는
국산 애플리케이션이다.
어플을 실행시키면 카메라를 통해서 촬영된 화면이 LCD
에 표시되면서, 주변의 가게 정보들이 표시되고, 이를 터치
하면 연락처 및 주소등의 정보가 추가 표시되는 데 이것이
증강현실에 기반한 기술이다.
(2) 쿡타운 (Qook Town)
• 개발·배포 업체 : KT
• 가격 : 무료
• 기능 : 사용자 위치 주변의 음식점, 병의원,
애플의 앱스토어에서“AR”이라는 키워드로 검색한 화면
스캔서치 초기 화면 사용자 주변 상가 검색
(증강현실)
김진명 작가 1026 책 표지를 핸드폰 카메라로 비추면서 화면 터치
카메라로 책표지를 스캐닝 후 최저가를 제공
최저가 화면을 터치하면 보다 상세한 검색 결과를 제공
Jul.-Aug. 2010 7
8 Semiconductor Insights
>>>>Market Trends
약국 및 11종 편의시설 관련 DB를 제공해 줄 뿐 아니라, 사
용자가 올린 이용후기 및 이벤트, 할인정보, 쿠폰 등의 부가
정보를 제공한다.
(3) 오피넷 (Opinet)
• 개발·배포 업체 : 미니게이트 & 한국석유공사
• 가격 : 무료
• 기능 : 한국석유공사(오피넷)가 보유한 주유
소 관련 정보를 근간으로 일일유가, 전국 지역별 유가, 최
근 유가추세, 주변 주유소 검색 등 운전자에게 유용한 정
보 제공된다. 사용자 위치에서 유가별, 거리별 주유소 조회
가 가능하다.
(4) 세카이카메라 (SekaiCamera)
• 개발·배포 업체 : Tonchidot Corporation
• 가격 : 무료
• 기능 : 사용자가 직접 등록한 코멘트 또는 사
진을 DB로 제공하는 색다른 증강현실 어플로,“에어태깅”
이라 불리는 메모 기능이 차별화 포인트다. 예를 들면 맛집
에 대한 사진, 평가 등을 직접 등록할 수 있고 덧글까지 올릴
수 있어서 일종의 아이폰 블로그라 할 수 있다. 단, 극히 주
관적인 정보들을 제공하다보니, 정보의 정확성이나 신뢰도
는 그다지 높지 않은 단점이 있다.
(5) 기타
이외에도 주변 부동산 물건의 매매가 및 전세가 정보를 제
공해 주는“부동산AR”, 가까운 지하철 위치를 알려주는“
지하철AR”, 스타벅스 매장, 맥도널드 매장, 대형마트의 위
치만을 간단하게 찾아주는“어디야” 가까운 약국 위치를 알
려 주는“arPharm” 등이 있다.
마치며
지금까지“증강현실”이라는 용어와 그 구현 사례들을 살
펴 보았는데, 아마도 가장 이해하기 어려운 것은“증강현
실”이라는 용어 자체이지 않을까 라는 생각이 든다(필자는
아직도 이 용어자체가 어렵다). 아이폰으로부터 대중화되기
시작한“증강현실” 기술이 적용된 어플은 안드로이드 기반
의 단말기 보급이 늘면서 그 개수가 앞으로 폭발적으로 늘
어날 것으로 기대된다. 어쩌면 멀지 않은 시간 내에 광고 시
장의 판도를 바꾸어 놓을 핵폭탄이 될지도 모른다는 생각
을 해본다.
【참고 웹사이트】
[1] 연세대학교 미디어시스템 랩 http://msl.yonsei.ac.kr/index.php/
Main/ARMarker
[2] 증강현실 게시판, http://opencv.co.kr
[3] Hit Lab의 오픈 소스 ARToolkit, http://www.hitl.washington.edu/
artoolkit/
[4] ARToolkit의 단점을 개량한 ARTag, http://www.artag.net
[5] 강일석PD의 기획노트 http://realtv.tistory.com
[6] 마커검출 기술 체험 http://www.boffswana.com/news/?p=392
[7] 위키백과 http://ko.wikipedia.org/
쿡타운 초기 화면 지역별 검색 아이폰 사용자 주변 업소 검색(증강현실)
오피넷 초기 화면 사용자 주변 주유소 검색(증강현실)
주유소 선택시 상세 정보 제공