[기고] 빅데이터와 소셜 분석

4
스마트폰의 대중화로 사람들은 때와 장소에 구애받 지 않고 인터넷에 접속할 수 있게 됐고, 이로 인해 소셜 네트워킹 서비스(SNS) 역시 모바일에 최적화된 사용자 경험을 제공하는 애플리케이션을 속속 선보였다. 지금은 소셜 분석의 시대 사람들은 이제 소위‘SNS를 품은 모바일’을 통해 자신의 경험 과 신변잡기는 물론, 정치적 신념과 자신이 좋아하거나 싫어하는 브랜드에 대해 거리낌 없이 이야기하고 있다. 그리고 이러한 이 야기들은 또 다른 누군가에 의해 공유되고 전파돼 사회 전반에 큰 영향력을 행사하고 있다. 상황이 이렇게 되자 SNS를 통해 유통되고 있는 사람들의 이 야기를 수집해 그 안에 담긴 메시지를 분석하려는 시도가 생겨 났다. 이것이 이른바 소셜 분석(Social Analytics)의 등장이다. 이러한 소셜 분석은 현재 TGIF(Twitter, Google, Iphone, Facebook)의 등장으로 날개를 단 SNS와 그 궤를 함께 하고 있다. <그림 1>은 구글 트렌드로 분석한 트위터, 페이스북, 소셜 분석 의 결과 화면이다. 구글 트렌드(www.google.com/trends/)는 쉽 게 말해 구글에서 해당 키워드에 대한 검색 횟수를 분석해서 제 공하는 서비스다. <그림 1>을 살펴보면 세계 최대 검색엔진을 이용해 전 세계인 들이 트위터와 페이스북을 검색하는 규모가 시기적으로 다소 차 이는 있지만 비슷한 추이를 보이는 것을 확인할 수 있다. 흥미로 운 사실은 소셜 분석의 검색결과가 트위터와 페이스북의 검색량 이 치솟은 2010년부터 함께 늘어났다는 것이다. 너무도 당연한 이야기이겠지만 SNS의 성장과 함께 소셜 분석 역시 각광받고 있다는 사실을 새삼 느끼게 해준다. 이러한 세계적 추세를 반영한 것인지 가트너는 올해 초 향후 몇 년 동안 사회, 문화, 정치, 경제 전반에 걸쳐 중요한 영향력을 미칠 IT 기술 중 하나로 차세대 분석(Next-Generation Analytics)을 꼽았다. 물론 소셜 분석 역시 가트너가 이야기한 차세대 분석에 중요한 부분을 차지하고 있다. 다시 말해 텍스트마이닝에 기반을 둔 자연어 처리 및 검색 기 술을 이용해 다양한 SNS 플랫폼에서 자발적으로 생성되고 있는 수십억 건의 메시지를 빠른 시간 내에 분석함으로써 사회 현상을 찾아내는 소셜 분석에 많은 이들이 열광하고 있는 것이다. 소셜 분석은 과연 무엇? 그렇다면 소셜 분석이 과연 무엇인지 좀더 자세히 짚고 넘어가 야 하겠다. 우선 정의를 내려 보자. 다음은 네이버 지식 사전이 정의하고 있는 소셜 분석이다. 130 maso 노진석 [email protected]|코난테크놀로지에서 소셜 분석 서비스‘펄 스K’의 마케팅 커뮤니케이션 업무를 담당하고 있다. 기업 및 공공기관에 소셜 분석 관점의 이슈 모니터링 및 오피니언 마이닝 관련 콘텐츠를 제공하고 있다. 지난 19대 국회의원 선거를 앞두고 재미있는 현상이 발견됐다. 대표적 선거 수혜주 중 하나로 꼽히던 제지업계 주가가 예전처럼 기를 펴지 못하고 있는 데 반해 포털 주가는 시장 평균 상승폭을 웃돌며 선거 특수를 만끽하고 있었다. 이는 출마 후보자들이 당락을 쥐고 있는 유권 자의 표심을 잡고자 온라인으로 대거 이동했기 때문으로 풀이된다. 이에 전단지와 명함으로 대표되는 기존 인쇄 매체에 대한 후보자들의 선호도가 하락했고 이것이 주가에도 영향을 준 것이다. 여러 사회현상과 동일하게 선거도 이제는 온라인의 영향력이 크게 미치고 있다는 것을 방증하는 대목이다. 빅데이터와 소셜 분석 빅데이터의 바다에서 ‘의미’를찾다 cover story 3

Upload: jinseok-ro

Post on 06-Dec-2014

4.208 views

Category:

Technology


5 download

DESCRIPTION

'빅데이터와 소셜 분석'이라는 주제로 월간 마이크로소프트웨어(http://www.imaso.co.kr) 8월호에 기고한 글입니다. 소셜 분석에 관한 전반적인 내용을 담고 있습니다.

TRANSCRIPT

Page 1: [기고] 빅데이터와 소셜 분석

스마트폰의대중화로사람들은때와장소에구애받

지않고인터넷에접속할수있게됐고, 이로인해소셜네트워킹

서비스(SNS) 역시모바일에최적화된사용자경험을제공하는

애플리케이션을속속선보 다.

지금은소셜분석의시대

사람들은이제소위‘SNS를품은모바일’을통해자신의경험

과신변잡기는물론, 정치적신념과자신이좋아하거나싫어하는

브랜드에대해거리낌없이이야기하고있다. 그리고이러한이

야기들은또다른누군가에의해공유되고전파돼사회전반에

큰 향력을행사하고있다.

상황이이렇게되자SNS를통해유통되고있는사람들의이

야기를수집해그안에담긴메시지를분석하려는시도가생겨

났다. 이것이이른바소셜분석(Social Analytics)의등장이다.

이러한 소셜 분석은 현재 TGIF(Twitter, Google, Iphone,

Facebook)의 등장으로 날개를 단 SNS와 그 궤를 함께 하고

있다.

<그림1>은구 트렌드로분석한트위터, 페이스북, 소셜분석

의결과화면이다. 구 트렌드(www.google.com/trends/)는쉽

게말해구 에서해당키워드에대한검색횟수를분석해서제

공하는서비스다.

<그림 1>을살펴보면세계최대검색엔진을이용해전세계인

들이트위터와페이스북을검색하는규모가시기적으로다소차

이는있지만비슷한추이를보이는것을확인할수있다. 흥미로

운사실은소셜분석의검색결과가트위터와페이스북의검색량

이치솟은 2010년부터함께늘어났다는것이다. 너무도당연한

이야기이겠지만 SNS의 성장과 함께 소셜 분석 역시 각광받고

있다는사실을새삼느끼게해준다.

이러한세계적추세를반 한것인지가트너는올해초향후

몇년동안사회, 문화, 정치, 경제전반에걸쳐중요한 향력을

미칠 IT 기술 중 하나로 차세대 분석(Next-Generation

Analytics)을 꼽았다. 물론 소셜 분석 역시 가트너가 이야기한

차세대분석에중요한부분을차지하고있다.

다시말해텍스트마이닝에기반을둔자연어처리및검색기

술을이용해다양한SNS 플랫폼에서자발적으로생성되고있는

수십억건의메시지를빠른시간내에분석함으로써사회현상을

찾아내는소셜분석에많은이들이열광하고있는것이다.

소셜분석은과연무엇?

그렇다면소셜분석이과연무엇인지좀더자세히짚고넘어가

야하겠다. 우선정의를내려보자. 다음은네이버지식사전이

정의하고있는소셜분석이다.

130 mm aa ss oo

노진석[email protected]|코난테크놀로지에서소셜분석서비스‘펄스K’의마케팅커뮤니케이션업무를담당하고있다. 기업및공공기관에소셜분석관점의이슈모니터링및오피니언마이닝관련콘텐츠를제공하고있다.

지난19대국회의원선거를앞두고재미있는현상이발견됐다. 대표적선거수혜주중하나로꼽히던제지업계주가가예전처럼기를펴지

못하고 있는 데 반해 포털 주가는 시장 평균 상승폭을 웃돌며 선거 특수를 만끽하고 있었다. 이는 출마 후보자들이 당락을 쥐고 있는 유권

자의 표심을 잡고자 온라인으로 대거 이동했기 때문으로 풀이된다. 이에 전단지와 명함으로 대표되는 기존 인쇄 매체에 대한 후보자들의

선호도가 하락했고 이것이 주가에도 향을 준 것이다. 여러 사회현상과 동일하게 선거도 이제는 온라인의 향력이 크게 미치고 있다는

것을방증하는대목이다.

빅데이터와소셜분석

빅데이터의바다에서‘의미’를찾다

c o v e r s t o r y 3

Page 2: [기고] 빅데이터와 소셜 분석

● 소셜 애널리틱스(Social Analytics)

트위터, 페이스북등소셜네트워크서비스에올라온방대한

메시지를신속하게분석하는기술. 사람의감정을나타내는단어

가나오면앞뒤문맥에따라긍정적혹은부정적인반응인지를

판단하고, 두단어이상을조합해걸러내는이른바텍스트분석

등을활용하는방법이다. 기업은 제품이출시된초기부터성공

가능여부를면 하게파악해비용을최소화하고판매량을극대

화할수있으며, 이에따라최근마케팅및위기관리수단으로급

부상하고있다.

소셜분석은말그대로 SNS 또는소셜미디어에서만들어진

메시지를분석하는기술을이용해사람이해석할수있는형태로

추출하는기술을말한다. 여기서주목할점은소셜분석의대상

이바로소셜미디어라는점이다.

소셜미디어는새로운미디어

그런점에서소셜미디어는돈을지불하고지면을사서광고할

수있는미디어(Paid media) 또는기업등이자체적으로구축한

홈페이지같은채널(Owned Media)과 성격이매우다르다. 소

셜미디어는자발적으로메시지가생성되고, 유통되며, 평판또

는이슈에의해특별한노력없이천금같은명성을가져다주는

이른바‘Earned Media’다.

소셜분석은블로그는물론트위터, 페이스북, 미투데이와같

은다양한소셜미디어를통해사람들이자발적으로나누고있는

이야기를수집, 해석함으로써진심이담긴메시지를얻고자하는

기술이다. 즉, 소셜 미디어에 담긴 발화자(發話子)의 진정성을

mm aa ss oo 131

<그림 1> 구 트렌드 분석 결과

●트위터

●페이스북

●소셜분석

Page 3: [기고] 빅데이터와 소셜 분석

찾아내새로운통찰력을제공한다.

소셜분석의워크플로우

소셜분석의기본워크플로우는메시지의수집및분석그리고

해석이다. 분석 대상이되는소셜미디어에서발생한메시지를

수집해이를색인한뒤분석결과를제공하는것이다.

수집에서색인과분석에이르는과정은검색엔진과유사하다.

구 이웹데이터를크롤링(Crawling)하고서버에차곡차곡저

장한뒤, 자체알고리즘에따라검색결과를사용자에게제공하

는 것처럼 말이다. 소셜 분석의 경우, 이 과정에 텍스트마이닝

(Text Mining)과감성분석(Sentiment Analysis)이더해진다.

소셜분석의기술요소

앞서언급한소셜분석에적용되는주요기술중텍스트마이닝

과감성분석에대해좀더알아보자.

텍스트마이닝

텍스트마이닝은말그대로텍스트에서의미를캐내는것을말

한다. 컴퓨터로문자가지닌의미와구조를분석하는자연어처

리(Natural Language Processing)기술의 일환이다. 텍스트마

이닝기술을이용해대규모텍스트가포함된웹문서에의미가

담긴단어와문장을추출해낼수있다.

소셜미디어에서유통되는언어는특히사람들이일상대화에

서쓰는구어체문장이주를이루기때문에이러한구어체문장

에서의미있는단어를얼마나잘추출하느냐는것이소셜분석

결과의품질을좌우하기도한다.

<그림 3>은 텍스트마이닝기술을이용해현재소셜미디어상

에서가장많이이야기되고있는단어를뽑아낸결과다. 이렇게

문장에서의미있는단어를추출해내는것이바로텍스트마이닝

기술의역할이다.

감성분석

위키피디아는감성분석을아래와같이설명하고있다.

”Sentiment analysis or opinion mining refers to the

application of natural language processing, computational

linguistics, and text analytics to identify and extract

subjective information in source materials.”

즉, 감성분석은소셜미디어에올린의견또는특정주제에대

한감상을자연어처리기술로긍정, 부정, 중립등의감성으로분

류하는기술이다.

소셜미디어가쏟아내는텍스트기반의방대한메시지, 즉빅

데이터를사람이이를일일이뒤져의미있는무엇인가를뽑아내

고, 메시지의호감도를분석하는작업은쉽지않은일이다. 그러

나메시지는고객의불만에서유권자의선호도까지캐내면캐낼

수록유용한정보를담고있기에마냥방치할수는없다. 이것이

바로감성분석이필요한이유다.

132 m a s o

빅데이터의 바다에서‘의미’를 찾다c o v e r s t o r y 3

<그림 2> 소셜 분석 구성도

(출처 : 펄스K)

<그림 3> 텍스트마이닝을 이용한 이슈 키워드 분석(출처 : 펄스K)

Page 4: [기고] 빅데이터와 소셜 분석

감성분석의기술수준

소셜분석의핵심역할을담당하고있는감성분석의기술수준

은어느정도일까? 한국어는 어에비해표현이다양하고중의

적의미를많이담고있어맥

락을 이해한 뒤 분석하는 것

이수월치않다. 이런점을감

안해분석의정확도를판단한

다면 업체마다 기술 수준의

차이는있지만현재 7~80%

수준의정확도를보이고있다

고추산하고있다.

컴퓨터가사람의말을온전

히익히는날이오면감성분석결과에관한정확도가100%에이

를수있겠지만현재까지는요원하다. 그러나이수준이라면대

규모텍스트에서는충분히유의미한결과를얻을수있다고업계

는보고있다.

소셜분석의국내현황

네이버에서소셜분석을키워드로사이트검색을하면53건의

사이트를찾아준다. 이를통해이분야에서활약하고있는업체

의수와그규모를가늠할수있다. 국내소셜분석시장은소셜

미디어의인기가치솟기이전부터온라인카페, 블로그를수집해

감성및연관단어를분석하는기업들과소셜분석에필요한기

술을보유하고있는검색솔루션기업으로양분돼있다.

여기에트위터가제공하는API를기반으로트위터계정및볼

륨에특화된서비스를구성한트위터전문분석기업들과소셜

네트워크 분석(Social Network Analyisis)을 표방하는 관계망

분석업체들까지진입한, 한마디로춘추전국시대의양상을보이

고있다.

특히여기에올림픽과대선을앞두고해외

소셜분석벤더는물론미디어, 통신사와심지

어홍보및광고대행사까지진출하고있는실

정이다. 시장성에대한기대만큼경쟁도치열

하기때문에소셜분석을제공하는기업들은

저마다다양한기술과차별점을제공하며시

장을넓혀가고있다.

정리하며

소셜분석은소셜미디어를통해자발적으

로생성되고전파되는진심이담긴메시지를

분석하는전혀새로운방식의리서치활동으

로볼수있다. 이미해외에서는그가능성을보고오라클, IBM,

세일즈포스, 어도비와같은대형솔루션벤더들이소셜분석업

체는물론관련마케팅대행사까지인수하며그들의포트폴리오

를확장해나가고있다.

국내역시올해올림픽과대선이라는굵직한이슈를앞두고있

는만큼소셜분석에대한관심이계속될것으로보인다. 소셜

분석의진화가어디까지계속될지켜보는것도무척흥미로울것

이다.

m a s o 133

<그림 4> 감성분석을 이용한 호감도 분석결과(출처 : 펄스K)

수집에서색인과분석에이르는과정은검색엔진과유사하다. 구 이웹데이터를크롤링(Crawling)하고서버에차곡차곡저장한뒤, 자체알고리즘에따라검색결과를사용자에게제공하는것처럼말이다.

소셜분석의경우, 이과정에텍스트마이닝(Text Mining)과감성분석(Sentiment Analysis)이더해진다.

<월간>마소는늘개발자의곁에서있습니다

1년후에도내용이살아있는잡지