Copyright © 2015 S-Core. Confidential and Proprietary.

Value Creator through Advanced Technology

ECP Group, S-Core박상은 프로 (edberg.bak@samsung.com)

AlphaGo – Technical Review

2016.03

1

신의한수 – AlphaGo vs. 이세돌, 제 1국

• 대부분의 해설자 曰 “신의 한수와같다.”

• 프로 기사 조차도 상상하기 힘든 수 아마도 학습 데이터 셋에 이런패턴은 없었을 것이다

질문.

알파고의힘은어디서왔는가?

2

Agenda

1. 기존의인공지능플레이어의방식 (AlphaGo의선배들은?)

2. 인간플레이어의바둑

3. AlphaGo의바둑

4. 이벤트와가십

이발표자료및세미나는 Nature의 AlphaGo 논문 [“Mastering the game Go with deep neural

networks and tree search”, David Silver, Aja Huang, etc…, Nature 529, 484-489 (28 January

2016)] 에근거하고있습니다. 특별히출처가명시되지않은이미지의출처는제가직접만들었거나혹은알파고논문에서발췌하였음을밝혀둡니다.

AlphaGo 논문은유료판매되는논문입니다. 관심이있으신분들은 Nature에서구입하여보시기바랍니다.

3

Exhaustive Key Search를쓰면? (1)I. Legacy AI Go Player

State of Now

a b c z… Possible Next Move

Subc Subz

Subtree of Possible

Following Moves

Exhaustive Key Search

최고점을 낼 수 있는 child node의 sequence를선택

Min-max Algorithm

(바둑과 같은 턴제 게임을 위한개선된 Exhaustive Key Search)

A

B C

D:

10

E:

-7

F:

9

G:

7

My Turn

Enemy Turn

My Turn

턴 교대를 고려한 최고점을 낼 수 있는 child를 선택 내 턴에서는 최선의 child, 상대 턴에는 최악의 child를선택

Simple EKS Min-max

4

Exhaustive Key Search를쓰면? (2)I. Legacy AI Go Player

• 바둑게임의복잡도complexity

• 일반적으로 EKS의복잡도는 𝑶 𝒃𝒅 로정의됨 (b : tree의폭, d : tree의깊이)

• 바둑에서는보통 𝒃, 𝒅 ≈ 𝟐𝟓𝟎, 𝟏𝟓𝟎 라고하며이에따른복잡도는 𝒃𝒅 ≈ 𝟓 × 𝟏𝟎𝟑𝟓𝟗

• Chess : 𝒃, 𝒅 ≈ 𝟑𝟓, 𝟖𝟎 , 𝒃𝒅 ≈ 𝟑 × 𝟏𝟎𝟏𝟐𝟑

• 바둑에서 EKS를사용하는것은적절치못함

• 체스도마찬가지 Deep Blue (1997)는 12수앞까지만내다봄

Image from http://thenewstack.io/google-ai-beats-human-champion-complex-game-ever-invented/

5

그러면써봄직한기존 AI 플레이어의접근방법은?I. Legacy AI Go Player

• 인간의스타일을학습해보면?

• 휴리스틱의형태로일부반영하기도함

• 룰이나네트워크로인간의스타일을표현하는데표현력의한계가있음잘사용하기힘듦

• 좀더현실적인접근방법은

• 게임트리에서유효하지않는부분을제거하고

• 게임트리의폭과깊이를계산이가능한수준까지줄여보기

6

전략들I. Legacy AI Go Player

• 깊이를줄이는전략

• 만약바둑판의판세를바로평가할수있다면?

• 승패를확정적으로확인할수있는상태이후로는더이상 child의시퀀스를찾아다닐필요가없음

• 체스Chess, 체커Checker, 오델로Othello와같은게임에좋은결과를보임

• 바둑에적용하면?

• 게임의초반에상태를평가하기가너무모호함

• 심지어알파고조차도판세예측의정확도가 77%에머뭄

• 폭을줄이는전략

• Alphabeta 가지치기전략

• Min-max 알고리즘의 max phase에 Alpha 가지치기, min phase에 Beta 가지치기를하는전략

• 게임의결과를쉽게계산할수있는경우에유용함 (역시바둑은……)

• 몬테카를로트리검색Monte Carlo Tree Search (MCTS)

• 바둑과같은예측하기힘든게임을위한검색방법

• 수많은무작위선택지를사용하여수많은무작위시뮬레이션의결과로부터예측

• 백가몬Backgammon이나스크레블Scrabble과같은게임에좋은결과를보임

• 바둑에적용해보면약한아마추어정도의기력을구현할수있음

7

몬테카를로방법과몬테카를로롤아웃I. Legacy AI Go Player

• 몬테카를로방법

• 통계물리학에서흔히쓰이는방법론

• 통계적모델에서는, 많은무작위선택으로자연의특성을잘설명할수있음

• 예제 : 𝜋계산하기

• 몬테카를로롤아웃과몬테카를로트리검색

• 트리검색에몬테카를로방법을적용하기위한작업

• 몬테카를로롤아웃 : 전체트리에서무작위로끝까지골라낸하나의무작위시퀀스 Ex> 로또숫자6개를무작위로고른각각

• 몬테카를로트리검색 : 수많은몬테카를로롤아웃을시뮬레이션

• 몬테카를로트리검색의기본아이디어

• 시뮬레이션을통해몬테카를로롤아웃중최고를선택

from wikipedia

𝜋 ≈# 𝑜𝑓 𝑟𝑒𝑑 𝑝𝑜𝑖𝑛𝑡𝑠

# 𝑜𝑓 𝑡𝑜𝑡𝑎𝑙 𝑝𝑜𝑖𝑛𝑡𝑠 × 4

8

몬테카를로트리검색 (1)I. Legacy AI Go Player

1. 선택Selection 2. 확장Expansion

3. 시뮬레이션Simulation 4. 역전파Backpropagation

Example of MTCS – from Wikipedia Monte Carlo tree search

선택과 시뮬레이션 단계에서 무작위로 샘플링함

k번의 시뮬레이션 이후, 문제에 맞는 평가 기준에 따라 가장 적당한 노드를 선택 (k가 충분히크면 시뮬레이션 결과는 최적값으로 수렴함)

9

몬테카를로트리검색 (2)I. Legacy AI Go Player

• MCTS 평가

• 이점

• 시뮬레이션을언제중단하더라도그때까지의결과중에서선택이가능

• 바둑과같이시간제한이있는게임에적당한방법

• 단점

• 무작위선택을활용한방법으로임의성으로인한노이즈와오버헤드가발생

• 초반몇번의시뮬레이션결과로최종결과가쏠려버리는경향이있음

• 기존 AI 바둑프로그램은 (최신 AI 포함)

• MCTS를고성능으로구현하였음

• 최고의 AI 바둑프로그램인 Crazy Stone (MCTS 사용) 조차도아마추어 5~6단수준에머무르는데, 이는프로바둑기사 1段보다매우약한실력임

10

인간플레이어의바둑 (1)II. Human Player

• 바둑과건축의비교

설계기초공사

시공

마감 공사

준공 공사

건축 바둑

포석 : 영역의 설계

세력의 구축

사활 싸움 :

세력의 결정

계가 : 집을 세고 승패를 결정

11

인간플레이어의바둑 (2)II. Human Player

• 사람이바둑을둘때의 3가지주요키워드

• 정석 : “바둑의교과서”

• 수천년바둑역사를통해서만들어진진형과패턴

• 바둑게임진행의청사진

• 바둑인간데이터그자체

• 수순 : “돌을놓아가는순서”

• 살아있는집을만들기위해서, 수순을통해튼튼한울타리를만들어야함

• 상대방이내계획을방대하므로, 이를무력화시키는수순이매우중요

• 절차의합리성

• 연결 : 어떤지점의주위지점과의관계 (내돌, 상대돌모두포함)

• 바둑에서는돌하나는의미가없음

• 돌간의연결만이의미를지님

• 제한된시간안에인간플레이어를이기기위해서는

• 인간플레이어의방식을휴리스틱의형태로받아들이거나

• 인간플레이어를뛰어넘는우월한전략을만들어내야함

12

AlphaGo의전략III. AlphaGo

• 정석을반영하기위해서인간플레이데이터로학습한신경망을사용

• 정확도와검색비용양측면의효율성을달성

• 성격이다른네트워크의조합을통한인간플레이를뛰어넘는영리한신경망을창조

• 수순을반영하기위해서튜닝한몬테카를로트리검색을사용

• 탐색(Traverse)에페널티를도입하여인간데이터에속박받지않는유연함을획득

• 거듭된인간데이터왜곡을통해 AlphaGo 그녀만의기풍과합리성을확보

• 연결을반영하기위해서딥러닝 – 컨볼루션convolutional filtering – 을사용

• Deep Neural Network using CNN

13

AlphaGo의신경망들 (1)III. AlphaGo

• 학습데이터셋

• 기존의인공지능바둑프로그램은과거인간데이터를거의사용하지않음

• AlphaGo는 KGS Go Server의 3000만개의바둑 position data를사용

• KGS 평가기준 6단에서 9단데이터

• 프로기사의실력에못미치는아마추어들의데이터 (프로초段 >> 아마고단)

• (현재판의모양, 다음수)의페어데이터를각각입력과타겟값으로경기의승패와상관없이사용

• 4개의신경망

• 정책네트워크

• (인간데이터에) 충실한네트워크 - 𝒑𝝈

• 빠른네트워크 - 𝒑𝝅

• 시뮬레이션게임네트워크 - 𝒑𝝆

• 평가네트워크 - 𝒗𝜽

14

AlphaGo의신경망들 (2)III. AlphaGo

• 충실한네트워크 (𝒑𝝈)

• KGS Go Server에서 가져온인간데이터로부터직접학습

• 과거인간플레이데이터에가장충실한네트워크

• 48개의특징을 13개의컨볼루션레이어에서학습 (19X19X48 Tensor)

• 테스트데이터셋상에서 57%의예측정확도

• 빠른네트워크 (𝒑𝝅)

• 마찬가지로인간데이터로부터직접학습하지만

• 충실한네트워크보다네트워크구조도단순하고특징도단순화시킴

• 24.2%의정확도에머물지만훨씬빠름 : 다음수를예측하는데 2μ𝑠 (충실한네트워크 : 3𝑚𝑠)

• 시뮬레이션게임네트워크 (𝒑𝝆) : 강화학습

• 최종 𝒑𝝈와임의선택한중간단계의 𝒑𝝈간에싸움을붙여서새로운학습데이터를생성

• 인간데이터왜곡의시도합리적인노이즈를섞어과적합을방지

• 새로운학습데이터셋 : (현재판의모양, 게임종국의결과)를입력으로, 다음수를타겟값으로사용

• 게임종국의결과를학습단계에서 + 또는 – 피드백으로사용

• 𝒑𝝈를상대로 80%의승률을기록 : 강화학습의힘

• “정책네트워크” – 위의 3종의네트워크는다음수를두는정책을제시할수있음

15

AlphaGo의신경망들 (3)III. AlphaGo

• 평가네트워크 (𝒗𝜽)

• 현재바둑판의모양으로게임의최종결과를바로예측해내는네트워크

• 이어진수순을구성하지않고결과를바로예측한다는의미

• 2개의시뮬레이션게임네트워크간의모의시합을통해서새로운학습데이터셋을생성

• 새로운학습데이터셋 : 현재판의모양을입력으로, 게임의승패를타겟값으로사용

• 최종결과를단일한스칼라값으로만들기위해서탄젠트하이퍼볼릭Tangent Hyperbolic을 Activation Function으로사용

• 평가네트워크의예측과실제게임사이의오판단률 : 0.234

• 이 4종의네트워크를어떻게사용되는가?

• 튜닝된몬테카를로트리검색에사용함

16

요약 : AlphaGo의네트워크들III. AlphaGo

빠른 네트워크. 몬테카를로롤아웃을 생성하는데 사용

충실한 네트워크. 몬테카를로 트리 검색의확장 단계에서 확률 값을 계산하는데 사용

시뮬레이션 게임 네트워크. 평가 네트워크에사용할 학습 데이터셋을 생성하는데 사용

최종 𝑝𝜎 대 중간 𝑝𝜎 간의 게임 데이터를사용하여 게임 결과에 따라 +/-피드백으로 반영하면서 학습

KGS Go Server의 6단 ~ 9단게임의 판세 데이터

3000만개를 사용하여 학습

최종 𝒑𝝆 대 최종 𝒑𝝆간의

게임 데이터로 학습. 승률에 대한 회귀 분석

24.2% correct

prediction, 2μs57.0%, 3ms +80% Winning Rate for SL

Prediction GAP = 0.234

평가 네트워크. 현재판세를 평가하는데 사용

17

AlphaGo에사용된튜닝한몬테카를로트리검색III. AlphaGo

0. current status s

1. 선택 : Q(st, a)+u(st, a)를 최대로 만드는 시퀀스를 찾고 이 시퀀스 상에서 이 값이 최대인 노드를 선택 (u : 𝒑𝝈로구한 확률에 비례하고 탐색 시 방문 빈도에 반비례하는 보너스방문 빈도가 덜한 착수지점을시도해 보도록장려)

2. 확장 : 일반적인 MCTS가 무작위로 확장하는데 비해, AlphaGo는 확장 child를 𝒑𝝈의 판단에 의거하여 선택3. 평가 : 평가 네트워크(𝒗𝜽)의평가 V와 빠른 네트워크(𝒑𝝅)로만든 fast roll-out의승패 결과 Z를 가중치합 하여 평가

(λV+(1- λ)Z). Nature 논문에 사용된 가중치는 1:1, 즉 λ는 0.5

4. 역전파 : 평가 결과를 선택된 시퀀스의 각각의 Q에 반영 (Q는 과거 시뮬레이션 이력)

5. 가장 많이 방문된 노드를 다음 수로 선택 (많은 서브 프로세스의투표를 시뮬레이션)

Using 𝒑𝝈

Using 𝒗𝜽 which using data from 𝒑𝝆Using 𝒑𝝅 +

Using 𝒑𝝈

18

다음수의예측도 (Data from AlphaGo Paper)III. AlphaGo

a. 평가 네트워크 + 시뮬레이션 결과 b. 평가 네트워크 c. Fast Roll-out을사용한 시뮬레이션 결과d. 충실한 네트워크 e. MCTS 과정의 방문 빈도 (%) f. 다음 수

19

연결의반영 – 신경망내부 (CNN) (1)III. AlphaGo

• CNNConvolutional Neural Network : 이미지나동영상을위한딥러닝기법

• 주위이웃으로부터의정보를사용

• 바둑과 CNN

• 바둑판을흰색, 검은색, 중립색을가진 19X19 이미지로간주

• 현재판의돌간의연결성을추출해낼수있는유용한필터가존재할수있다.

필터와 서브샘플링을 반복하여 적용From http://deeplearning.net/tutorial/lenet.html

필터 예제 – 수직/수평 연결성을 찾아내기.

원 이미지의 2X2 서브윈도우를 필터와합성곱(Convoluition)하여그 결과를 사용from :

http://www.kdnuggets.com/2015/04/inside-

deep-learning-computer-vision-

convolutional-neural-networks.html

20

연결의반영 – 신경망내부 (CNN) (2)III. AlphaGo

19X19X48 Input Feature

경계 지역의 동일한 처리를 위해 가장자리에2줄의 비어있는 가상 착수지점을 추가

…

Convolution

19X19X192

Convolution Layer5X5의 Convolution

Filter 192개…

Convolution

19X19X192

Convolution Layer3X3의 Convolution

Filter (192)

총 13층의Convolution 레이어

정책네트워크(Softmax)

평가네트워크

다음 수를 결정하기위한 확률 분포

…

완전히 연결된 256

노드로 구성된 레이어

스칼라 값이 나오는Activation Function

(Tangent Hyperbolic)

# - 평가값

19X19X192

Convolution Layer

5x53x3

3x3

Architecture of AlphaGo Convolution Network

21

연결의반영 – 신경망내부 (CNN) (3)III. AlphaGo

• 필터를통해추출한지역적구조를사용 (연결을의미함)

• 13층의중간레이어를거치면서, 각각의레이어마다하나씩의가장자리정보를추가로받아들이게됨가까운연결구조는강하게, 먼연결구조는약하게반영

5X5의 지역 연결 구조에서추출한 특징

∗

3X3의 “잠재적“ 지역 연결구조에서 추출한 특징

∗

Feed Forward

22

CNN에사용된학습데이터셋의특징III. AlphaGo

• 19X19 판위의 11종, 총 49개의특징 (49 Planes)

돌의색깔 (3 Planes – Player / Opponent / Empty)

“1” (1 Plane, 상수값 1로채워짐)

현재턴 (8 Planes)

Liberties (8 Planes, 주위의빈자리의정보)

내가잡은돌의수(8 Planes)

상대가잡은돌의수 (8 Planes)

Liberties after move (8 Planes, 착수한경우의주위의빈자리의정보)

축성사여부 (1 Plane)

축탈출여부 (1 Plane)

착수가능여부 (1 Plane)

“0” (1 Plane, 상수값 0으로채워짐)

내가쥔돌의색 (1 Plane, 흑돌인경우상수 1로채워짐)

23

AlphaGo의핵심, 요약III. AlphaGo

1. Tuned-up

Monte Carlo Tree Search

Go Game Tree

MGS Go Server

30M Position Data

SL

SL

Fast Policy

Expansion Policy Generating

Game Data

(Semi-self-play)

Semi-Self-play

Position DataRL

Test Policy

(Strongest Policy)SL Value

For Tree Expansion

: Expansion Policy

Simulation

Termination

For the Simulation

: Fast PolicyEvaluation of this Move

: λSimulation Result + (1- λ )Value

Next Move

: Most Visited Node in Search

3. Deep Learning

using CNN

2. Learning Pipeline : Well-designed Learning Strategy

Generating

Game Data

(Self-play)

Self-play

(Position, Win/lose)

Data

완전히새로운것이라고는할수없지만,

기존과최신기술을혼합해매우잘사용한성과물

24

타임라인IV. Event and Gossips

2015. 10. 5 ~ 9

2016. 1. 27

2016. 3. 9 ~ 15

……

판후이 2段과의 시합 - 5:0, AlphaGo 승 1202 CPU, 187 GPU를 가지고 40개의쓰레드를 사용한 분산 AlphaGo Ver. 13

ELO Point : 3140

속기로 경기한 비공식 매치에서는 3:2로 AlphaGo 승

Nature 논문 발행엠바고로 감춰져 있던 판후이와의 시합 결과가 알려짐

Google Deepmind Challege – 이세돌 9段과의 경기 : 4:1, AlphaGo 승 1920 CPU, 280 GPU를 가지고 64개의쓰레드를 사용한 분산 AlphaGo Ver. 18

ELO Point : 4500 (4개의 돌을 깔아주고도 AlphaGo Ver. 13에 이길 수 있는 수준)

2016. 3. 13, 이세돌 프로가 AlphaGo를상대로 승리 (제 4국)

25

Paper at NatureIV. Event and Gossips

• “Mastering the game Go with deep neural networks and tree search”, David Silver, Aja

Huang, etc…, Nature 529, 484-489 (28 January 2016)

26

Data from the PaperIV. Event and Gossips

• Self-evaluation and Simulation Game

ELO 레이팅을 사용해 알파고와 다른 바둑 AI 등을비교

경쟁자들과의 시합 분산 AlphaGo는 비분산 AlphaGo의 77%의 승률,

나머지를 상대로는 전승을 거둠 비분산 AlphaGo는 PC4, ZN4, CS4를 상대로

각각 99%, 86%, 77%의 승률

27

Deepmind Challenge 예측 (시합이전)IV. Event and Gossips

• 나의예측과예측의근거

• Nature 논문을읽고내린판단

• AlphaGo는아마추어 6단 ~ 9단의데이터로학습했는데, 이데이터는프로기사들의기력에미치지못함

• AlphaGo는이런인간데이터로프로기사인판후이 2段을상대로승리 AlphaGo는학습데이터를뛰어넘는유연성을확보하였음

• 즉, 자체플레이와강화학습을통해서교사학습의한계를극복하였음

• 그래서 4:1로예상하였음

• 논문에사용된데이터(판후이와의대전)과이세돌과의시합사이의 5개월은모든인간을이길수있도록학습하는데충분한시간으로추측당시프로기사들의예측과정반대

• 그래서, 프로기사들은그녀를이기기힘들것이다

• 다만, 세계챔피언인이세돌정도라면, 4국정도진행한다음에는 AlphaGo 학습의문제점과AlphaGo Intelligence의약점을찾아낼지도모른다는추측

• 실제경기결과

• AlphaGo가 4:1로승리

• Demis Hassabis, Deepmind CEO는이세돌과시합한 AlphaGo가판후이전때보다훨씬강해졌다고밝힘

28

Deepmind Challenge, 제 4국 (1)IV. Event and Gossips

• 이세돌 9段이 180수만에불계승

• 제 78수 – 이대국최고의한수

78수이전에승리예측은 70%였으나이후점점낮아지기시작해서 87수에이르러서는승리예측이50% 아래로떨어짐 (Hassabis의트윗)

이는 78수는매우치명적인위치였음에도불구하고 MCTS에서탐사되지않은지점이라는뜻

AlphaGo의약점을찾는다면여기서찾아야하지않을까?

29

Deepmind Challenge, 제 4국 (2)IV. Event and Gossips

• 그래프 : 각수를두는데걸린시간

https://www.reddit.com/r/dataisbeautiful/comments/4a8336/lee_sedol_vs_alphago_4th_game_thinking_time_in/

• 경기후반의 AlphaGo의어이없는착수들

• 수평선효과?

• MCTS로계산해보니뭘해도묘수건악수건결과가별반차이가없어서생긴일로추측

30

마치며 – AlphaGo가보여준것IV. Event and Gossips

• 인간과인공지능사이의관계재설정의여지

• 인간은 AI를전문가시스템으로사용하기위해서인간지식을구축하는노력을경주해왔음

• AlphaGo는 symbol이나인간의직접적인입력을배제하면서도인간의지식을추출할수있는스마트한전략을보여줌

• 세상이복잡해질수록데이터는증가하고복잡해져가면서, 이데이터를효율적으로다룰능력은떨어져간다.

• 심지어인간지식의구축마저도기계지능의역할이되지않을까?

• 향후인간과 AI의적절한역할분담은어떻게될것인가를고민해봐야함

• 완전히새로운과정의합리성

• AlphaGo는예상하지못한수순으로인간을이김

• 이는인간이상상하지못했지만더효율적이고이성적인또다른합리적인과정이있음을의미

• 인간이이해할수없고받아드릴수없는기계지능에대한적절한자세는?

• 기계지능에수동적인인류의가능성도배제하지못함

31

Who Am I

About S-Core (에스코어)

에스코어는국/내외다양한사업, 고객사에기업혁신을견인하는 Business Professional Service를제공합니다.

Management Consulting Service + Software R&D Service = Digital Service

국/내외다양한산업, 고객사에 World Best Level 전문서비스를제공합니다.

http://www.s-core.co.kr/

About Me

S-Core Enterprise Common Platform Group, Pro

Big Data Architecture 및 Hadoop Eco-system 개발/구축

쉽고튼튼하고빠른빅데이터플랫폼 – SDP (S-Core Data Platform) Product Management

SDP : Cloudera와 Hotronworks의 Hadoop Platform과비교하여실시간분석에강점을가진 Hadoop Eco-system Platform