Augur: Mining Human Behaviors from Fiction to Power Interactive Systems+ CHI 2016-Ethan Fast et al./ 이현정x 2016 Spring

저자는 ...

• Ethan Fast• Stanford Phd Student in CS• UVA 에서 CS 전공

Why Augur

What Augur Does

How Augur Does that

Where can Augur be Applied

How well does Augur Work

Why Augur

What Augur Does

How Augur Does that

Where can Augur be Applied

How well does Augur Work

우리의 소원은 ...

• the world in which computers understand the breath of human life• computers should understand the actions people take

-The Ubiquitous Computing Vision, Mark Weiser-

“The more you can do by intuition the smarter you are;

the computer should extend your unconscious”

하지만 아직까지는 ...

• Special case rules, single-use machine learning models 에 한정되어 있다 .• 그러나 아무리 똑똑한 개발자로 할지어도 모든 행동과 그에 대한 반응을 인코딩할 수는 없다 .

캘린더에 미팅이 잡혀 있으면 ,

전화가 울리지 않게 한다 .Apple’s Knowledge Navigator

친구와 점심을 먹고 있을 때일에 집중하고 있을 때

화장실을 이용할 때...

human activity 에 대한 knowledge base 가 필요이러한 행동들이 일어나는 상황에 대한 이해상황 - 행동의 관계에 대한 이해가 필요하다

연구의 의의

breadth 를 확보해야한다 .

하지만 아직까지는 ...

• Special case rules, single-use machine learning models 에 한정되어 있다 .• 그러나 아무리 똑똑한 개발자로 할지어도 모든 행동과 그에 대한 반응을 인코딩할 수는 없다 .

캘린더에 미팅이 잡혀 있으면 ,

전화가 울리지 않게 한다 .Apple’s Knowledge Navigator

친구와 점심을 먹고 있을 때일에 집중하고 있을 때

화장실을 이용할 때...

human activity 에 대한 knowledge base 가 필요이러한 행동들이 일어나는 상황에 대한 이해상황 - 행동의 관계에 대한 이해가 필요하다

연구의 의의

breadth 를 확보해야한다 .Database vs. Knowledge base : “KB 가 더 인공지능에 가깝”

far more complex, and require far greater computing capabilities, and essentially represent the attainment of artificial intelligence

Whereas databases are strictly useful for accessing information on a desired topic, knowledge bases go beyond that, and involve the extrapolation of data for processing into “knowledge,” in effect, concepts, theories, decision-making, etc. The software program, in other words, learns to “think.” It learns to process information into thoughts.

그래서 나는 ...

• Fictional human lives provide surprisingly accurate accounts of real human activities.

• 소설 속에서 사람들의 mundane patterns 에 대한 서술이 사실은 굉장히 많다 ! (아마추어라서 특히 )

“Modern Fiction” 을 활용 !!

(1.8 billion words, 18 억 단어… )

그리고 되게 열심히했다 ...

• 18 억 단어 분석• Augur 라고 하는 Knowledge-base 탄생• 3 가지 API 구성 (activity detection, object affordance, activity

prediction)• API 를 활용하여 Google Glass application 개발• Application Evaluation Test + Field Deployment 를 통한 검증• Stress-testing

스트레스 테스트 (stress testing) 는 주어진 시스템이나 실체의 안정성을 결정하기 위해 진행되는 면밀한 테스트이다 . 결과 관찰을 목적으로 이따금은 한계점에 이를 만큼의 일반적인 운용 능력을 넘어서는 테스트를 수반한다 . 이유는 다음을 포함한다 :

한계점이나 안전 이용 한계를 결정하기 위해의도된 규격이 충족하는지 확인하기 위해고장 원인을 결정하기 위해 ( 어떻게 시스템이 실패하는지 )표준 이용을 벗어난 시스템이나 그 일부의 안정적인 동작을 테스트하기 위해

Why Augur

What Augur Does

How Augur Does that

Where can Augur be Applied

How well does Augur Work

소설을 이용해서 뭘 만들었냐면 ... 예언가 (augur)...

소설을 이용해서 뭘 만들었냐면 ... 예언가 (augur)...

vector space model

smoothed co-occurence statistics

similar parser scripts

noun phraseverb phrase

자주 등장하는 np 와 vp는 ?

소설을 이용해서 뭘 만들었냐면 ... 예언가 (augur)...

vector space model

smoothed co-occurence statistics

similar parser scripts

noun phraseverb phrase

자주 등장하는 np 와 vp는 ?

Human Activities

• Augur 의 주된 기능은 “ human activity” 를 이해하는 것-> from vp that have human subjects ex. he opens the fridge, we turn off the lights

• co-occurence statistics 를 통해서 object 와 activity 를 관계지을 수 있음

post, block, accept, scroll feed…etc

Human Activities

• Augur 의 주된 기능은 “ human activity” 를 이해하는 것-> from vp that have human subjects ex. he opens the fridge, we turn off the lights

• co-occurence statistics 를 통해서 object+object 와 activity 를 관계지을 수 있음

+

Human Activities

• Augur 의 주된 기능은 “ human activity” 를 이해하는 것-> from vp that have human subjects ex. he opens the fridge, we turn off the lights

• co-occurence statistics 를 통해서 object+object 와 activity 를 관계지을 수 있음

+

일상적인 행동들에서부터 , 흥미로운 행동들까지• The abundance of objects in fiction allows us to make inferences for a large number of activities. • Augur relates 54,075 human activities to 13,843 objects and locations

• While the head of the distribution contributes many observed activities (e.g., extremely common activities like ask or open door)

• more significant portion lie in the bulk of the tail. These less common activities, like reply to text message or take shower, make up much of the average fictional human’s existence.

• Further out, as the tail diminishes, we find less frequent but still semantically interesting activities like throw out flowers or file bankruptcy.

Object Affordances

• 특정한 사물과 관련된 행동들을 파악-> subject-verb-object 문장에서 subject 혹은 direct object

• 사람들이 surroundings 에 어떻게 interact 할지에 대해 알려줌

Conncetion between activities

• 연달아 일어나는 행동에 대한 이해-> extracted activies that 근접하게 co-occur

• 특정 행동 다음행동이 무엇이 될지에 대한 예측이 가능하게 함

“order coffee”

“take selfie”

Why Augur

What Augur Does

How Augur Does that

Where can Augur be Applied

How well does Augur Work

Mining Activity Patterns from Text

• 600,000 개의 소설로부터 10 억개가 넘는 단어들을 indexing 하였음• speech tagger 와 lemmatizer 를 이용하여 normalize 하였음

-> tagger : “She wants to go for a run” vs “I run into the arms of the reviewer”-> lemmatizer: singular present tense form 으로 바꿔줌 soldiers->soldier

Activity-Object statistics

Object-affordance statistics

Activity-Activity statistics

Vector Space Modelmultiple terms 의 작용을 알 수 있도록 ...

Why Augur

What Augur Does

How Augur Does that

Where can Augur be Applied

How well does Augur Work

Identifying Activites

Automatic Meal Photographer

“eat food” 를 감지했을때 사진을 찍어라 !Better!

food 를 볼때마다 사진을 찍어라 ? -> 오류 많음

What are you currently doing? If Augur can answer this question, applications can potentially help you with that activity, or determine how to behave given the context around you.

Expanding Activites with Object Affordance

How can you interact with your environment? If Augur knows how you can manipulate your surroundings, it can help applications facilitate that interaction.

Blind User wants to sit

I want to sit -> Sittable object listing -> 그 object 들을 다시 detectI want to sit -> scan surrounding -> sittable object 제시

Predicting Future ActivitesWhat will you do next? If Augur can predict your next ac- tivity, applications can react in advance to better meet your needs in that situation

Ignore Call

“Open-space Design”: where the behaviors may be left open to the users to populate, and the designer’s goal is to design reactions that enable each of

these goals.

Discussion

object(+obejct) = activity (vision 처리 )지금 사용자는 뭘 하고 있을까요 ? (object>activity)

지금 사용자는 저 사물에게 어떻게 할까요 ? (object<activity)obejct = activity1, activity, activity3

앞으로 사용자는 어떻게 할까요 ?

timeopen space

closed space

context-aware model 들이 UX 방법론에 가져올 변화는 ?

어떤 질문을 던져야하는지가 어쩌면 더 중요

context-aware model 의 “검증”이란 영원히 vs. human 인가 ?

Augur: Mining Human Behaviors from Fiction to Power Interactive Systems+ CHI 2016-Ethan Fast et al./ 이현정x 2016 Spring

Thank You!