acando - maskinlæring og anskiktsgjennkjenning - høstseminaret 2017

Acceleration at heartStrategy in mind

CREATINGTOMORROW

TODAYEmbedded Software

and FPGA

FILM

2

3

ET AV NORDENS LEDENDE KONSULENTSELSKAP INNEN IT OG MANAGEMENT

350MNOKOmsetning 2016

2007Acando Norge grunnlagt 1997

5FORRETNINGSOMRÅDER

• Digital

• Application Development

• IT Management Consulting

• Management Consulting

• IIOT

Ansatte i Norge:1600

5LAND

Norge

Sverige

Tyskland

Finland

Latvia

250

MASKINLÆRING OG

BILDEANALYSE

HØSTSEMINARET 20174

ANALYTICS EXAMPLE: AMAZON RECOMMENDATIONS

7

…the customer is providedwith recommendations forsimilar products or accessories

A potential buyer isshopping on Amazon for asmartphone

through insights generatedfrom other users’ purchasingbehaviors…

…the buyer is provided withproduct recommendations forsimilar phones

A registered customer logsonto his/her Amazonaccount

Based on his/her previouspurchase history…

Customer analytics1

2

MEDIA ANALYTICS ECOSYSTEM

8

EKSEMPEL NRKBILDEGJENKJENNING

TALE TIL TEKST

9

WHAT IS IMAGE ANALYTICS?

• Extracting/extrapolating high-quality information and content from large quantities of text• Usually accomplished by statistical pattern learning, frequency distributions• Added value: automatic filtering by relevance, novelty, and/or interestingness

• Example tasks:− Document classification, document summarization− Text clustering− Keyword extraction− Concept/entity extraction− Sentiment analysis− Entity relation modeling, e.g. StoltenbergENT secretary-generalREL NATOENT

• Related concepts:− text mining, text data analytics, Natural Language Processing

10

WHAT IS ANALYTICS OF SOUND/SPEECH?

• Extracting/extrapolating high-quality information and meaning from large quantities of text• Usually accomplished by statistical pattern learning, frequency distributions• Added value: automatic filtering by relevance, novelty, and/or interestingness

• Example tasks:− Document classification, document summarization− Text clustering− Keyword extraction− Concept/entity extraction− Sentiment analysis− Entity relation modeling, e.g. StoltenbergENT secretary-generalREL NATOENT

• Related concepts:− text mining, text data analytics, Natural Language Processing

11

FACE DETECTION

• 1960s: Early unsuccessful attempts to find faces in a digital image.

• 1989: Kohonen demonstrates a neural network able to find faces which arescaled and normalized.

• 2001: Viola and Jones objectdetection framework. Fast and reliable face detection.

• 2017: Face detection is mainstream, and robust systems exists that can do face recognition in a variety ofapplications.

12

FACE DETECTION

• 1960s: Early unsuccessful attempts to find faces in a digital image.

• 1989: Kohonen demonstrates a neural network able to find faces which arescaled and normalized.

• 2001: Viola and Jones objectdetection framework. Fast and reliable face detection.

• 2017: Face detection is mainstream, and robust systems exists that can do face recognition in a variety ofapplications.

13

MICROSOFT COGNITIVE SERVICES: FACE API

Donald Trump (70 years):

[{'faceAttributes': {'age': 62.7,

'emotion': {'anger': 0.865,

'contempt': 0.0,

'disgust': 0.113,

'fear': 0.0,

'happiness': 0.0,

'neutral': 0.0,

'sadness': 0.0,

'surprise': 0.021},

'facialHair': {'beard': 0.1,

'moustache': 0.1,

'sideburns': 0.1},

'gender': 'male',

'glasses': 'NoGlasses',

'smile': 0.0}

14

TALE TIL TEKST

16

Effektiviseringsgevist overførbart tilannet ustrukturert materiale inkl. Tekst, Inkl. hente data ut av semistrukturert underlag

17

TRANSKRIBERING AV TALE TIL TEKST

en 38 år gammel mann som er siktet for drapetpå sin kone på Nesbyen vil ikke motsette segvaretektsfengsling tre barn som ble funnet drepti formiddag og det var ektemannens selv som var slutt politiet

igjen etterpå gammel mann som er siktet for drapetpå sin kone på nye spillere billig beklager men hansom er siktet for drapet på sin kone på nye spillerehvile ikke motsette seg varetektsfengslingtrebarnsmor ble funnet drept i formiddag ogektemann selv som varslet politiet

gammel mann som er siktet for drapet på sin kone på ikke motsette seg varetektsfengsling som ble funnet drept i formiddag og det selv som politiet

Google Speech Bing Speech

Kombinert

• Kommersielle API’er for norsk tale

• Kombinerer flere for bedring av resultat

RECENT CONTROVERSY IN ADVERTISING MEDIA

• Camera analyzing a face looking at the advertisement

• Analytics applied to detect age, sex, attention time, etc.

• Different products shown to different people.

19

ACTUAL USE-CASE: NRK

• Recognize the identity of every guest in a given TV show • Monitor the presence of each guest through the program

1. Detection of faces:Detect all visible faces throughout the TV program

2. Optical character recognition (OCR):Read information boxes from on-screen TV graphics and extract relevant text (name, affiliation)

3. Tagging of faces:Connect recognized text and identified face(s) in the actual scene.

4. Recognize faces:Predict identity of all faces not previously recognized through the whole TV program.

21

GJENKJENNING AV PERSONER I BILDER OG FILM

• Deteksjon av alle ansikter

• Trening av modell med kjente ansikter

• Gjenfinning av kjente ansikter i nye bilder og film

• Følge flere personer gjennom en hel TV-sending

23

• Trening av en generell bildegjenkjenner

• Benytter eksempler på objekter og finner dem i et bilde

• Deep learning med convolutional neural network

DETEKSJON AV ELEMENTER I ET BILDE

DETEKSJON AV TEKST I BILDER OG FILM

26

• Uthenting av tekstuelt innhold kan gjøres med stor nøyaktighet.

• Formattering kan også ivaretas med tilhørende logikk.

• Tekst kan analyseres, generere data/metadata m.m.

• I eksempelet til høyre kan man se hvilken tittel Anne Lise Kristensen hadde på tidspunktet opptaket ble gjort. Dette lagres som data om henne.

DETEKSJON AV TEKST I DOKUMENTER, BILDER OG FILM

27

• Uthenting av tekstuelt innhold kan gjøres med stor nøyaktighet.

• Formattering kan også ivaretas med tilhørende logikk.

• Skannete dokumenter, fotografier og bilder tatt med mobilkamera.

THE UNIVERSITY OF BRITISH COLUMBIA

TRANSCRIPT OF ACADEMIC RECORD

OFFICE OF THE REGISTRAR 2016 - 1874 East Mall VancouverB.C., Canada v6T 121 Page:

Student Number 5978 1989

Date of Birth: November XX , 19XX

Date Printed: May 26 , 1999

Issued to: XXX, XXX 2780-2 Fairview Crescent Vancouver, BC Canada v6T 2B9

Registrar NOTE: TRANSCRIPT VALID ONLY IF BEARING THE REGISTRAR's SIGNATURE THIS TRANSCRIPT IS PRINTED ON SECURE PAPER ON A BLUE BACKGROUND

Credit Credit Clas

End of Record

Course val Course Title Gr LGr stg Rec'd T Siz AvgBIOL 412 (3.0) PHYTOGEOGRAPHY 93A+ 3. 0 1 61 71

CONS 500 (4.0) SEM IN BIOL CONS 75B 4.0 1 16 84

FRST 495 (3.0) BIO DIV&FRST MGT. 74B 3.0 1 58 76

Verifisering og uttrekk av data fra dokumenter inkl. formelle dokumenter (f.eks. ifm. Søknad)

STUDIO PRESENCE IN THE TV-SHOW

28

Each guests presence in the program is mapped along a timeline.

I hjelper vi våre kunder med å bli digitale vinnere!Sammen med kunden utvikler vi innovative digitale løsninger,som sørger for at kunden styrker sin posisjon i markedet.

30

acando - maskinlæring og anskiktsgjennkjenning - høstseminaret 2017

Technology