NLP in SmartNewsHidemasa Oda

2015年9月3日@YANS第10回シンポジウム/七尾市

小田 秀匡（おだ ひでまさ） 東京大学理学部数学科 同数理科学研究科（修士, IPMU）

2013年4月 ～ 日本生命保険相互会社（AIAJ）

2014年4月 ～ スマートニュース株式会社

第９回 YANS @ 三浦市従業員：約２０人

Crowsnest → SmartEngine への移行

US 版の開発 ← 外部シグナルの国籍判定が急務

Ad の開発

記事分類の精度向上前回の発表内容（小田）

前回

US 版

Standard Ads Premium Movie Ads

Ad（広告）

第１０回 YANS @ 七尾市従業員：約４０人

SmartEngine：

Mircoservices 移行

Amazon の Managed Service を積極的に活用

記事の構造解析・意味解析

固有表現抽出（Named Entity Recognition）

内部シグナル（２次シグナル）の利用

今回の発表内容

Crawler Indexer

ArticleAnalysis

API Server

Social (Web, SNS)

SmartNews (App)

外部シグナル （１次シグナル）

内部シグナル （２次シグナル）

MircoservicesManaged Service

htmlhead

body

記事タイトル

記事テキスト

Thumbnail

Author

Pub Date

…

Article Textbag of words

→ カテゴリ分類 　（多クラス分類）

named entity recognition

→ 主題抽出

名詞

固有名詞

article articles

articles

named entities

named entities named entities

関連する主題の抽出

関連する記事の推薦

SmartKitchen オープン！daylight kitchen（渋谷区桜丘町）の全面的な協力により実現した SmartKithen は、渋谷桜丘のお店と同様、オーガニック食材をふんだんに使用した、おいしくて健康的なメニューを提供しています！

人材募集中半年で倍々に増えていく環境ではありますが、まだまだ人が足りない状況です。

NLP, ML, DS, … はもちろんのこと、インフラやアプリの開発者ももっと必要です。

昨年は、US 版、Ad（広告）などを発表しました。今年も目新しい機能を次々と実装していきます。