ikalog and deep learning (20161122 gdlcjp)

本スライド中に登場するスプラトゥーン関連画像は任天堂株式会社の著作物です。

2004|

2011

2011|

2014

2014|

SEサービス プリセールス @So+wareResearchAssociates,Inc.システム構築、客先のシステム運用、提案でキャリアをスタート→プリセールス〜PMを担当するインフラエンジニア

システムアーキテクト@TrigenceSemiconductor,Inc.エンベデッド開発支援からITシステム管理まで多岐に対応

セールスエンジニア@Fusion-io,Inc.高速半導体ストレージ ioDrive/ioMemoryシリーズのSEとして活動

様々なステージとルール

•  １６のステージ、４つのルール•  勝利に向けチームで立ち向かう

多様な楽しみ方

•  90以上のブキから好きなものを選んでプレイ

• 

• 

• 

NintendoWiiU＆ スプラトゥーン

{“kills”:5,“deaths”:1}

IkaLog

映像 解析結果

ログファイル出力

外部ツール連携

外部Webサイト連携

蓄積／出力先

HDMIキャプチャデバイス

IkaLog実行用PC

ARM搭載FPGAボード

12

https://stat.ink/

自分が倒されて行動不能だった時間

イカ（味方／敵　計８匹）の生死状況

チームのスペシャル発動、キル／デス

自分の塗り面積

https://stat.ink/

15

スプラトゥーンのブキ　５９種類（スライド作成当時）

• 

• 

• 

• 

他の装備品が被っている 保護色（まだマシ） 保護色（マジつらい）

WiiUの画面を取り込む

クラス分類したい部分の画像を抜き出す

特徴画像に変換（ラプラシアンフィルタ＆画像縮小）

sschooter_collabo（スプラシューターコラボ）

K近傍法でクラス分類

22

– 

– 

– 

– 

スクリーンでは視認しにくいが、ユーザーが様々な解像度の画像を送ってくる「現実」

26

オリジナルのブキ(longblaster)

カスタムバージョン(longblaster_custom)

更に追加（Apr2016）(longblaster_necro)

出力される特徴量に被りが発生ラプラシアンフィルタを用いた特徴量の算出自体を

見直す必要性が出てきた

longblaster_necro

longblaster_custom

longblaster

アップデートにより追加されたクラス

ゲーム終了時に表示される別の画面画面上に表示される「ギアパワー」画像を分類するKNNの問題点・「メイン」ギアパワーと「サブ」ギアパワーで　画像の大きさが異なる・ユーザー環境によって解像度が異なる・ブキ画像同様、状況によって特徴量が変化→画像サイズ／解像度に対してもロバストな分類器がほしい

•  ❌⭕

– • 

• 

– • 

• 

（本スライド中の画像の一部はイメージであり実際のものとは異なります。）

オブジェクトストレージ

作業用インスタンス

onIaaS

１年以上のデータを蓄積総データ量 4TB以上

IkaLogユーザ stat.ink

hasegaw

• 

アスペクト比が壊れている

なぜか画像がズレているリファレンス画像（入力してほしい画像）

Thanks@itoooon

– 

– 

– 

– 

0

1

2

3

..

..

n

0

1

2

3

…

89

90

InputLayer OutputLayerHiddenLayer

52gal

52gal_deco

96gal

96gal_deco

…

Sschooter_wasabi

wakaba

• 

– 

– 

• 

– 

• 

– 

– 

– 

– 

K近傍法 既存ImageNet 新ニューラルネット

精度 一部ユーザでは低い

99.99+%

99.99+%

モデルサイズ 20MB（現時点） 400MB(AlexNet)100MB(GoogleNet)

50MB(Float32)25MB(Float16)

分類にかかる時間 とても高速 ~300ms ~20ms

• 

• 

• 

– 

– 

• 

– 

– 

• 

– 

– 

©07strikers