Intel Perceptual Computing SDK

2013/10/30 Ver 1.1

Natural Software 中村 薫

http://www.naturalsoftware.jp/

自己紹介

中村 薫フリーランスで主にDepthセンサー系の仕事をしています

• アプリケーション開発

• 講演、ハンズオンセミナー

• 執筆

など

Microsoft MVP for Visual Studio ALM

http://www.naturalsoftware.jp/

kaorun55@naturalsoftware.jp

Intel Perceptual Computing SDK

Intel Perceptual Computing SDKの魅力

• 2014年末を目標に、Ultrabook へ Intel Perceptual Computing SDK 対応カメラ(Depthカメラ)を搭載する

http://pc.watch.impress.co.jp/docs/news/event/20130605_602256.html

Intel Perceptual Computing SDK 概要

• 2013年3月に正式版がリリースされたSDK

• 手指および顔の検出、音声認識が特長

• 全ての機能はリファレンスカメラとしての「Creative* Interactive Gesture Camera」で動作する

• カラーカメラのみの機能はWebカメラでも動作する

• 音声の機能はPCのマイクでも動作する

• 以降 PerC SDK(パーシー)と表記する

Intel Perceptual Computing SDK 概要

• 下記URLからダウンロードできる• http://software.intel.com/en-

us/vcsource/tools/perceptual-computing-sdk

• 無料

• 商用利用可能

• 頻繁なアップデート• 2013年03月にRelease1

• 2013年10月にRelease6

PerC SDK 関連のロードマップ

• 2013年後半に PerC SDK対応センサーを一般発売する

• 2014年末を目標に、 Ultrabook へ PerC SDK対応カメラ(Depthカメラ)を搭載する

http://pc.watch.impress.co.jp/docs/news/event/20130605_602256.html

PerC SDK

Color Stream Hand and Finger Tracking Gesture and Pose

Facial Analysis Speech Recognition Voice Synthesis

"Nothing to say?"

Color Stream

• 対応カメラおよびWebカメラの画像を取得する

• 解像度はカメラに依存する(制限はない)

Color Streamの画像を元に顔関連の処理を行う

• 顔関連の処理• 顔の位置を検出する

• 顔の部位(目や口)の位置を検出する

• 顔の属性(年代や性別)を検出する

• 顔の認識を行う(ただし2Dであることを念頭に)

Depth Stream

• 対応カメラのIR Depth カメラのデータを取得する

• Depth Streamのデータを元に、手や指の検出を行う

• 手や指の検出• 手の位置を検出する(2つまで)

• 指の位置を検出する(2つの手でそれぞれ5本)

• 手を使ったジェスチャーを検出する

• 手を使ったポーズを検出する

約30cm(12インチ)

Virtual Plane

0cm 15cm 30cm 100cm

約20cm

• 手指、ジェスチャーの検出は、センサーから約30cm以内になったときにはじまる• 検出した手指の後ろには約20cmの空間が必要

Audio Stream

• 対応カメラおよびコンピューターのマイクから音声を取得する

• Audio Stream のデータを元に音声の処理を行う

• 音声処理• あらかじめ登録した単語の認識を行う(Command)

• ある一定時間の発話をテキストにする(Dictation)

• テキストを音声データにする(音声合成)

• 日本語にも対応

Sensor

http://download-software.intel.com/sites/default/files/article/325946/creativelabs-camera-productbrief-final.pdf

Creative* Camera

• Intel社のサイトより購入できる(英語)• http://click.intel.com/intelsdk/Default.aspx

• $149

• 日本への発送も可能(約1週間,約$23)

• SoftKinetic 社 DS325 互換

•DS325 で PerC SDK を利用できる

• Creative* Camera で SoftKinetic 社iisu SDK を利用できる

PerC SDK and iisu SDK

http://www.softkinetic.com/en-us/products/iisumiddleware.aspx

Spec

サイズ 10.8cm × 5.2cm × 5.4cm

重さ 271 グラム

電源 USB 2.0 (<2.5W)

RGB Camera

解像度 720p (1280×720 pixels)

フレームレート 30 fps

視野角 73 度

表示範囲 0m – 7.01m

IR Depth Sensor

解像度 QVGA (320×240 pixels)

フレームレート 30 fps

視野角 73 度

認識範囲 15cm – 100cm

認識技術 Time-of-flight(TOF)

Audio

• デュアルアレイ マイクロフォン

Recommended System Configurationhttp://software.intel.com/sites/default/files/GettingStarted.pdf

System Requirements

• Creative* Interactive Gesture camera (オプション)

• 第2, 第3, 第4 世代 Intel Core プロセッサ

• Windows 7 SP1 以降 / Windows 8 Desktop UI

• 4GB メモリ

• USB 2.0

Development Requirements

• Microsoft Visual Studio 2008 with SP1 以降• C++

• .NET(C#,VB…)

3rd Party Framework

• .NET Framework

• openFrameworks

• Unity

• Processing

日本語ドキュメント

http://www.isus.jp/article/idz/pc/perceptual-computing-sdk/

新しいインタフェースを今すぐにhttp://www.naturalsoftware.jp/blog/category/depthsensor/intel-depth-camera

kaorun55@naturalsoftware.jp