devsumi2012 17-d-1 kinectで創る10年後のカタチ

Developers Summit 2012

中村薫株式会社ゲッシュ

Shibuya.NI

17-D-1

Kinectで創る

10年後のコンピューターの

カタチ


自己紹介

株式会社ゲッシュ

Windows向けセキュリティ・アプリケーション開発

Kinectアプリケーション開発・セミナー講師

@kaorun55

[email protected]

https://twitter.com/

mailto:[email protected]


自己紹介


http://www.atmarkit.co.jp/fdotnet/special/com

parekinect01/comparekinect01_01.html

http://www.atmarkit.co.jp/fdotnet/special/co

mparekinect02/comparekinect02_01.html

http://www.atmarkit.co.jp/fdotnet/special/kin

ectfuture_01/kinectfuture_01_01.html

自己紹介

http://www.atmarkit.co.jp/fdotnet/special/comparekinect01/comparekinect01_01.html












http://www.atmarkit.co.jp/fdotnet/special/kinectfuture_01/kinectfuture_01_01.html







http://www.slideshare.net/kaorun55/kinect-for-windows-sdk-introduction











ハッシュタグ

#devsumiD


ツイート例

#devsumiD のセッション、パワポをKinectで操作してるよ！


よろしく

お願いします


アジェンダ

Kinectとは

Kinectでできること

Kinect開発環境

Kinectが創る未来


質問です

Kinectアプリケーション

開発してる人

開発したい人

どんなものか知りたい人


質問です

Windows プログラマの人

ネイティブ(C++)の人

.NET(C#,VB…)の人

Webプログラマの人

組み込みプログラマの人


今日のターゲット(特に)

Windows プログラマの人

ネイティブ(C++)の人

.NET(C#,VB…)の人

Webプログラマの人

組み込みプログラマの人


Kinect とは


Kinect とは

Microsoft社が発売しているXbox 360ゲーム機のコントローラー(Kinect for Xbox 360)

ゲームを操作する際に、「コントローラーを持つ必要がない」ことが特長

2012年2月1日にWindows用Kinectの発売を開始した(Kinect for Windows)


Kinectの販売台数

世界累計

60日で800万台

5か月で1,000万台

1年で1,800万台


NUI

KINECTのように、体の自然な動作でコンピューターを操作することをNUIと呼ぶ

WiiやPlaystaion Move、iPhoneやiPadなどのインタフェース


NUI

NUIとはNatural User Interfaceの略であり、「ユーザーに自然なインタフェース」である

NIと略される、Natural Interactionも同じような意味を持つ


Kinect でできること


Kinect センサー


機能

RGBおよび、距離カメラ

音声および、音声方向の取得

カメラ角度の変更

ユーザーおよび、骨格の認識


RGBおよび距離カメラ


音声および音声方向の取得


ユーザーおよび骨格の認識


ユーザーインタフェース

http://www.youtube.com/watch?v=HK7x9lKRt8g

http://www.youtube.com/watch?v=HK7x9lKRt8g



http://www.youtube.com/watch?v=x5-OcU56HOE





アパレル


遠隔操作

http://www.youtube.com/watch?v=bJFut8bzAXQ

http://www.youtube.com/watch?v=bJFut8bzAXQ


子供向け


福祉

NAIST Ballpool


舞台

http://www.uga-web.com/sb/





プロジェクション・マッピング

http://www.youtube.com/watch?v=k8nblUJwqkQ

http://www.youtube.com/watch?v=k8nblUJwqkQ


教育


Kinect 開発環境


キーワード

KINECT

KINECT SDK OpenNI

Xtion


NUIデバイス


Kinect for Windows


Kinect for Windows

2012年2月1日(米国時間)に発売された、Windows 向けの Kinect

実売価格 ¥24,800(249USドル)

商用利用が可能

40cmまでユーザー認識が可能な「Near Mode」を搭載

その他のハードウェア機能は、従来のKinect for Xbox 360とほぼ同様


Kinect for Windows


Kinect for Xbox 360

http://channel9.msdn.com/Series/KinectSDKQuickstarts/Understanding-Kinect-Hardware

3D 距離センサー

RGBカメラ

チルトモーターマイクアレイ







Kinect for Xbox 360

2010年11月4日(米国時間)に発売された、Xbox 360 向けの Kinect

実売価格 ¥12,000くらい

商用利用はできない

設計や開発、テストに限り、Kinect for Windows SDKを使用可能


Kinect for Xbox 360 のインタフェースはUSBではない。コンピューターに接続する際は、変換アダプタが必要。

購入時の注意


購入時の注意

Xboxとのセットを買うと、USB変換ケーブルが付属していない。コンピューターに接続する場合は、Kinect単体版を購入すること。


Xtion

http://www.asus.com/Multimedia/Motion_Sensor/Xtion_PRO/

http://www.asus.com/Multimedia/Motion_Sensor/Xtion_PRO_LIVE/


http://www.asus.com/Multimedia/Motion_Sensor/Xtion_PRO_LIVE/

Xtion Pro LIVE


ライセンス

禁止事項などは無い商用利用が可能


ハードウェアの比較

項目 Kincet for Windows Xtion Pro LIVE Xtion Pro

RGBカメラ ● ● ×

距離カメラ (ユーザー、骨格の検出を含

む) ● ● ●

マイク ●(4つ) ●(2つ) ×

音声方向の取得 ● × ×

チルトモーター ● × ×

外部電源要不要不要

対応ライブラリ Kinect for Windows

SDK OpenNI OpenNI

商用利用可能可能可能


NUIライブラリ


Kinect for Windows SDK


Kinect for Windows SDK

Kinect for Windows 向けのSDK

無償で利用することができる

商用利用が可能

ランタイムの実行には Kinect for Windows が必要

開発時に限定して、従来の Kinect for Xbox 360 を使用することが可能


http://research.microsoft.com/en-us/um/redmond/projects/kinectsdk/docs/programmingguide_kinectsdk.pdf


機能



音声および音声方向の取得

チルトモーター

複数のKinectに標準で対応


OpenNI


OpenNI

OpenNIとは、KinectやXtionに搭載されているチップを設計しているPrimeSnese社や、OpenCVのWillow Garage社などが提供しているライブラリ


OpenNI

一般的にOpenNIという場合は、

APIのOpenNI

ミドルウェアのNITE(ナイト)

ハードウェアインタフェースのSensor

の3つを合わせたものを指す。


OpenNI

正確には、Kinect用のライブラリではなく、オープンソースで提供されている、非公式のドライバを使用する必要がある

搭載されているハードウェアが同様のため、Kinectでも利用することが可能である(Kinect for Windows は未確認)


OpenNI


機能



音声の取得

ジェスチャーや手の動きを認識


ライセンス

GPL/LGPLのデュアルライセンス

LGPLであれば、商用利用も可能

ライブラリの改変は、公開の必要がある


ライブラリの比較

項目 Kinect for

Windows SDK OpenNI

対応OS Windows 7(32bit/64bit) Windows 8 Developper Preview Windows Embedded

Windows XP, Vista, 7 (32bit/64bit) Linux(Ubuntu 10.10) Mac OS(10.6, 10.7) Android

開発言語 C++, C#(VB,F#など) C, C++, C#(VB,F#など), Java

対応デバイス Kinect for Windows Kinect for Xbox 360(開発時に限る)

Xtion Pro Xtion Pro LIVE Kinect for Xbox 360(非公式)

商用利用可能可能(GPL/LGPL)



項目 Kinect for

Windows SDK OpenNI

RGBカメラの解像度 1280x1024(12fps)

640x480(30fps)

1280x1024(15fps),

640x480(30fps)

距離カメラの解像度

640x480(30fps)

320x240(30fps)

80x60(30fps)

640x480(30fps)

距離カメラの認識範囲 400mm-3,000mm(Near)

800mm-4,000mm 500mm-10,000mm(実測)

ユーザー追跡人数 7人ライブラリ上は15人

骨格追跡人数 2人ライブラリ上は15人

骨格追跡のためのポーズ不要不要(旧版では必要)

骨格の一部分追跡できない上半身、下半身、顔と手


OpenNIのキャリブレーションポーズ



項目 Kinect for

Windows SDK OpenNI

音声の利用 ● ●

音声方向の取得 ● ×

チルトモーターの操作 ● ×

RGBと距離カメラのズレ補正 ● ●

ミラーモード × ●

ユーザーの検出、消失時の通知 × ●

骨格追跡開始の通知 × ●

RGBと距離カメラデータの保存と再生 × ●


Kinect が創る未来


Kinectで変わる未来


さまざまなデバイスへの搭載

http://www.ionroad.com/

http://www.ionroad.com/


コンピューターの変化

http://www.chrisharrison.net/index.php/Research/OmniTouch

http://www.chrisharrison.net/index.php/Research/OmniTouch


http://channel9.msdn.com/coding4fun/kinect/Kinect--3D--Fusion4D

リアルとバーチャルの融合







コンピューターとの関わり


３−５歳

６０歳

９０歳

１−２歳

ターゲットの拡大


学ぶものから

感じるものへ


デモ


http://twitter.com/#!/chibicode/status/33769337827368960

http://twitter.com/


10年後の”普通”を

先取りしませんか

devsumi2012 17-d-1 kinectで創る10年後のカタチ

Technology