次世代型情報取得システムの構築技法　～ cruse開発を通じて

Developers Summit 2010

伊藤純一伊藤純一アイエニウエア・ソリューションズ株アイエニウエア・ソリューションズ株式会社式会社デジマビジネスユニットデジマビジネスユニットシニアエンジニアシニアエンジニア

19-4-C

次世代型情報取得システムの次世代型情報取得システムの構築技法　～構築技法　～ CRUSECRUSE 開発開発を通じてを通じて


アジェンダアジェンダ背景背景課題と解決方法課題と解決方法システムの紹介システムの紹介デモンストレーションデモンストレーションまとめまとめ


背景背景情報インフラ発達により移動時に豊富な情報を得情報インフラ発達により移動時に豊富な情報を得

る環境が整いつつあるる環境が整いつつある

クラウドの発達

企業内データ整備

モバイル PC

携帯端末

WiFi や WiMAX による高速通信

移動時の情報活用が進んでいるとはいえない

通信インフラ通信インフラ端末インフラ端末インフラデータインフラデータインフラ


情報活用の課題①情報活用の課題① 携帯端末での情報取得携帯端末での情報取得

画面が広くない画面が広くない情報を一度に閲覧できない情報を一度に閲覧できない

入力手段が乏しい入力手段が乏しい欲しい情報を的確に指示するのが大変欲しい情報を的確に指示するのが大変

「キーワード入力⇒結果一覧」という「キーワード入力⇒結果一覧」という PCPCの検索方法をそのまま適用は無理の検索方法をそのまま適用は無理


情報活用の課題②情報活用の課題② システム提供側の都合システム提供側の都合

既存既存 webweb アプリの携帯端末上での課題アプリの携帯端末上での課題 PCPC 向けにできている、表示が重い、動かない向けにできている、表示が重い、動かない

携帯端末向けアプリの課題携帯端末向けアプリの課題メニュー階層の深い使いにくいアプリメニュー階層の深い使いにくいアプリ構築ノウハウの不足構築ノウハウの不足

携帯端末での情報活用に対するネガティブ携帯端末での情報活用に対するネガティブ


課題に立ち向かう技術課題に立ち向かう技術 RIARIA

Flash, HTML5...Flash, HTML5...

マルチタッチ・インターフェースマルチタッチ・インターフェース加速度センサ加速度センサ音声認識／音声合成音声認識／音声合成 GPSGPS カメラカメラ


課題をどう解決するか？課題をどう解決するか？情報を得ようとする人間の行動プロセス

操作：ユーザー意図をシステムに伝える認知：提示されたデータを認知する判断：認知をもとに何をするか決める

認知操作判断


課題解決：操作課題解決：操作ユーザー意図をシステムに伝える方法の検討ユーザー意図をシステムに伝える方法の検討

その場で使える手段を自由に組み合わせるその場で使える手段を自由に組み合わせる音声音声キー入力キー入力タッチ入力タッチ入力

なるべく少ない手数でシステムを操作するなるべく少ない手数でシステムを操作するここまでにシステムに与えられた入力を活用する　ここまでにシステムに与えられた入力を活用する　ユーザーの環境情報を利用するユーザーの環境情報を利用する

⇒明示的に指定しなかった場合に暗黙情報として利 ⇒明示的に指定しなかった場合に暗黙情報として利用用（例：現在位置）（例：現在位置）

原則：シンプルに使えるもの原則：シンプルに使えるもの


課題解決：認知課題解決：認知データ表示方法の検討データ表示方法の検討

瞬時に全体把握が可能な方法を使う瞬時に全体把握が可能な方法を使う図形を効果的に使う図形を効果的に使う詳細はユーザーが必要なときに提示詳細はユーザーが必要なときに提示

複数種類の出力を活用複数種類の出力を活用音声ガイダンス音声ガイダンス振動による通知振動による通知

ジャンル場所店名

イタリアン

東区 1-2-3 Italiana

フレンチ東区 3-2-3 Le Royale

フレンチ千種区 3-2 Bourgogne

イタリアン

千種区 2-1 Chao

フレンチ東区 3-2-3 Louis XIV

：：：

地図上への図示例

＋


課題解決：判断課題解決：判断データ参照の視点を変える方法の検討データ参照の視点を変える方法の検討

システムが視点の変え方をナビゲートするシステムが視点の変え方をナビゲートするデータが多すぎるときは視点を狭くデータが多すぎるときは視点を狭く

（例：絞り込む条件候補提示）（例：絞り込む条件候補提示）データがないときは視点を変えるデータがないときは視点を変える

（例：変更するとデータが得られる条件の提示）（例：変更するとデータが得られる条件の提示）ナビゲートにユーザー嗜好を反映させるナビゲートにユーザー嗜好を反映させる

ユーザーの試行錯誤を無くすユーザーの試行錯誤を無くす過去の操作履歴から嗜好を抽出過去の操作履歴から嗜好を抽出

原則：主導はユーザー、あくまでオプション原則：主導はユーザー、あくまでオプションという位置づけという位置づけ


文脈指向マルチモーダルシステム

この考えをもとにしたこの考えをもとにした文脈指向マルチモーダル文脈指向マルチモーダル

意図をシステムに伝える各種手段

ユーザーの環境情報

ユーザーの欲しいもの

システムによるナビゲート

入力手段を自由に組み合わせデータ抽出条件を指示

操作文脈からの入力補完

環境情報を暗黙情報として利用

データ抽出状況とパーソナライズで次操作を提示

ナビゲーションを音声出力

データの図示

音声

キー入力

タッチ入力

位置情報

結果表示

音声通知

操作提示

データデータ

これはいい！！

モバイルユーザークラウド

データデータ

データデータ

利用するデータを自動で選択


データ取得部UI部

語彙の辞書、概念定義をもとに検索条件に変換

確定できない内容は対話で確認

得られた条件でデータ抽出・結果取得

次操作のヒントを追加

個人プロファイ

ル

データデータ

音声認識

音声合成（次操作ヒント）

音声

地図表示（結果を図示）

キー入力

画面タッチ

音声通知

結果一覧

不足情報を文脈から補完対象データ

の概念定義位置情報

操作提示

入力を文字列に一元化することで処理を共通化

概念定義をメタデータとしてもちデータの変更や拡張に強くする

ユーザー操作の支援

認知を支援パーソナライズ

文脈指向マルチモーダル文脈指向マルチモーダル内部の仕組み検討内部の仕組み検討

データデータデータデータ

RDB,XMLWeb 対応


データ取得部

内部のデータの流れ①内部のデータの流れ①UI部






ル

音声認識


音声


キー入力

画面タッチ

音声通知

結果一覧



操作提示

日光で露天風呂に入りたい

「施設種類を選んでください。ホテル、ペンション、民宿・・・」

場所＝日光属性＝露天風呂あり

場所＝日光属性＝露天風呂あり

例：宿泊検索

データデータデータデータデータデータ


データ取得部

内部のデータの流れ②内部のデータの流れ②UI部






ル

音声認識


音声


キー入力

画面タッチ

音声通知

結果一覧



操作提示

民宿がいいです

　次の条件候補・卓球あり・カード可

施設の一覧

タイプ＝民宿

卓球あり score=0.9カード可 score=0.8ペット可 score=0.3...

タイプ＝民宿文脈からの継続＋場所＝日光＋属性＝露天風呂あり

例：宿泊検索

データデータデータデータデータデータ

http://../? 場所 =日光 &属性 =露天風呂あり & タイプ =民宿


データ取得部の要素技術データ取得部の要素技術以下の処理を１つのエンジン上で処理できるエー以下の処理を１つのエンジン上で処理できるエー

ジェント・ネットワークジェント・ネットワーク (Answers Anywhere)(Answers Anywhere) をを利用利用語彙の辞書、概念定義をもとに入力文を解析語彙の辞書、概念定義をもとに入力文を解析文脈を追跡して不足情報を補完する文脈を追跡して不足情報を補完する解析結果より解析結果より SQLSQL やや XML WebXML Web からデータを取得からデータを取得データの概念定義、過去の操作履歴、データの取得結データの概念定義、過去の操作履歴、データの取得結

果から次操作を提示果から次操作を提示複数ユーザーの同時アクセス、履歴記録に対応複数ユーザーの同時アクセス、履歴記録に対応


エージェント・ネットワークエージェント・ネットワーク自然言語より意味を抽出し対話と処理を実行するエンジン対象データの概念定義をネットワークで記述するビジュアル・プログラミングモデル視覚的に編集できわかりやすい概念定義がデータと１対１になり習得しやすいコンパイル不要で作りながら動作確認でき、プロトタイプ開発容易ネットワークの結合により拡張が容易JavaAPI で動作をカスタマイズ可能反復テスト可能なテストツール付属

エージェントを配置、キーワードを定義し線で結ぶ

Command(操作 )

Field(カラム )

Object(テーブル )

Relation(ジョイ

ン )

エージェントとデータの列が１対１で対応


デモ：デモ： iCRUSEiCRUSEコンセプト「電話で人と話をしているかのように検索する」

ボイス検索店舗情報を持つ外部Web サービス

言葉の解析

音声フィードバック

対話の生成

検索結果と共にパーソナライズされた条件候補を返します

自然文を解析し、文脈を理解して検索します

Julius で音声を認識

中華が食べたい

他に・・・

HotPepper グルメサーチ API


デモ：デモ： iCRUSEiCRUSE


適用可能性適用可能性文脈指向マルチモーダルが適する領域文脈指向マルチモーダルが適する領域

属性の種類が多い構造化されたデータ属性の種類が多い構造化されたデータ個体の抽出を目的とし図示が有効なデータ個体の抽出を目的とし図示が有効なデータ

エンタープライズ向けエンタープライズ向け営業員向け顧客情報検索システム営業員向け顧客情報検索システム社内文書検索システム社内文書検索システム

コンシューマー向けコンシューマー向け多種コンテンツの串刺し検索多種コンテンツの串刺し検索 twittertwitter ・・ GoogleGoogle バズをトリガで動く情報端末バズをトリガで動く情報端末


おわりにおわりに本日のまとめ本日のまとめ

移動時における情報活用のためのシステムに移動時における情報活用のためのシステムに文脈指向マルチモーダルが有効文脈指向マルチモーダルが有効

Answers AnywhereAnswers Anywhere による文脈指向マルチモーによる文脈指向マルチモーダルの構築ダルの構築

謝辞謝辞株式会社モンスター・ラボ様株式会社モンスター・ラボ様

iCRUSEiCRUSE の共同開発の共同開発


お知らせお知らせ iCRUSEiCRUSE 無償版無償版

AppStoreAppStore にて近日公開予定にて近日公開予定 Answers AnywhereAnswers Anywhere 情報情報

無償評価用無償評価用 SDKSDK http://www.ianywhere.jp/dl/dl_evl.htmlhttp://www.ianywhere.jp/dl/dl_evl.html

開発者向け開発者向け CodeZineCodeZine連載記事連載記事 http://codezine.jp/article/corner/309http://codezine.jp/article/corner/309

セミナーのお知らせセミナーのお知らせ Answers AnywhereAnswers Anywhere 技術セミナー（技術セミナー（ 3/183/18 開開催）催）

次世代型情報取得システムの構築技法 ～ cruse開発を通じて

Technology

次世代型情報取得システムの構築技法　～ cruse開発を通じて