労働集約型サービス －従業員行動計測技術に基づく分析と可視化－

天目 隆平† 竹原 正矩‡ 速水 悟‡ 蔵田 武志†

†産業技術総合研究所サービス工学研究センター 〒305-08568 茨城県つくば市梅園 1-1-1 中央第 2

‡岐阜大学院工学研究科〒501-1193 岐阜県岐阜市柳戸 1-1

E-mail: †{r-tenmoku, t.kurata}@aist.go.jp, ‡takehara@asr.info.gifu-u.ac.jp

あらまし 本稿では，労働集約型のサービス業における従業員の測位データと，音声認識を利用したキーワード

検出，動作認識，業務スケジュールや POS データ・ナースコールの履歴等のサービス現場特有の業務データを組み

合わせて従業員の勤務中の作業内容推定を実現する枠組みと，計測結果から業務分析や QC 活動に役立つ高次の情

報を抽出し効果的に経営陣や従業員に提示する分析・可視化の取り組みについて述べる．さらに，日本食レストラ

ン・介護付き老人ホーム・温泉旅館の 3 つのフィールドにおける，従業員の勤務中の測位結果，分析結果，および

分析結果に関する各フィールドからの反応について述べる．

キーワード サービス工学，測位，従業員行動計測，音声認識，可視化

Labor-intensive Service

－Analyzing and Visualizing Service Business

based on Behavior Measurement of Employees－

Ryuhei TENMOKU† Masanori TAKEHARA‡ Satoru HAYAMIZU‡ Takeshi KURATA†

†Center for Service Research, National Institute of Advanced Industrial Science and Technology

1-1-1 Umezono, Tsukuba-shi, Ibaraki, 305-8568 Japan

‡Graduate School of Engineering, Gifu University 1-1 Yanagito, Gifu-shi, Gifu, 501-1193 Japan

E-mail: †{r-tenmoku, t.kurata}@aist.go.jp, ‡takehara@asr.info.gifu-u.ac.jp

Abstract This paper describes a framework of the employees’ behavior measurement in labor-intensive service fields

which is realized combining positioning, voice recognition, motion recognition, and work-related information that are

operational schedules, POS data, a history of nurse calling and so on. This paper also describes our challenge of analyzing and

visualizing the result to support the job analysis and QC (quality control) activities. Additionally, in this paper, we show some

practical analyses of three kinds of actual labor-intensive service fields: a Japanese restaurant, a nursery home, and a hot spring

inn.

Keyword Service engineering, Positioning, Behavior measurement, Voice recognition, Visualization

1. はじめに

サービスの生産性向上は，経済の持続的発展のため

に必要不可欠な要素である．サービスの生産性向上を，

科学的工学的手法を確立して達成する枠組みは，サー

ビス工学と呼ばれ，工学の新たな分野として注目を集

めている [1,2]．

サービスの生産性を向上させるには，サービス受容

者のニーズや行動様式とサービスの内容や提供方法を

相互に適応させ，受容者にとっての付加価値と提供者

にとっての効率を同時に高めるサービスイノベーショ

ンを実現しなければならない．そのためには，サービ

スの現場での受容者と提供者の行動を観測し，それを

分析して得られる客観的根拠に基づいてあるべきサー

ビスに関するモデルを設計し，それを現場に適用する

という観測・分析・設計・適用のループを現場に適用

することが必要である．このループの中で，サービス

の改善や新たなサービス創出のための仮説構築に強力

に機能するのは，熟練従業員の長年の経験に基づく勘

や判断である．換言すると，熟練従業員の勘や判断の

拠所を，観測・分析のステップでいかに上手く客観的

に抽出・記述するかが重要であり，サービスの生産性

の向上に大きく寄与すると考えられる．

筆者らは，労働集約型サービスの現場において，従

業員の勤務時間中の行動計測（業務中の動線計測や作

業内容の推定等）を行い，計測結果を分析し可視化し，

分析・可視化した情報を経営者や従業員にフィードバ

ックさせることを目標としている．これにより，経営

者にとっては業務分析に大いに役立ち，従業員にとっ

ては自分や仲間の行動を見て業務を改善する QC 活動

やメタ認知の支援が期待でき，これはサービスの質や

生産性向上，さらにはサービスイノベーションに繋が

る情報循環であると考える．

本稿では，まず 2 節で筆者らが提案する行動計測の

概要について述べ，3 節でその要素データの 1 つであ

る音声認識を利用した従業員の業務中のキーワード検

出の試みについて述べる．次に 4 節で行動計測結果の

分析と可視化について述べる．さらに 5 節では，実際

の労働集約型サービスの現場で行った従業員の測位実

験の結果の分析を行った結果について述べ，最後に 6

節で本稿を総括する．

2. 労働集約型サービス提供者の行動の観測

2.1. 従業員の行動計測

筆者らが提唱する従業員の行動計測のフレームワ

ークでは，様々な方法で計測・推定した要素データ群

から統合的に従業員の作業内容の推定を試みる．推定

する作業内容は，レストランであれば配膳や注文伺い

等，サービスの現場ごとに現場のニーズに応じてあら

かじめ 10 数種類程度設定されており，これらの中から

尤もらしい作業内容を，機械学習を利用した統計的識

別により推定する．

筆者らの研究グループが提案する従業員行動計測

の概要を図 1 に示す．計測対象である従業員は腰部に

センサモジュールを装着する．このセンサモジュール

は，従業員の相対移動量や姿勢の計測（歩行者デッド

レコニング：PDR）[3,4]と立つ・座る・膝立ちになる・

歩く等の動作の推定を行う [5]．また，計測環境内に配

置したアクティブ RFID タグや監視カメラを利用した

絶対位置の特定と，計測環境の 3 次元モデルを利用し

たマップマッチングを PDR と組み合わせることで，

PDR の測位誤差補正や初期化・精度向上を図り，継続

的に運用可能な測位を実現している [6]．従業員はマイ

クを装着し，業務中の発話に対して音声認識をかけ，

あらかじめ決められたキーワードを検出する．通常の

マイクではなく，骨伝導マイクを利用することで，周

囲の雑音や装着者以外の発話の音量を大幅に低減させ，

装着者の音声のみを認識させることも可能である．こ

れらの情報と業務スケジュール，POS(Point of Sale: 販

売時点情報管理 )，ナースコールの発生ログ等のサービ

ス現場固有の業務情報を電子的に記録した業務データ

から，作業内容の推定を行う．

筆者らの研究グループでは，これらの要素データの

計測・推定技術のうち，測位手法については既に確立

しており，動作認識，音声認識，業務データ収集，お

よび状況・作業内容推定手法について，現在，研究を

行っている．

2.2. 従業員の状況・作業内容の推定

従業員の状況・作業内容推定には，計測データ（位

置・方位，動作，キーワード・状況，業務データ）に

対して状況・作業内容の真値を付与したデータを学習

データとした統計的識別を利用する．計測データの要

素のうち位置・方位，動作，キーワード・状況は，そ

れぞれ不確かさを持つ計測・推定値であると仮定して

いる．学習データから得られる入力データと状況・作

業内容の統計的相関と，計測データから推定された状

況・作業内容を音声認識・動作認識・測位の要素デー

タ推定モジュールにフィードバックさせることで，こ

れらの要素データの推定・計測精度の向上を図る．

2.3. 従業員の移動軌跡の可視化

筆者らの研究グループでは，従業員の移動軌跡を，

現場の写真から作成した写実的な 3 次元環境モデル [7]

に重畳することにより，直感的に可視化することを試

みた（図 2(a)）．さらに，図 2(b)のように，計測された

従業員の位置・姿勢をもとに，従業員視点から見た疑

似映像を生成することができる．従業員の移動軌跡は，

職種ごとの業務分析や当該従業員の業務の全体把握に

有 効 で あ る ． ま た ， 認 知 科 学 分 野 で の 行 動 分 析

CCE(Cognitive Chrono-Ethnography)[8]では，業務中の

従業員の視点付近にとりつけたカメラで撮影した映像

を利用して想起した従業員の記憶に基づいて業務の回

顧インタビューを行うが，実際のサービス現場に適用

するためには，顧客および従業員のプライバシーやカ

メラの装着が問題である [9]．図 3(b)のような従業員視

点の疑似映像は，これらの問題に対する有功な解決策

であると期待されている．

3. 従業員の音声認識の試み

2 節で提案する従業員行動計測のうち，音声認識に

図1:従業員の行動計測の概要

歩行者デッドレコニング（PDR）による測位

動作認識

マップマッチング

監視カメラ測位（PDRパラメータ

補正含）

ＲＦＩＤ測位

属性マッピング（磁場、電波強度、他各種履歴）

幾何・写実的モデリング

音声認識

業務データ（スケジュール、日報、ハンディＰＯＳ、ナースコール等）

センサ・データフュージョン（SDF）による測位

状況・作業内容推定

サービス現場モデリング

・教育支援（QC）・業務分析支援・CCE支援・システム導入支援・作業支援

PDRplus（測位+動作）

位置・方位

サービス現場仮想化モデル（写実的モデル、幾何マップ、属性マップ、センサ配置、）

キーワード・状況

状況・作業内容

動作

よるキーワード検出について本節で述べる．計測対象

となる従業員は業務中にマイクを装着し，IC レコーダ

で発話を録音する．録音された音声データに音声認識

をかけて，発話中のキーワードの抽出を行う．また，

抽出されたキーワードから行動を推定する試みも行う．

3.1. 発話区間検出

発話区間検出とは，音声データ中の発話区間を検出

して切り取る操作である．これは，音声認識すべき部

分のみ抽出して処理時間を短縮させることや，他のモ

ジュール（動作認識等）との同期をとるため発話区間

の開始時刻を求める目的で行う．

まず，音声データの低周波成分に着目し，パワーが

閾値を超えたフレームを音声フレームと判断する．続

いて，音声フレームがある程度密集した区間を発話区

間と見なす．その結果，実際に発話をした部分の 8 割

を発話区間とみなすことができ雑音区間はほとんど除

去された．発話区間をパワーで判定しているため，発

話の声量によって検出されるか否かが決まる．今後は

MFCC の低次元を HTK で識別させる予定である．

3.2. 単語音声認識

音 声 認 識 に は 大 語 彙 連 続 音 声 認 識 エ ン ジ ン

Julius[10]を使用する．我々は，発話中のキーワードに

焦点を置いて認識を行った．まず，単語辞書に 70 語弱

のキーワードを登録し N-gram 等の言語モデルは使わ

ずに認識を行った．図 3 中の t は開始時刻，w は辞書

単語，L(w|t)は時刻 t から認識を行った場合の単語 w

の音響尤度である．1 つの音声区間について，t をずら

しつつ単語認識を行っていくため，20～50 程度の単語

と音響尤度の組が出力される．この中の殆どは誤り単

語であるが，正解単語の音響尤度が誤り単語よりも上

位になるケースは尐なかった．つまり，音響的には精

度が悪く，雑音や話者のモデルなどを改善する必要性

が見られた．

3.3. bag of words

bag of words とは，文章を単語集合とする表現とす

る考え方である．3.2 節で得られた結果は誤り単語が

多く，そのまま対応する行動・状況に置き換えると正

しく行動推定ができない．そこで，行動・状況を特定

する発話を単語集合と考えて，複数の区間・単語の出

力からラベル付けを行った．例えば，「すいません」

「失礼」「いたします」の 3 単語が出力されていれば，

入室・配膳の「失礼」に対応する行動ラベルを付ける．

また，複数の区間で似た状況の会話が続けば，その状

況を出力することも検討する．

現状では 3.1 節で検出された音声区間の約半分に，

行動または状況を表わす正しいラベルを付与できてい

る．今後は各段階の精度を追究する他，モジュール単

体で結果を出すだけでなく他のモジュールとどう情報

をやり取りしてするかも視野に入れて，音声認識シス

テムの向上を図る．

4. 労働集約型サービスの分析と可視化

4.1. 行動計測結果の分析の意義

2.3 節で述べた移動軌跡の可視化は，いくつかの労

働集約型サービス現場で従業員や経営陣からある程度

の有効性を認めてはもらえたものの，もっと高次の情

報を抽出できないかと期待する声も尐なくない．例え

ば，日本食レストランでは接客係や調理担当などの役

割ごとの客室滞留時間割合の差や，単位時間ごとの従

業員負荷（移動量）と POS データの関連を見たいとの

要望が挙がっている．こういった要望は現場ごとに全

く異なっており，老人介護施設からは業務の効率化を

図るために従業員のフロア間の移動回数をなるべく減

らしたい，入居者の認知度・介護度・ADL(Activity of

図2:従業員の移動軌跡の可視化

(a)軌跡の色は時間経過を表す

(b)

図3:単語音声認識のイメージ

発話

w

w

w

w

t0

t1

t2

t3

L(w|t3)

L(w|t2)

L(w|t1)

L(w|t0)

図4:日本食レストランのエリア定義

ＡＢＣ

Ｄ

Ｅ

Ｆパントリー

廊下

客室

Daily Living; 高齢者の身体活動能力や障害の程度を

示す指標 )とその入居者の介護にかかる時間を知りた

いといった要望があり，温泉旅館からは客室の掃除を

行う際の廊下に停めた掃除用のワゴンと客室の往復回

数を知りたい，という要望があった．

4.2. 分析と可視化の取り組み

従業員の行動を計測する枠組みとともに，計測結果

から現場から要望のあるような指標を抽出し，従業員

や経営陣に提示することで，QC 活動や業務分析に活

用する枠組みを構築することが本研究の最大の目的で

ある．そのためには，単体では数値の羅列でしかない

センサの計測データ（下位レイヤ）から，人間にとっ

て意味のあるラベリングされたデータを経て，現場か

ら要望のある指標（上位レイヤ）に変換し，それらを

効果的に提示する方法が必要である．この下位レイヤ

から上位レイヤへの情報変換こそが分析であり，効果

的な提示が可視化に当たる．

我々は，既に計測手法を確立している測位データに

対して，計測現場の地図や 3D モデルを見ながら，計

測現場を任意の小領域に分割し，それぞれの小領域に

対して任意の名前タグを付けることが可能なエリア定

義ツールを開発した．エリア定義ツールでは，小領域

の構造的な名前タグを階層的に付与することができ，

さらに「客室」や「パントリー」等の意味的タグを付

与することができる [11]．エリアの定義が実現すると，

意味を持った空間であるエリアごとの従業員の滞留時

間の割合やエリア間の移動回数の統計量等が算出でき，

4.1 節で例示したサービス現場で求められているよう

な上位レイヤの情報を抽出するのに大いに役立つ．

5. 従業員の測位データの分析

本節では，日本食レストラン，介護付き老人ホーム，

温泉旅館の 3 つの労働集約型サービスの現場において，

2.1 節で述べた SDF による測位技術を用いて計測した

勤務中の従業員の測位データを分析した結果および考

察について述べる．

5.1. 日本食レストラン

約 400 ㎡×1 フロアの広さの日本食レストランでは，

図 4 に示すように，店舗内をパントリー・廊下・客室

の 3 つのエリアに分け，さらに客室を実際の店舗内の

構造に応じて，A~F の 6 つのエリアとして定義した．

日本食レストランでは，主に客室に出入りして注文伺

いや配膳を行う「接客係」 2 名と，パントリーで料理

や飲み物等の準備をして接客係に渡す業務を主とする

「飲食等準備係」2 名の計 4 名の測位を行った．これ

ら 4 名の従業員の測位データの分析結果（計測時間，

移動距離，歩数，エリア間移動回数，エリア滞留時間

割合）を表１に示す．

今回は従業員の測位データのみの分析であったが，

今後 POS データのような業務成果と直結するデータ

と併せて可視化することにより効率的な従業員配置に

繋がること，従業員のスキル差がわかる情報がここか

ら抽出されることが現場の経営陣から期待されている．

5.2. 介護付き老人ホーム

4 つのフロアから構成される延床面積 1,800 ㎡の広

さの介護付き老人ホームでは，図 5 に示すように 8 種

のエリアを定義し，測位データの分析を行った．本施

設では，実際にこの施設に勤務する介護主任・看護師

各 1 名，介護ヘルパー4 名（うち 1 名がリーダー）の

計 6 名の従業員の 1 日分の日勤時の測位を行い，分析

を行った．表 2 および表 3 に測位データの分析結果を

示す．本環境は複数のフロアから構成されているため，

5.1 節の分析項目に加えてフロア間の移動回数および

フロアごとの滞留時間割合を追加している．

本施設は，1 階部分にスタッフ専用スペースである

事務所や食堂・浴室等の公共のスペースを有し，2 階

より上のフロアは，入居者のプライベートスペースで

接客係Ａ 接客係Ｂ飲食等準備係Ａ

飲食等準備係Ｂ

計測時間[h:m:s] 5:34:37 5:25:32 5:51:5 3:58:21

移動距離[m] 3817 2856 3802 2085

歩数[歩] 8737 6064 8218 4861

エリア間移動 [回] 623 480 200 332

エリア滞留時間割合[%]

客室 28.3 31.8 1.47 14.4

A 5.75 4.82 0.72 5.38

B 1.90 2.68 0.23 1.71

C 0.04 0.03 0.01 0.00

D 8.35 10.1 0.16 3.65

E 4.52 4.83 0.05 1.67

F 7.71 9.34 0.31 2.00

廊下 49.7 55.8 31.9 36.4

ﾊﾟﾝﾄﾘｰ 18.9 9.48 64.8 46.3

表1:測位データの分析結果（日本食レストラン）

ある介護居室が大半を占めている．表 2 および表 3 の

分析結果より，介護主任と看護の 2 名は，業務中の大

半の時間を 1 階のスタッフルーム（事務所）で過ごし，

移動距離等も尐ないことから，デスクワークに従事し

ていたであろうことが推測できる．一方，介護ヘルパ

ーは，滞留時間が最も大きかったのが廊下であり，そ

の次に食堂であった．これは，食事やレクリエーショ

ンの時間になると介護居室にいる入居者を（車いすや

歩行の介助が必要な場合は一人ずつ）食堂まで誘導す

る，入居者が居室にいる時間帯でも，居室の扉を開け

て廊下から声をかけて入居者の様子を見る等の行動を

とっていたためである．また，ラジオ体操や水分摂取

を目的としたコーヒーの時間等，食事以外でも入居を

食堂に集める機会が多かったことも理由として挙げら

れる．なお，介護ヘルパーは，大まかなフロアの担当

が決められており，一般 A,B が 2 階，一般 C が 3 階と

いったようにフロア滞留時間割合から読み取ることが

できる．

これらの結果に対し，当該施設の経営陣からは， 1

週間単位・1 時間単位と時間の尺度を変更した際の滞

留時間割合を見たい，今後従業員の音声を記録する際

には，入居者との会話量や声掛けの回数等を記録して

欲しい，訪問介護型の従業員の行動も計測して欲しい

等の意見・要望が得られた．

5.3. 温泉旅館

敷地面積 5 万坪以上の大型の温泉旅館では，4 名の

接客係が業務中に立ち寄る可能性のあるフロア・場所

の 3D 環境モデル（図 6）を構築し，この 4 名の測位を

行った．スキル伝達のサポートやサービスのモデル化

を行うため，4 名の客室係の計測当日の業務内容につ

いて CCE の回顧インタビューを行った．この際に，計

測した従業員の位置・姿勢に基づいて図 2(b)のような

一人称視点の疑似映像を作成し，さらに数時間に及ぶ

疑似映像に客室やパントリー等のエリア定義に基づい

てインデックス付けを行ったところ，膨大な一人称視

点疑似映像の中から，所望の部分を頭出しするのに役

立ったとインタビュアーに大変好評を得ている．

6. まとめ

図5:介護付き老人ホームのエリア定義

1階

2階

3階

4階

介護居室

廊下

階段・エレベータ

スタッフルーム

食堂

厨房

浴室・脱衣所

トイレ

表2:測位データの分析結果（介護付き老人ホーム） 介護主任 看護

介護ヘルパー

リーダー 一般Ａ 一般Ｂ 一般Ｃ

午前

計測時間[h:m:s] 2:58:44 2:57:35 2:20:22 3:21:59 2:16:03 3:32:58

総歩数[歩] 3908 1032 3584 6692 2638 5654

総移動距離[m] 1569 434 1497 2653 1167 2503

エリア移動回数 220 124 227 700 410 442

フロア移動回数 8 6 12 16 10 30

午後

計測時間[h:m:s] 4:13:41 5:11:46 5:27:42 4:09:41 5:11:20 4:31:10

総歩数[歩] 1137 1430 5581 7065 3841 6368

総移動距離[m] 464 596 2386 2839 1732 2780

エリア移動回数 136 164 1025 782 748 709

フロア移動回数 2 6 34 19 20 37

表3:エリア別・フロア別の滞留時間割合（介護付き老人ホーム）

介護居室

廊下

階段・エレベータスタッフルーム

食堂

トイレ浴室・脱衣所

厨房

020

4060

80100

[%]

1階

2階 3階

4階

介護主任 看護介護ヘルパー

リーダー 一般Ａ 一般Ｂ 一般Ｃ

午前

エリア滞留時間割合

フロア滞留時間割合

午後

エリア滞留時間割合

フロア滞留時間割合

本稿では，労働集約型のサービス業における従業員

の行動計測を実現する枠組み，計測結果の分析・可視

化方法について述べた．5 節で述べた実際のサービス

現場での反応からも，本研究の有用性と意義は明確で

あると考える．今後は，作業内容推定および各要素デ

ータの計測・推定技術に関して引き続き研究を行う．

また，計測された要素データから QC 活動や業務分析

に活用可能な情報を抽出することを目指す．

謝 辞

本研究は平成 21 年度および 22 年度経済産業省委託

事業「 IT とサービスの融合による新市場創出促進事

業」として実施されました．計測実験にご協力頂きま

した産業技術総合研究所サービス工学研究センターの

皆様に感謝いたします．また，調査にご協力頂いきま

したがんこフードサービス，スーパーコート平野，西

村屋招月庭に御礼申し上げます．

文 献 [1] 本村陽一 , 西田佳史 , 持丸正明 , 橋田浩一 , 赤松

幹之 ,内藤耕：サービスイノベーションのための大規模データの分析・モデル化・サービス設計スパイラル，人工知能学会第 22 回全国大会 (JSAI2008), pp. 3B3-1, 2008.

[2] 吉川弘之：サービス工学序説– サービスを理論的に取り扱うための枠組み– ，シンセシオロジー , Vol. 1, 2, pp. 111 - 122, 2008.

[3] M. Kourogi and T. Kurata: “Personal Positioning based on Walking Locomotion Analysis with Self-Contained Sensors and a Wearable Camera,” Proc. the 2nd Int. Symp. on Mixed and Augmented Reality (ISMAR03), pp.103 - 112, 2003.

[4] M. Kourogi, N. Sakata, T. Okuma, and T. Kurata: “Indoor/Outdoor Pedestrian Navigation with an Embedded GPS/RFID/Self-Contained Sensor System,” Proc. of Int. Conf. on Artificial Reality and Telexistence (ICAT2006), pp. 1310 - 1321, 2006.

[5] M. Kourogi, T. Ishikawa, and T. Kurata: “A Method of Pedestrian Dead Reckoning Using Action Recognition,” IEEE/ION PLANS 2010 Position Location and Navigation Symp., pp. 85 - 89, 2010

[6] T. Ishikawa, M. Kourogi, T. Okuma, and T. Kurata: “Economic and Synergistic Pedestrian Tracking System for Indoor Environments,” In Proc. of Int.

Conf. on Soft Computing and Pattern Recognition (SoCPaR2009), pp.522 - 527, 2009.

[7] T. Ishikawa, T. Kalaivani, M. Kourogi, A. P. Gee, W. Mayol, K. Jung, and T. Kurata: “In-Situ 3D Indoor Modeler with a Camera and Self-Contained Sensors,” In Proc. 13th Int. Conf. on Human-Computer Interaction (HCII2009), pp.454 - 464, 2009

[8] M. Kitajima, M. Nakajima, and M. Toyota: “Cognitive Chrono-Ethnography: A Method for Studying Behavioral Selections in Daily Activeties,” Proc. of Annual Meeting of Human Factors and Ergonomics Society, 2010.

[9] 竹中毅 , 新村猛 , 石垣司 , 本村陽一：外食産業におけるサービス工学の実践，第 24 回人工知能学会全国大会予稿集，2010.

[10] A. Lee, T. Kawahara, and K. Shikano, “ Julius — an open source realtime large vocabulary recognition engine, ” Proc. European Conf. on Speech Communication and Technology, pp. 1691 - 1694, 2001.

[11] J.Lin, G.Xiang, J. I. Hong, and N. Sadeh: “Modeling People’s Place Naming Preferences in Location Sharing,” Proc. the ACM Int. Conf. on Ubiquitous Computing (UbiComp 2010), pp. 75 - 84, 2010.

図6:温泉旅館の3D環境モデル