サポート問合せ分析による 利用時の品質向上及び … › sqip › symposium ›...
TRANSCRIPT
Copyrights Nihon Knowledge Corp 1
サポート問合せ分析による利用時の品質向上及びシステム品質向上
上田 和樹(日本ナレッジ株式会社)
丹場 順次(日本ナレッジ株式会社) 加藤 大受(ウイングアーク1st株式会社)
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 2
発表者 自己紹介
氏名:上田 和樹(うえだ かずき)
所属:日本ナレッジ株式会社 札幌事業所 所長
経歴
2000年よりIT業界へ転職。札幌にて販売管理パッケージソフトの品質保証課に所属。ソフトウェアテストと品質改善に取り組む
2009年よりCMMIのアプレイザルチーム所属及びSQA担当。プロセス改善に取り組む。
2010年より日本ナレッジ株式会社に転職。札幌テストセンターを立ち上げ。
• ASTER JaSST北海道実行委員長
• 日科技連 SQiPソフトウェア品質管理研究会 副主査
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 3
背景既存の問題点問題解決への施策 品質モデルの検討 問合せデータ分析方法の検討 分析の実施 分析結果のフィードバック
問題解決の測定今後の検討
AGENDA
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 4
背景
組織
BIソリューションパッケージソフトの開発・販売・保守
所属
テクニカルサポート部門および品質保証部門
役割
テクニカルサポート部門として、顧客問合せ対応
テクニカルサポート部門及び品質保証部門として、プロダクト品質やサービス品質の向上のためのプロセス改善
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 5
テクニカルサポート部門
利用者
背景 ~サポート&品質保証活動の方針~
顧客ニーズ 生の声
クレーム 要望
質問 障害
問合せ 回答
品質保証部門
開発部門
マニュアル制作部門
営業部門
分析データの展開
品質改善による顧客満足度向上 継続的な関係の維持
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 6
背景 既存の問題点 問題解決への施策 品質モデルの検討 問合せデータ分析方法の検討 分析の実施 分析結果のフィードバック
問題解決の測定 今後の検討
AGENDA
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 7
既存の問題点 ~経緯~
テクニカルサポート部門への問合せも増加
製品説明の為のFAQを追加
製品の販売数増加
問合せの増加傾向は変わらず
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 8
既存の問題点 ~解決したい問題~
• 利用者の問合せコスト増 • テクニカルサポート部門の負荷増 • 製品の信頼性低下
対策が急務!!!!
テクニカルサポート部門への 問合せが大幅に増加傾向
想定するビジネスリスク
問題
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 9
既存の問題点 ~原因の仮説~
品質の低下が要因?(仮説)
品質の調査と対策を行う必要がある
「品質」というものをどのようにとらえるか?
どの情報をもとに、どのように分析して、どこにフィードバックするか?
①品質分析
②分析結果のフィードバック
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 10
背景 既存の問題点 問題解決への施策 品質モデルの検討 問合せデータ分析方法の検討 分析の実施 分析結果のフィードバック
問題解決の測定 今後の検討
AGENDA
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 11
問題解決への施策 ~テクニカルサポート部門の立場から~
① 品質分析
テクニカルサポート部門
利用者 顧客ニーズ 生の声
クレーム 要望
質問 障害
問合せ
品質保証部門 開発部門
マニュアル制作部門営業部門
分析データの展開 ② 分析結果のフィードバック
③ 問合せデータの分析から根本要因とフィードバック先を特定する
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 12
問題解決への施策 ~施策のまとめ~
① 品質分析の方法決定(モデルの検討)
「品質」というものを、どのように捉えるか
② 問合せデータ分析方法の検討
問合せデータを、どのように分析するか
③ 分析の実施
問合せデータの分析実施
④ 分析結果のフィードバック
分析した結果をどのように活かすか
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 13
背景 既存の問題点 問題解決への施策 品質モデルの検討 問合せデータ分析方法の検討 分析の実施 分析結果のフィードバック
問題解決の測定 今後の検討
AGENDA
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 14
品質モデルの検討
~ 「品質」というものをどのようにとらえるか~
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 15
パッケージ製品 開発者
品質モデルの検討
ソフトウェア(製品)
あ―ど
開発チーム:
「製品のテストは適切に実施している」
開発者とパッケージ製品の関係を検討
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 16
パッケージ製品 利用者
ソフトウェア(製品) (利用者用)文書
運用
ハードウェア 性能
インフラ 移行計画 その他
耐負荷
システム
利用状況
あ―ど
利用者とパッケージ製品の関係を検討
品質モデルの検討
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 17
パッケージ製品
運用
ハードウェア 性能
インフラ移行計画 その他
耐負荷
利用状況
あ―ど
この部分に問題がありそう・・・?
利用者とパッケージ製品の関係を検討
品質モデルの検討
利用時の品質 システム品質
ソフトウェア製品品質 利用者用文書の品質
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 18
品質モデルの検討
利用時の品質(JIS X 25010:2013より)
利用者から見たシステムの品質(JIS X 25010:2013より)
製品品質(JIS X 25010:2013より)
ソフトウェア製品品質
• 提供しているソフトウェア自体の品質
システム品質
• ソフトウェアを利用するために必要な仕組み全てを含んだ品質。非提供ソフトウェアやハードウェアやシステムの運用など
利用者用文書の品質(JIS X 25051:2016より)
ソフトウェアを利用するために必要な文書の品質。マニュアルやFAQやリリースノート公開サイトなど
品質モデルで定義した
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 19
補足
~JIS X 250XXをモデルに採用した理由~
開発や品質保証部門での品質計画にSQuaREモデルを採用している
品質責任の決定や品質分析を行う際にSQuaREモデルを採用している
SQuaREモデルを採用すれば、テクニカルサポート部門と開発部門及び品質保証部門とが同じモデルで情報を共有できると考えた為
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 20
利用者
品質の相互影響モデルを以下で定義した
ソフトウェア品質 利用者用文書の品質
利用時の品質
影響を与える
影響を与える 双方に影響する
双方に影響する
システム品質
利用状況
人間
システム
品質モデルの検討
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 21
利用者
テクニカルサポート部門への問合せ増の原因を仮定
ソフトウェア品質 利用者用文書の品質
利用時の品質
影響を与える
利用状況
双方に影響する
双方に影響する
システム品質
問合せ増
どこかに問題がある
低下?
品質モデルの検討
影響を与える
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 22
背景既存の問題点問題解決への施策 品質モデルの検討 問合せデータ分析方法の検討 分析の実施 分析結果のフィードバック
問題解決の測定今後の検討
AGENDA
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 23
問合せデータ分析方法の検討
~ 問合せデータをどのように分析するか~
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 24
利用状況 製品 文書
要望 質問 不具合 要望 質問 不具合 要望 質問 不具合
品質モデルを利用してテクニカルサポート分析用のカテゴリーを策定
利用者側の観点
製品側提供の観点 製品提供側のフィードバック先(責任部署)の観点
利用時の品質に影響を与える要因を前述の品質モデルから導出
責任部署は例えば、「不具合」であれば品質保証部門と開発部門。「質問」はマニュアル制作部門やテクニカルサポート部門。
利用状況=システム品質
製品=ソフトウェア品質
文書=利用者文書の品質
問合せデータ分析方法の検討
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 25
利用者側の観点
「利用状況」:製品を使うために必要とする状況に関する問合せ
「製品」 :製品自体の実装機能や定義の使い方に対する問合せ
「文書」 :マニュアル、配布資料等に関する問合せ
利用状況 製品 文書
要望 質問 不具合 要望 質問 不具合 要望 質問 不具合
利用者側の観点
問合せデータ分析方法の検討
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 26
製品提供側の観点
「要望」 :要求度合が強い問合せ
「質問」 :問題に対して情報を提供する問合せ
「不具合」 :開発部署にて不具合として判定された問合せ
利用状況 製品 文書
要望 質問 不具合 要望 質問 不具合 要望 質問 不具合
製品側提供の観点
問合せデータ分析方法の検討
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 27
製品の運用(ライフサイクル)を考慮
製品の運用(ライフサイクル)により、想定される利用者が変わる(つまり、品質要求が変わる)
「要求定義」 :製品導入のための調査、評価、要件管理設計 「設計開発」 :製品導入に伴う設計開発、実装、検証、テスト運用
「運用保守」 :製品導入後の稼働保守、システム改良、パッチ適用
「マイグレーション」 :製品の別環境への移行やバージョンアップ
要求定義 設計開発 運用保守 マイグレーション
製品の運用を考慮した観点
問合せデータ分析方法の検討
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 28
利用状況 製品 文書
要望 質問 不具合 要望 質問 不具合 要望 質問 不具合 要求定義
設計開発
運用保守
マイグレーション
製品の運用を考慮した観点 利用者側の観点
利用状況 製品 文書
要望 質問 不具合 要望 質問 不具合 要望 質問 不具合
利用状況 製品 文書
要望 質問 不具合 要望 質問 不具合 要望 質問 不具合
利用状況 製品 文書
要望 質問 不具合 要望 質問 不具合 要望 質問 不具合
製品提供側の観点
問合せ番号 分類カテゴリ
工程 原因(利) 原因(提)
100020246X マイグレーション 利用状況 不具合
分類イメージ
問合せデータ分析方法の検討
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 29
背景 既存の問題点 問題解決への施策 品質モデルの検討 問合せデータ分析方法の検討 分析の実施 分析結果のフィードバック
問題解決の測定 今後の検討
AGENDA
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 30
過去の問合せデータの分類を実施
利用状況
57%
製品
37%
文書
6% 利用者側の観点
要望
11%
質問
70%
不具合
19%
製品提供側の観点
要件定義
8%
設計開発
14%
運用保守
[パーセンテージ]
マイグレーション
16%
製品の運用を考慮した観点
マイグレーションでの問題が予想以上に
多い
利用者は製品自体ではなく利用状況に多く問題を抱えている
期間:2015年02月~2016年11月7日問合せケース全体総数:14330件 対象製品:6製品
分析の実施
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 31
「マイグレーション」の内訳
分類 割合
移行計画 26%
移行後の互換 21%
バージョンアップ時のエラー 16%
バージョンアップ後の処理でエラー 12%
バージョンアップの操作、手順 11%
アクティベーションに関する質問 3%
その他 11%
認識していたよりも、はるかに大きい占有率
要件定義
8%
設計開発
14%
運用保守
[パーセンテージ]
マイグレーション
16%
製品の運用を考慮した観点
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 32
製品ごとの内訳
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
製品A 製品B 製品C 製品D 製品E 製品F
「マイグレーション」の製品ごと内訳
移行計画 移行後の互換
バージョンアップ時のエラー バージョンアップ後の処理でエラー
バージョンアップの操作、手順 アクティベーションに関する質問
その他
製品ごとの違いは大きくは
見られなかった(製品共通の問題)
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 33
マイグレーション移行計画の実態を調査
マニュアルについての問題が浮上
マイグレーション機能自体のマニュアルは存在していた
移行計画などの運用(利用状況)についての記載がマニュアルには無かった
• 移行する際の注意点や、リスクなど
マイグレーション移行の利用状況について、開発側として考慮されていないことが分かった
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 34
利用者
品質モデルでの分析
システムに関する 文書
ソフトウェアに関する 文書
ソフトウェア品質
利用時の品質
システム品質
利用状況 運用
ソフトウェア自体に関する文書には 問題が無い(利用者指摘も少ない)
利用者用文書の品質
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 35
利用者
システムに関する 文書
ソフトウェアに関する 文書
ソフトウェア品質
利用時の品質
システム品質
利用状況 運用
利用者用文書の品質
ソフトウェアと文書の整合性にも問題が無い (品質保証チームにて網羅的に行われている)
品質モデルでの分析
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 36
利用者
品質モデルでの分析
②システム品質の低下
③利用時の品質の低下
④テクニカルサポート部門への問合せ増
①システムと文書の一貫性に問題(利用者用文書の品質低下)
システムに関する文書
ソフトウェアに関する文書
ソフトウェア品質
利用時の品質
システム品質
利用状況 運用
利用者用文書の品質
ソフトウェア品質に関わる利用者用文書の品質には問題がなかったが、システム品質に関わる利用者用文書の品質に問題があった
①
②
③
④
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 37
背景 既存の問題点 問題解決への施策 品質モデルの検討 問合せデータ分析方法の検討 分析の実施 分析結果のフィードバック
問題解決の測定 今後の検討
AGENDA
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 38
① パフォーマンス
移行時間の参考計測値を移行手順書やFAQなどで公開する。
② 移行前におさえておきたい注意点、移行環境の注意点
よくありそうな問合せは、事前確認ポイントとしてマニュアルや移行手順書に記載、またはチェックシートを提供する。
トラブル事例をFAQで記載する。
③ 移行後の動作、状態の確認
移行後の動作、環境確認の一連の確認事項のチェックシートを提供する。
④ 移行後の動作確認のための平行運用
マニュアル、移行手順書に再移行の場合の手順を製品ごとに記載する。(平行運用中に更新された環境を再度移行する必要があるため)
マイグレーション移行計画についての問合せ内容をさらに分類した結果、4つの問題点が明確になり、問題解決として以下の施策を検討した。
分析結果のフィードバック
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 39
改善された実際のマニュアル内容(抜粋)
Step 1 移行計画を立案 移行計画の概要
移行計画で使用するチェックシートについて
移行計画立案の工程
動作環境の変更に伴う影響
移行前に実施する作業の確認
移行後に設定変更が必要な項目の確認
移行できない設定の確認
Step 2 移行の準備 略
Step 3 移行作業を実施 略
Step 4 関連製品の設定を変更 略
Step 5 移行結果を確認 略
Step 6 旧バージョンの製品をアンインストール
略
目次案をテクニカルサポート部門で作成。 テクニカルサポートメンバーがフォローしながら、マニュアルチームと合同で進めた。
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 40
背景既存の問題点問題解決への施策 品質モデルの検討 問合せデータ分析方法の検討 分析の実施 分析結果のフィードバック
問題解決の測定今後の検討
AGENDA
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 41
仮説 システム品質に関わる利用者用文書の品質に問題があるために、テクニカルサポート問合せが多い(利用者用文書の品質が上がれば、問合せは減る)
検証方法 i. 改善したマニュアルに、過去のすべての問合せ内容を利用者が解
決できる内容が含まれていることを、レビューにて確認する
ii. 改善後のマニュアルに従い、想定利用者(実際に製品移行の計画を立てる人物像)がマイグレーション計画を立てることができるかをシミュレーションする
iii. 過去のマイグレーション移行計画に関する問合せが再び発生しないことをシミュレーションで確認
過去の問合せへの対策がマニュアルに反映されているか
改善したマニュアルを使用して問題なく移行計画を立てられるか
過去に起きた問合せが再度発生しないか
問題解決の測定
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 42
シミュレーションとして、マニュアルベーステスト[1]を行った結果、以下が確認された
i. 過去問合せ586件に対しての解決内容が、全てマニュアルに反映されたことがレビューによって確認された
ii. マニュアルベーステストの結果、想定利用者(開発者を想定)と同様のスキルセットを持ったテスト担当者が今回作成した移行マニュアルに従ってシステム移行を試みた結果、移行計画による問題が報告されていないことが確認された
iii. マニュアルベーステストでの20件の指摘の中で、過去の問合せ内容と重複する内容の件数が0件であることがレビューによって確認された
問合せ分析結果を文書に反映させることで、
問合せは減ると考えられる
[1]奥山亜耶子,加藤大受, “既成ソフトウェア製品の開発プロジェクト内での利用時の品質の評価手法とその導入効果”,ソフトウェア品質シンポジウム2016,2016年9月
検証結果
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 43
原因についての考察
提供側の(特に開発部門)の考慮の中心が「ソフトウェア品質」に偏っていた
「利用時の品質」や「システム品質」への考慮が不足して品質要求の漏れが生じた
製品の品質要求分析が事前に十分に行われていなかった
システム品質に影響を与える利用状況(運用)についての考慮が不十分だった
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 44
結論
品質向上手段として「利用者からの問合せ」の分析を行うことは非常に有効
利用者側からの視点及び製品運用の観点を考慮できる
品質モデルでの「利用時の品質」「システム品質」「ソフトウェア品質」を網羅する品質要求分析が可能になる
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 45
背景既存の問題点問題解決への施策 品質モデルの検討 問合せデータ分析方法の検討 分析の実施 分析結果のフィードバック
問題解決の測定今後の検討
AGENDA
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 46
今後の検討
今回の分析結果を活用することで、さらなる多面的な視点での分析アプローチが有用と思われる
各品質モデルの関連についてさらに詳細に分析する必要がある(テクニカルサポート部門のサービス品質も含めて)
テクニカルサポート業務フローへの実導入
実業務の中での運用については今後の検討
品質特性(主特性・副特性)分析の活用
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 47
JIS X 25010:2013の品質体系
製品の品質
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 48
JIS X 25010:2013の品質体系
利用時の品質
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 49
JIS X 25051:2016の品質体系
利用者用文書の品質
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 50
問合せの分類に品質特性を加える
1.工程
2.原因(利用者視点)
3.原因(提供者視点)
4.品質特性
問合せ番号 分類カテゴリ
工程 原因(利) 原因(提) 品質特性
100020246X マイグレーション 利用状況 不具合 互換性
分類イメージ
利用状況 製品 文書
要件定義 設計開発 運用保守
要望 質問 不具合
マイグレーション
機能適合性 性能効率性 互換性 使用性 信頼性 セキュリティ
移植性 その他(文書)
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 51
分析のサンプル
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 52
参考文献
• 日本工業標準調査会,“システム及びソフトウェア製品の品質要求及び評価(SQuaRE)−システム及びソフトウェア品質モデル”,JIS X25010,2013年6月
• 日本工業標準調査会, “システム及びソフトウェア製品の品質要求及び評価(SQuaRE)-既製ソフトウェア製品(RUSP)に対する品質要求事項及び試験に対する指示”,JIS X 25051,2016年3月
• 奥山亜耶子,加藤大受, “既成ソフトウェア製品の開発プロジェクト内での利用時の品質の評価手法とその導入効果”,ソフトウェア品質シンポジウム2016,2016年9月
ソフトウェア品質シンポジウム2017
Copyrights Nihon Knowledge Corp 53
ありがとうございました。
札幌事業部
〒 060-0001
北海道札幌市中央区北1条西3丁目3番地
敷島プラザビル 7F
日本ナレッジ株式会社
本社
〒111-0042
東京都台東区寿3-19-5 JSビル9階
http://www.know-net.co.jp/
ソフトウェア品質シンポジウム2017