asian automation alliance システムテスト自動化構築時の考え方と進め方の一例

1 2014/6/28 Asian Automation Alliance システムテスト自動化構築時の考え方と進め方の一例

システムテスト自動化構築時の

考え方と進め方の一例

みずのり（水野のりゆき）＠WARAI（関西SWテスト勉強会）検これ（関西検証コレクション）

6/28 Asian Automation Alliance


自己紹介とか

出身：苫小牧市 ※お花やさんです

大学は仙台

現所在：兵庫県伊丹市

氏名：水野昇幸（みずののりゆき）

現所在：兵庫県伊丹市出身：北海道苫小牧市職業：某電機メーカーシステム開発から保守まで担当

※QAでなく開発担当っす！ Twitterアカウント： @NoriyukiMizuno みずのりやってますよ。

自動化歴：自動テストやりすぎてシステム壊したことがある程度。


コンテンツ

目的：「考え方」の一例を知ってもらって、

皆様の自動化推進に役立てて貰いたい！


コンテンツ

・やられマップからの景色

・考え方・進め方の一例 - 認識の統一

- 自動化ターゲットの設定

- 効果と手間のトレードオフ


やられマップからの景色

やられマップからの景色。


クラウドトーク（もやもやした会話）

XXXのテストケースを自動化してみよう！

出来ました！自動で画面操作、定義データの入力をします！

いいね！定義するデータはどうやって作るの？

Excel使えばバッチリです！この表に入力して、 CSV形式で保存してください。

（自動…化？）じゃあ、結果の確認はー？

画面で「OK」とか出ますので、それを見て結果は判断できますよ？


とある事例（自動化とりあえずやってみる）

自動化出来るところは、やって行きましょう～！

3日かけて仕組みを作りました！

実施しましょう。何件のテストケースが出来ます？

え！？∑（￣□￣；

2件です！


目的を忘れるとは、おろかなる人間に

最もありがちなコトだ～ニーチェ

本末転倒（目的を忘れた自動化）


今回のおはなし

今回は、このような状況を回避することが

出来る（かもしれない）一例を紹介します。

クラウドトーク本末転倒

３つの切り口：

１．認識の統一

２．自動化ターゲットの設定

３．効果/手間のトレードオフ

認識の統一

自動化ターゲットの設定

効果/手間のトレードオフ


一応コンテキスト

一応、こんな感じを想定しています。

A)システムテストの話、自動化環境構築の話

B) テスト実装とテスト実行を中心

C) 「考え方」を中心に

認識の統一



３つの切り口：

１．認識の統一

２．自動化ターゲットの設定

３．効果/手間のトレードオフ


課題からの対策：認識の統一

テスト実施の自動化だけでも、

やるコトが沢山あって特定がむずい。

クラウドトーク

共通の認識、表現があれば良いかも？

認識の統一




テストケース

データ要素

手順期待結果

テストケース

データ要素

手順期待結果

テストケース

データ要素

手順期待結果

テストケース

データ要素

手順期待結果

Control （テスト対象制御）

Behavior （対象のふるまい）

Report （結果収集、報告）

Judge （テスト結果判定）

Monitor （テスト結果監視）

Test Scenario Scheduler

テストデータ

結果及びデータ

テスト成績

テスト成績

テスト成績

テスト成績

異常通知

異常、NG 発生時

Drive （テスト駆動）

自動テストシナリオ Test Scenario

SUT Layer

Tool Layer

テストケース仕様書 ※システムテストの時

テスト成績書

Generate （データ生成）

現記載の名称は（仮）となります。

認識の統一：つくってみた。 Automation of Test Implementation/Execution

認識の統一



Data Layer


課題からの対策：自動化ターゲットの設定

いつのまにか目的が遠くに…

「やること」と「効果」を

分かりやすく繋げてみると良いのでは？

本末転倒

認識の統一





こんな感じで考えてみる。

テストケースケース数

1XXXX -

|- 11XXX 100

|- 12XXX 5

|- …

2XXXX

|- 21XXX 30

|- 22XXX 40

Generate Drive Control Monitor Judge Report

- - - - - -

マクロA Tool-A Sim-A 不要 Tool-X 不要

マクロB Tool-B Sim-A 不要 Tool-Y 不要

マクロA Tool-A Sim-B 不要 Tool-X 不要

マクロA Tool-C Sim-B 不要 Tool-X 不要

注：テストケースはテスト上流設計を行い構造化されています。

認識の統一



テストケースデータ要素

手順期待結果


手順期待結果


手順期待結果


手順期待結果

Control（テスト対象制御）

Behavior（対象のふるまい）

Report（結果収集、報告）

Judge（テスト結果判定）

Monitor（テスト結果監視）

Test Scenario

Scheduler

テストデータ


テスト成績

テスト成績

テスト成績

テスト成績

異常通知

異常、NG

発生時

Drive（テスト駆動）

自動テストシナリオ

Test Scenario

SUT Layer

Tool Layer

テストケース仕様書※システムテストの時

テスト成績書

Data LayerGenerate

（データ生成）



こんな感じで考えてみる。


1XXXX -

|- 11XXX 100

|- 12XXX 5

|- …

2XXXX

|- 21XXX 30

|- 22XXX 40

Generate Drive Control Monitor Judge Report

- - - - - -

マクロA Tool-A Sim-A 不要 Tool-X 不要

マクロB Tool-B Sim-A 不要 Tool-Y 不要

マクロA Tool-A Sim-B 不要 Tool-X 不要

マクロA Tool-C Sim-B 不要 Tool-X 不要

注：テストケースはテスト上流設計を行い構造化されています。

認識の統一




手順期待結果


手順期待結果


手順期待結果


手順期待結果

Control（テスト対象制御）

Behavior（対象のふるまい）

Report（結果収集、報告）

Judge（テスト結果判定）

Monitor（テスト結果監視）

Test Scenario

Scheduler

テストデータ


テスト成績

テスト成績

テスト成績

テスト成績

異常通知

異常、NG

発生時

Drive（テスト駆動）

自動テストシナリオ

Test Scenario

SUT Layer

Tool Layer

テストケース仕様書※システムテストの時

テスト成績書

Data LayerGenerate

（データ生成）

Tool-Xの完成で 100件実施可能。次は何を作ろう？


課題からの対策：効果と手間のトレードオフ

（テスト自動化での回帰試験、技術の獲得、プロセスが洗練する…とかも有りますが）

今回はWFなマネジメントの視点で紹介します。

パターン① 結局、より早く安ければ良い。

Time

マニュアル

自動化（構築＆実施）

認識の統一




1XXXX -

|- 11XXX 100

|- 12XXX 5

|- …

2XXXX

|- 21XXX 30

|- 22XXX 40



パターン② 短工期での三平戦術

マニュアル Only

マニュアル

マニュアル

自動化工数は少し増えるが短工期化が可能！

Time

自動化



認識の統一





パターン② 短工期での三平戦術 Time



マニュアルマニュアルマニュアル

自動化構築

自動化実施

認識の統一





パターン② 短工期での三平戦術

試験A

次の試験試験B

試験C（マニュアル）

試験C（自動化）

試験C

Time

次の試験

クリティカルパスに適用することで全体の工期改善へ。



認識の統一




まとめ

やられマップにハマらないように以下のようなことが役立つ（かも）

- 認識の統一

- 自動化ターゲットの設定

- 効果と手間のトレードオフ認識の統一




おしまい！

ご清聴ありがとうございました！

asian automation alliance システムテスト自動化構築時の考え方と進め方の一例

Technology