効率的なテストを計画しようMVP Community Camp Tokyo 2014 at 2014/3/20かめがわかずし(@kkamegawa/id:kkamegawa)

自己紹介亀川 和史(かめがわかずし) / 会社員Twitter:@kkamegawa

Facebook:https://www.facebook.com/kkamegawa/Microsoft MVP for Visual Studio ALM(2012/7～)今どきのソースコード管理

http://www.atmarkit.co.jp/ait/articles/1303/01/news082.htmlはじめてのTeam Foundation Server 現在発売中

http://www.shuwasystem.co.jp/products/7980html/4046.html

本セッションでやること/やらないことやることTeam Foundation Server/Test Managerを利用したテストの効率化紹介TFS Express Editionでも使えます

やらないことアプリケーションにおけるテスト方法論やテスト設計

よくあるテスト管理きっとみたことあるはず

よくある(?) Excelのテストケース管理

Excelワークシート

エビデンス

開発者テスター

これでよさそうだけどテストケースの修正が大変(Excel方眼が…)

コメント大変別のExcelシートにスクリーンキャプチャへの参照を作るのが面倒

検索ができない SharePointに入れていればまだしも(でもたぶんやってない)

複数同じ手順を繰り返す(ログインして画面起動まで)とき、同じことを繰り返し書く→

テストケースを管理するソフトウェアプロプラエタリ製品(要求管理も一緒になっているものが多い)の例 Rational ClearQuest(IBM)

http://www-06.ibm.com/software/jp/rational/products/scm/cq/Quality Center(HP)

http://www8.hp.com/jp/ja/software-solutions/software.html?compURI=1172141 Silk Central(Borland)

http://www.borland.com/products/silkcentral/

オープンソース TestLink(通常Issue Trackerと連携して実行される)

http://www.teamst.org/

Visual Studioでは？

TFSで管理 ブラウザ/専用クライアント

要件管理と連携

タスク管理と連携

ソースコード管理と連携

テスト環境を管理

Test Managerでの管理

Test Managerってなに？ TFSのフロントエンドの一つ Visual Studio OnlineとオンプレミスTeam

Foundation Serverどちらも管理可 Visual Studio Onlineだと一部英語UI

Webブラウザでも同じことが可能

UIはTFS 2010の頃からほぼ変わってない

標準でラボセンターとテストセンターの二つが使用可能

Test Managerの拡張例標準機能以外にも独自で拡張可能

拡張例:Test Scribe for Visual Studio 2013(Word への出力を行う)http://visualstudiogallery.msdn.microsoft.com/e029e3a1-c246-4737-8943-c90d68803c18

画像は上記URLから引用

Test Managerのテストセンターチームプロジェクト単位でテストを管理

最初に決めるのは「テスト計画」

区分/イテレーションの考えはVisual Studioと同じ。Webアクセスでも同じ操作が可能

手動テスト/自動テスト(ラボ設定が必要)/探索テストを管理する

Team Foundation Serverのテスト管理スプリント単位でテストを作成毎回一から作る？→別のスプリントからコピペ、共有が可能。必要なものは別のスプリントでも再利用もっと簡単に一括コピーするツールもある(Bulk Copy Test Cases for Microsoft Test

Manager : TFS 2010/2012/2013用がある)http://visualstudiogallery.msdn.microsoft.com/cdc43e42-0dd3-49a5-bf98-9f44a372f14e

テスト対象環境との関連付け→Windows 8/特定ブラウザ対応テスト、といったシステムでフィルタリング可

テスト項目にはいろんなものを関連付けることができる(プロダクトバックログアイテム/タスク/フィードバックなど)

テストと作業項目を関連付けておくと後でいいことがあるよ！

手動テストTest Managerにテストの手順を登録

画面と手順を見比べながらテストを実施

間違いやコメントをその場で記録して、フィードバック→フィードバックという項目でタスク登録される

手順

パラメータ

自動テストラボセンターで自動テスト環境を構築

テスト計画で登録したテストに対してラボセンターのテスト環境を関連付け

以上終わり！

TFSのサーバービルド時に自動テストを行うことも可能(プロセステンプレートが変わる)

自動化テストの構成

SCVMMエージェント

SCVMM管理サーバ

Webサーバ &エージェント

VM&テンプレートHyper-Vホスト

Team Foundation Server

Team Foundation Server

テストコントローラ

標準環境

ビルド時に自動テストする場合

CI用ビルド作る

自動テスト環境を作る

ラボビルドを設定

※:ラボビルド時に配置スクリプトの用意が必要

探索テストいわゆるランダムテスト

テストマネージャーでの計画は不要でそのまますぐ始められる。

操作者に自由に触ってもらって、気になったところを記録する

操作時の動画のほか、音声記録も可能

テストマネージャーとIntelliTrace

テスト実行中(手動/自動)にクラッシュした場合の実行履歴をさかのぼって調査することができる(解析は要Ultimate Edition)

実行時性能に重大な影響が出るため、工夫が必要出力先をSSDにするイベントを絞る

テスト中にクラッシュしたときの対応

TFS + Test Controller

開発者 テスター

失敗したテストをTestManagerで登録

(.itraceファイルも登録)

テスト結果を参照して.itraceファイルを開く

.itraceファイル(IntelliTrace)

テストマネージャーと操作ログUIの操作をレコーディングしてTFSに記録する

クライアントロールの手動テストのみ選択可能(自動は最初から操作が設定されているので必要ありませんよね)

こんなに記録していたらひょっとして…？ TFSのデータはもちろんずっと増えていくので、注意。

特にTFS Expressではデータ上限が10GB(SQL Server Express Editionの仕様)となるので、要注意TFS ExpressとTFS(標準環境)との比較http://www.atmarkit.co.jp/ait/articles/1303/01/news082_3.html

TFS Power ToolsのAttachment Cleanerで定期的に削除しよう。

TFS Power Tools 2012以降に同梱。2010向けには拡張機能で提供。http://visualstudiogallery.msdn.microsoft.com/3d37ce86-05f1-4165-957c-26aaa5ea1010/

Test Managerのラボ機能テスト用の環境を管理する大規模向けSCVMMを使用する中小規模向け標準環境で実行するどちらでもできることは基本同じ

夜中に起動してシステムテストを行うといったことが可能

テスト中に発生した障害情報をTFSに格納可能して開発者が参照

資産の活用過去に作った資産があるので無駄にしたくない、テスト部分をお試しで使ってみたい→TFSのAPIを使ってデータ移行する方法http://blogs.msdn.com/b/visualstudioalm/archive/2012/11/27/integrating-existing-testing-systems-with-microsoft-test-manager-team-foundation-server-and-visual-studio.aspx

Quick Test Professionalとのデータ連携ツール(TFS 2010用)http://visualstudiogallery.msdn.microsoft.com/ef313348-8fd1-463b-9404-7472db99fda5

WebもTest Managerも使いたくない方向けTeamSolutionsのTeam SpecというアドオンでWordから各種編集可能要求事項登録/編集作業項目登録/編集テストケース管理オフラインもサポート

Visual Studio 2010~2013Office 32bit/64bit対応

http://www.teamsystemsolutions.com/teamspec/features/test-management.aspx より引用

できるところからこつこつと最初からいきなり全部やろうとしても挫折します。

まずは手動テスト/探索テストの手順を管理するところから

自動テストはできればやりたいですね。回数繰り返さないときついWindows やブラウザに限らずいろんなものがラピッドリリースになっているので、やらないと大変かも？

本日の環境

ドメインコントローラー

TFS2013SQL Server

Web Serverテスト

コントローラー(UIテストをしない用)

Windowsクライアントテスト

コントローラー(UIテスト構成用)

ThinkPad T420s/16GB Memory/Intel SSDのWindows 8.1 Hyper-V仮想マシン上

まとめTest Managerはテストに関する情報を一手に格納/閲覧することができます。

Excel方眼(ryでの管理はそろそろ卒業したいですね

TFS単独以外にもいっぱい支援ツールがあるので、資産の活用も可能