Тестирование приложений с помощью Microsoft Test Manager 2010

Антон ВидищевSigma Ukraine

Содержание доклада

• Философия и цели• Microsoft Test Manager– Тест-планы– Управление тест-кейсами– Написание тестов– Запуск тестов– Быстрое выполнение ручных тестов

• Введение в Coded UI Tests

Visual Studio 2010

Баги в ПО обходятся экономике США в $59.5 млрд ежегодно

В среднем профессиональные разработчики допускают от 100 до 150 ошибок на 1000 написанных строк

В прошлом году отмененные проекты стоили компаниям $67млрд; превышения бюджета проектов обошлись в $21 млрд

USS Yorktown, SmartShip

• Член экипажа ввел 0 в поле ввода, что повлекло ошибку деления на 0 и отключило все системы корабля.

• Был полностью отключен 2ч 45м

Ariane 5 Flight 501

• Использовался код для шаттла Ariane 4, однако траектория изменилась из-за другого дизайна ускорителя

• Преобразование из 64bit float в 16bit signed int вызвало переполнение (обработка исключений была отключена в целях повышения производительности)

• Стоимость ошибки > $370млн по ценам 1996 года

© Microsoft

© Microsoft

© Microsoft

Как повысить качество ПО?

Development

Test

Release

Фаза разработки

Сто

им

ость о

ши

бки

Development

Test

Release

Фаза разработки

Сто

им

ость о

ши

бки

Сегментация тестировщиков

Generalist Specialist

Manual Testing

Some scripting

Creates scripts to set up lab, create data

Strong scripting skills

Some coding skills

Strong coding

Develops automated testing procedures

Expert coding skills

Black Box Testing

White Box Testing

API Testing

70% тестирования происходит здесь

Большинство средств работает

здесь

• Что часто происходит, когда тестировщик находит баг?

Microsoft Test Manager 2010

ДемонстрацияРабота с тест-планамиУправление тест-кейсамиСоздание и запуск тестовFast forward для ручных тестовCoded UI Tests

Automation Platform SupportFully supported platform

Partial solution. Further work required in future to complete

Best efforts with known issues. Users can workaround these cases in the code. No major ongoing investment.

Currently no support but on the roadmap for future releases

Currently no support and none planned for now. Opportunity for partners to add this using the Extensibility support. Docs and samples around extensibility are here.

For latest info on this, refer this post.

Platform RTM RTM+ Notes

IE7/8 – HTML/AJAX

Windows Forms 2.0+

.NET Fx Controls fully supported, working on 3rd party support

WPF 3.5+.NET Fx Controls fully supported, working on 3rd party support

SharePoint 2007

Windows Win32 TBD – Known issues & Workarounds

MFC TBD – Known issues & Workarounds

FF3 – HTML/AJAX Currently in Beta

Dynamics (Ax) TBD – Release Plan

Silverlight TBD – Release Plan

Citrix/Terminal Services

The client (MTLM or VS) need to be on remote machine

Office Client Apps

IE 6 Opportunity for partners to add this using the Extensibility support. Docs and samples around extensibility are here.

Chrome/Opera/Safari

Flash/Java

SAP

Полезные ссылки

• Блог Брайана Келлераhttp://blogs.msdn.com/b/briankel/

• Speakflow-диаграмма и видеоhttp://archive.speakflow.com/vs2010testing