testing μέσα από το visual studio!
DESCRIPTION
31/5/2012. Testing μέσα από το Visual Studio!. Testing για τον Tester/Manager. 31/5/2012. Testing για τον Tester/Manager. Γιώργος Καρκαλής Στάθης Μαρίνος SafeCape Software Solutions. SafeCape Software Solutions. Ασχολούμαστε με: Ανάπτυξη και διάθεση προϊόντων λογισμικού - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/1.jpg)
Testing μέσα από το Visual Studio!
31/5/2012
Testing για τον Tester/Manager
![Page 2: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/2.jpg)
Testing για τον Tester/Manager31/5/2012
Γιώργος ΚαρκαλήςΣτάθης Μαρίνος SafeCape Software Solutions
![Page 3: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/3.jpg)
SafeCape Software Solutions− Ασχολούμαστε με:
− Ανάπτυξη και διάθεση προϊόντων λογισμικού
− Ανάλυση, σχεδίαση και ανάπτυξη έργων πληροφορικής
− Λύσεις end to end− ALM-Sharepoint-Project Server− Είμαστε:
− Microsoft Silver Partner− Dedicated Visual Studio reseller για την
Ελλάδα
![Page 4: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/4.jpg)
Τα εμπορικά προϊόντα μας− Insurance.Office
− Διαχείριση ασφαλιστικών πρακτορείων
− Accounting.Office− Λογιστική
− Reinsurance.Broker− Διαχείριση πρακτορείου αντασφαλειών
− Framework.Health− Πλατφόρμα ανάπτυξης εφαρμογών για το χώρο της υγείας
− Rules Toolset− Εύκολος ορισμός σύνθετων κανόνων και μετασχηματισμός τους σε
προσωποποιημένες αναφορές (Personal Genetics)
![Page 5: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/5.jpg)
Dedicated Visual Studio reseller− Είμαστε developers του Visual Studio
(με μεγάλη πείρα)− Έχουμε προϊόντα «εκεί έξω» που τα
συντηρούμε− Μιλάμε την «ίδια γλώσσα» με εσάς− Μπορούμε να σας βοηθήσουμε με το
licensing
![Page 6: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/6.jpg)
Agenda− Use case− Testing the UI (Coded UI Tests)− Testing web apps / services (Web
Tests)− Load Testing− How do I get it (Εκδόσεις &
Αδειοδότηση)
![Page 7: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/7.jpg)
Use Case
![Page 8: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/8.jpg)
Use case - Overview− Customer:
−Ασφαλιστική εταιρία (Ins. Co.)
− Αντικείμενο: −Σύστημα υπολογισμού
ασφαλίστρων:− Μηχανισμός τιμολόγησης ως Web
Service− Desktop application (proof of concept)− Web site (B2C)
![Page 9: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/9.jpg)
Use case - Overview− ISV: SafeCape
− Μηχανισμός τιμολόγησης:Powered by Rules.Toolset, available:− On premise− SaaS – Azure
− Ανάπτυξη λογισμικού:− desktop application (WPF)− web application (ASP.NET)
![Page 10: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/10.jpg)
Rules.Toolset design tools1. Model Editor
• Authoring tool - Desktop application• Quality Control Client
2. Report Template Editor• Report template authoring tool, ένα Word
2007/2010 Add On
![Page 11: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/11.jpg)
Rules.Toolset Services1. Modeler (Execution engine) 2. Report Generator (produces Open XML
docs)3. Quality Control
Available as:• In-process (dlls) – (χωρίς Quality Control)• Web services
• On premise (IIS/SQL)• Windows Azure (Web Role) / SQL Azure
![Page 12: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/12.jpg)
SafeCape Challenges (ISV)− Τι απόκριση έχει το σύστημα;
− Τι φόρτο μπορούν να σηκώσουν τα web services σε:− On premise – typical configuration− Azure : instance size / number of instances
− Tι κόστος θα έχει η υπηρεσία στο Azure ανάλογα με τις ανάγκες του εκάστοτε πελάτη; − Τι business model θα ακολουθήσουμε; − Ποια θα είναι η τιμολογιακή μας πολιτική;
![Page 13: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/13.jpg)
Ins. Co. Challenges (Customer)− Η λύση της SafeCape μπορεί να ανταποκριθεί στο
φορτίο μας;
− Η custom εφαρμογή που θα μου παραδώσει η SafeCape ανταποκρίνεται στις απαιτήσεις μας (UAT);− Functional requirements− Non-functional requirements (απόκριση, φόρτος)
− Η διαδικτυακή υπηρεσία που θα παρέχω στο ευρύ κοινό, η οποία θα βασίζεται στο Rules.Toolset, θα μπορεί να ανταποκριθεί στην προσδοκώμενη ζήτηση;
![Page 14: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/14.jpg)
Visual Studio Testing Tools
![Page 15: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/15.jpg)
Visual Studio Testing Tools− Σε ποιους απευθύνεται;
− Αυτούς που παράγουν λογισμικό− Αυτούς που παραλαμβάνουν λογισμικό
− ΔΕΝ περιορίζεται σε:− .ΝΕΤ εφαρμογές− Τεχνολογίες Microsoft
− Μπορεί να τεστάρει:− Οποιαδήποτε web τεχνολογία: php, Java, python, node.js
…− UI: Windows OS (βλ. CUIT Platform Support)
![Page 16: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/16.jpg)
Testing the UI
![Page 17: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/17.jpg)
Testing the UI• Regression tests• Data driven tests
− Automate complex scenarios
• Functional requirements• Non-functional requirements
− Response times (Load test)
• Create UI Test using:− Coded UI Test Builder (recorder)− Existing Action Recording (TFS/MTM)
− Manual tests− Exploratory tests (VS11)
![Page 18: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/18.jpg)
Code UI Test Platform Support
![Page 19: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/19.jpg)
DemoCoded UI Tests
![Page 20: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/20.jpg)
Testing Web Apps
![Page 21: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/21.jpg)
Testing web apps− Web Performance Tests : HTTP based
− Record->Edit->Playback− Το βασικό δομικό στοιχείο για το Load
testing− Web Test Recorder (IE Add-on)
− Ανιχνεύει δυναμικές παραμέτρους:− Sessionid, cookies, hidden form fields-
viewstate− Aυτόματο correlation των παραμέτρων:
− Extract from response -> Bind to request− Web Test Playback (VS)
− Page preview / request-response content− Find/extract tools
![Page 22: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/22.jpg)
Authoring web tests− Declarative editing
− Looping / conditional branching− Extraction rules− Validation rules
− Verification− Goal validation rules (e.g. response time <
2sec)− Data driven tests− Transactions
![Page 23: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/23.jpg)
Advanced features− Δυνατότητα μετατροπής σε coded
web test− Extensibility – custom plugins
− Web test recorder plugins− Web test result viewer plugins
![Page 24: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/24.jpg)
DemoWeb Tests
![Page 25: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/25.jpg)
Load Testing
![Page 26: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/26.jpg)
Load Testing Terminology− Response time
− Ποιος ο χρόνος απόκρισης μίας σελίδας/ συναλλαγής, κάτω από δεδομένο φορτίο?
− Throughput− Πόσες αιτήσεις/συναλλαγές ανά
δευτερόλεπτο μπορεί να χειριστεί ο server?
− Resource utilization− Πόσους πόρους (CPU, memory, network)
καταναλώσει το σύστημα σε δεδομένο φoρτίο?
![Page 27: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/27.jpg)
Load/Stress Test Feature Set (1)− Ευέλικτη μοντελοποίηση του φόρτου
− Σενάρια χρήσης για διαφορετικές ομάδων χρηστών
− Load patterns− Goal-based− Step− Constant
− Διαφορετικοί browsers και τύποι δικτύων − Duration-based and iteration based
![Page 28: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/28.jpg)
Load/Stress Test Feature Set (2)− Συλλογή δεδομένων και μετρικών
− Performance Counters− Integration με data collectors
− ASP.net profiler− Intellitrace™
− Full test results on errors− Ανάλυση αποτελεσμάτων
− Γραφήματα− Στατιστικά− Αναφορές απόδοσης στο Excel− Virtual user activity chart
![Page 29: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/29.jpg)
Load Test Architecture
database serverMicrosoft Test Manager 2010
test controller
Load agent
Visual Studio
Web server
![Page 30: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/30.jpg)
Load patterns− Goal based
− Αυξάνει ο φόρτος μέχρι να ξεπεραστεί κάποιο όριο
− Constant load− StepΜπορούμε να δούμε με το goal based πόσους χρήστες «σηκώνει» το σύστημα μας και στη συνέχεια με constant load να δούμε τι throughput και response time έχει
![Page 31: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/31.jpg)
DemoLoad Testing
![Page 32: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/32.jpg)
Ερωτήσεις
![Page 33: Testing μέσα από το Visual Studio!](https://reader035.vdocuments.site/reader035/viewer/2022062411/568156ac550346895dc44898/html5/thumbnails/33.jpg)
Usefull resources− Content Index for Unit Test
− http://blogs.msdn.com/b/mathew_aniyan/archive/2012/05/17/content-index-for-unit-test.aspx
− Content Index for Coded UI Test− http://
blogs.msdn.com/b/mathew_aniyan/archive/2010/02/11/content-index-for-coded-ui-test.aspx
− Content Index for Web Tests and Load Tests− http://blogs.msdn.com/b/edglas/archive/2007/12/17/content-inde
x-for-web-tests-and-load-tests.aspx− Using Visual Studio Load Tests in
Windows Azure Roles− http://msdn.microsoft.com/en-us/library/windowsazure/hh
674491.aspx