risikobasiertes testen

© S

oftw

are

Qua

lity

Lab

Wie Sie mit 20% des Testaufwands 80% der Risiken abdecken

Markus UnterauerHead of Consulting

Risikobasiertes Testen

© S

oftw

are

Qua

lity

Lab

www.software-quality-lab.com | improve your quality

Unsere Software wird immer komplexerRisikobasiertes Testen

- 2 -

[http://www.pixabay.com]

© S

oftw

are

Qua

lity

Lab


Qualitätserwartung der Kunden ist hochRisikobasiertes Testen

- 3 -


© S

oftw

are

Qua

lity

Lab


Kosten für Qualität steigen mit der ZeitDie Folge daraus:

- 4 -


Steigende Komplexität

Hohe Qualitätserwartung

Steigender Aufwand / Kosten

© S

oftw

are

Qua

lity

Lab


Aufwand für Testen wird immer höherKosten für Qualität steigen mit der Zeit

- 5 -

Zeit

Notwendiger Aufwand für Testen

Verfügbare Zeitfür Testen

Release1.0

Release2.0

Release3.0

Release4.0

Release5.0

Auf

wan

d

© S

oftw

are

Qua

lity

Lab


Testautomatisierung senkt Kosten nur zum Teil

Kosten für Qualität steigen mit der Zeit

- 6 -

Zeit

Verfügbare Zeitfür Testen

Release1.0

Release2.0

Release3.0

Release4.0

Release5.0

mit Testautomatisierung10-20% geringer

Auf

wan

d Notwendiger Aufwand für Testen

© S

oftw

are

Qua

lity

Lab


Silver Bullet Testautomatisierung?Kosten für Qualität steigen mit der Zeit

- 7 -

• Geringere Kosten bei wiederholter Ausführung der Tests (ø nach 6-7 Iterationen)

• Deutlich höhere Qualität

• Hohe Kosten für die Erstellung der automatisierten Tests

• Hohe Kosten für Wartung (30-50%)

© S

oftw

are

Qua

lity

Lab


Wir brauchen eine bessere Steuerbarkeit!Kosten für Qualität steigen mit der Zeit

- 8 -

© S

oftw

are

Qua

lity

Lab


Weniger Aufwand durch FokussierungRisikobasiertes Testen

- 9 -

© S

oftw

are

Qua

lity

Lab


Warum risikobasiert TestenRisikobasiertes Testen

- 10 -

Wir wollen sicherstellen, dass trotz knapper Zeit das, was den größten Schaden anrichten kann, auch sicher getestet wird.

© S

oftw

are

Qua

lity

Lab


Je höher das Risiko, desto intensiver testen

Risikobasiertes Testen

- 11 -

Wah

rsch

einl

ichk

eit

Schaden

Could test

Won‘t test

Must test

Should test

hoch

hochgering

© S

oftw

are

Qua

lity

Lab


Grundsätzliche VorgehensweiseRisikobasiertes Testen

- 12 -

Markt, Mitbewerb

System-Anforderungen

Architektur-komponenten

Fehler (im Feld und intern)

Prozesse und Menschen

1. Risiken identifizieren

2. Testfälle erstellen

3. Testfälle durchführen

© S

oftw

are

Qua

lity

Lab


Nutzen durch Risikobasiertes TestenRisikobasiertes Testen

Geringere Kosten bei der Testfallerstellung

Geringere Kosten bei der Testfallausführung

Klare Basis für Entscheidungen z.B. Freigabe eines Release

- 13 -

Zeit

Benötigte Zeit mit risikobasiertem Testen

Notwendiger Aufwand für Testen

… mit Testautomatisierung

Rest-Risiko!A

ufw

and

Release1.0

Release2.0

Release3.0

Release4.0

Release5.0

Verfügbare Zeit für Testen

© S

oftw

are

Qua

lity

Lab


Übersicht über das RestrisikoRisikobasiertes Testen

- 14 -

1 - Minimal 2 - Merklich 3 - Hoch 4 - Kritisch0

100

200

300

400

500Anzahl Funktionen je Risikoklasse

GetestetRisikoklasse

© S

oftw

are

Qua

lity

Lab


Umsetzung in ihrem Unternehmen

- 15 -

© S

oftw

are

Qua

lity

Lab


Anforderung Produkt Akzeptanzkriterien Risiko-klasse Risiken

PDF-Viewer R7- Anzeige PDF im Hochformat- Speichern etc. deaktiviert- Test-Applikation in R7 integrieren

2Merklich

- PDF Datei wird nicht geladen- Fehlerhafte Darstellung- Lizenz ist abgelaufen

… … … … …

2. Bestehende Risiken analysierenUmsetzung in ihrem Unternehmen

- 17 -

Risikoklasse Potenzieller Schaden

1 – Minimal Kaum merkbare Auswirkung, Anwender ist kurz irritiert, kann dies aber akzeptieren, z.B. optische Fehler im UI

2 – Merklich Kunde ist unzufrieden, kann nur eingeschränkt arbeiten, z.B. Nebenanwendungsfall nicht ausführbar

3 – Hoch Ein Hauptanwendungsfall kann nicht bzw. nur fehlerhaft ausgeführt werden

4 – Kritisch Personenschaden oder durch die Medien gehender Schadensfall, der zu hohem Imageverlust führt

© S

oftw

are

Qua

lity

Lab


3. Bestehende Testfälle klassifizieren


- 18 -

Testfall Ablauf Ergebnis (Soll) Risikoklasse

PDF File von USB-Stick laden

PDF Viewer öffnen und ein PDF auf dem USB-Stick auswählen.

Der Vorschau Screen wird angezeigt. Direkt nach dem Auswählen des PDFs werden die Pfeil Buttons zum Blättern und der "grüne Haken Button" zum Bestätigen eingeblendet.

3Hoch

Auswahl PDF File Mittels Pfeiltasten oder Direktauswahl via Touch zwischen Files wechseln.

Mit Pfeiltasten oder der Direktauswahl via Touch kann gewünschtes PDF ausgewählt werden. "Ringsum" Blättern ist möglich.

1Minimal

Ungültiges .pdf File laden

Beliebiges File in .pdf umbenennen und auf USB Stick laden. Anschliessend PDF Viewer öffnen und das File laden.

Es wird die Meldung "Fehler beim Laden" angezeigt.

2Merklich

© S

oftw

are

Qua

lity

Lab


4. Nur mehr risikorelevante Tests durchführen


- 19 -

Testfall Ablauf Ergebnis (Soll) Risikoklasse

PDF File von USB-Stick laden

PDF Viewer öffnen und ein PDF auf dem USB-Stick auswählen.

Der Vorschau Screen wird angezeigt. Direkt nach dem Auswählen des PDFs werden die Pfeil Buttons zum Blättern und der "grüne Haken Button" zum Bestätigen eingeblendet.

3Hoch

Auswahl PDF File Mittels Pfeiltasten oder Direktauswahl via Touch zwischen Files wechseln.

Mit Pfeiltasten oder der Direktauswahl via Touch kann gewünschtes PDF ausgewählt werden. "Ringsum" Blättern ist möglich.

1Minimal

Ungültiges .pdf File laden

Beliebiges File in .pdf umbenennen und auf USB Stick laden. Anschliessend PDF Viewer öffnen und das File laden.

Es wird die Meldung "Fehler beim Laden" angezeigt.

2Merklich

© S

oftw

are

Qua

lity

Lab


5. Restrisiko für Releaseentscheidung messen


- 20 -

1 - Minimal 2 - Merklich 3 - Hoch 4 - Kritisch0

100

200

300

400

500Anzahl Funktionen je Risikoklasse

GetestetRisikoklasse

© S

oftw

are

Qua

lity

Lab


6. Methoden in der Praxis verankernUmsetzung in ihrem Unternehmen

- 21 -

Training der MIitarbeiter

© S

oftw

are

Qua

lity

Lab


ZusammenfassungRisikobasiertes Testen

Was, wie intensiv getestet wird, richtet sich nach Risiko

Teile mit hohem Risiko werden immer und zuerst getestet

Geringere Kosten bei Testfallerstellung,da nur Testfälle für wichtige Sachen erstellt werden

Höhere Effizienz bei Testfallausführung,da nur Testfälle ausgeführt werden, die wesentliche Risiken abdecken

Klare Basis für Entscheidungen,da das abgedeckte und das Restrisiko jederzeit bekannt ist

- 22 -

risikobasiertes testen

Technology