Empirical Results Derived from a Systematic Review

Effectiveness of Requirements Techniques

Oleg Kononin

2

Einleitung

•

Einleitung•

Motivation

•

Empirische Studie•

Systematic Review

•

Auswertung•

Ergebnisse

Oleg Kononin

Effe

ctiv

enes

s of

Req

uire

men

ts E

licita

tion

Tech

niqu

es

3

Einleitung

•

Entscheidende

Faktoren der Produktqualität

•

Hier: Erhebung

Oleg Kononin

Effe

ctiv

enes

sof

Req

uire

men

tsE

licita

tion

Tech

niqu

es

4

Motivation

•

Viele

Techniken

zur

Erhebung–

Interview–

Workgroups–

Kombinationen–

etc.•

Vergleich

der

Techniken

•

Was ist

die beste

Technik?•

Keine

einheitliche

Meinung

zur

richtigen

Erhebung

Oleg Kononin

Effe

ctiv

enes

sof

Req

uire

men

tsE

licita

tion

Tech

niqu

es

5

Differential Access Hypothesis

•

Unterschiedliche

Informationen

mit

unterschiedlichen Erhebungstechniken

•

Kein

Unterschied–

einfache

Probleme–

gut formulierte

Probleme•

Große

Differenzen

–

Techniken

nicht

austauschbar–

verschiedene

Typen

von Informationen–

grössere

Problemstellungen–

Anzahl

von Informationen

Oleg Kononin

Effe

ctiv

enes

sof

Req

uire

men

tsE

licita

tion

Tech

niqu

es

Differential Access Hypothesis

6

Untersuchungsmethode

•

keine

spezielle

Methode•

Auswahl

der

empirischen

Studien

–

Auswertung

der

Ergebnisse/Beweise

•

Wiederholbar•

Korrektheit

der

Aggregation

•

Probleme

bei

Auswahl–

wenige

Publikationen–

schwer

zu

finden(bibliographical

DB)–

Art der

empirischen

Studien

unterscheiden

sich

stark–

Design, Faktoren

und Rückgabevariablen–

Ausführung

Oleg Kononin

Effe

ctiv

enes

sof

Req

uire

men

tsE

licita

tion

Tech

niqu

es

7

Untersuchungsmethode

•

Experiment–

detailierte, formale

Untersuchung–

Variablen: direkt, präzise, systematisch–

Ursache-Wirkung

Beobachtung–

Faktorenisolierung•

Fallstudie

–

Einzellfall–

explorativ–

beschreibend–

Datensammlung•

Survey

–

standardisiertes

Formular–

Gruppe

von Personen/Projekten–

breit

angelegt

Oleg Kononin

Effe

ctiv

enes

sof

Req

uire

men

tsE

licita

tion

Tech

niqu

es

Sechs Phasen:•

Definition–

Ziele identifizieren und präzise definieren•

Planung und Design–

Variablen, Prozeduren, Kontrollmechanismen•

Implementierung und Vorbereitung–

Materialien vorbereiten, Maßnahmen organisieren•

Durchführung der Studie–

Vollständigkeit–

Genauigkeit–

Ursache für Nicht-Antworten•

Analyse der gewonnenen Daten–

Blindanalyse•

Aufbereitung, Interpretation der Daten, Veröffentlichung der Studie–

Statistische Methoden beschreiben–

Veröffentlichung der Daten

Oleg Kononin

Effe

ctiv

enes

sof

Req

uire

men

tsE

licita

tion

Tech

niqu

es

8

9

Systematic Review I

•

Review von wissenschaftl. Arbeiten–

explizite

und reproduzierbare

Vorgehensweise•

Fügt

die Erfahrungen

zusammen

–

fair–

streng–

offen(Prozedur

für

jeden

einsehbar)

•

Aufbau

1.

Mit einer klar formulierten Frage anfangen2.

Definiert wiederholbare Strategie zum Suchen der Literatur3.

Bewertet kritisch die relevante Literatur4.

Die Literatur zusammenfassen

Oleg Kononin

Effe

ctiv

enes

sof

Req

uire

men

tsE

licita

tion

Tech

niqu

es

10

Systematic Review III

Oleg Kononin

Effe

ctiv

enes

sof

Req

uire

men

tsE

licita

tion

Tech

niqu

es

Develop Review Protocol

Validate Review ProtocolPlan Review

Conduct Review

Document Review

Synthesise Data

Write Review Report

Validate Report

Identify Relevant Research

Select Primary Studies

Extract Required Data

Assess Study Quality

11

Systematic Review II

•

Fragen

wie

z.B.: –

Werden

mehr

Anforderungen

mit

Interview oder

mit

Workgroup erhoben?•

Sehr

spezifische

Frage-> nicht

genügend

Wissen

zurzeit

•

Daher

allgemeinere

Frage: –

Welche

Erhebungstechnik

ist

am effizientesten

unter

bestimmten

Vorraussetzungen?

Oleg Kononin

Effe

ctiv

enes

sof

Req

uire

men

tsE

licita

tion

Tech

niqu

es

12

Ansatz

Ansatz•

Empirische

Studien

–

Fallstudien–

ExperimenteAnforderung•

echte

empirische

Studien

•

Einfache

individuelle

Elicitation-Technik•

Vergleicht

Techniken

–

2 verschiedene–

dieselbe

in verschiedenen

Situationen–

Sammlung

von Expertenmeinungen

Oleg Kononin

Effe

ctiv

enes

sof

Req

uire

men

tsE

licita

tion

Tech

niqu

es

13Oleg Kononin

Effe

ctiv

enes

sof

Req

uire

men

tsE

licita

tion

Tech

niqu

es

Λ

( Elicitation V Requirements gathering

V

Requirements acquisition )

( Capture V Empirical VExperiment V Studies VReview V Evaluation )

Ergebnis: 74 empirische Studien

Anfrage

14Oleg Kononin

Effe

ctiv

enes

sof

Req

uire

men

tsE

licita

tion

Tech

niqu

es

•

Mitarbeiter

verfolgen

Literaturangaben–

Hinzufügen

von interessierenden

Arbeiten–

ein

Mitarbeiter

pro Arbeit•

Zusätzlich

484 Arbeiten

•

Insgesamt

564 Arbeiten•

2 Mitarbeiter

pro wissenschaftl. Arbeit

•

Nach

Durchsicht

& Überprüfung•

26 Arbeiten!

15

Datenefassung & Qualitätsbeurteilung

Oleg Kononin

Effe

ctiv

enes

sof

Req

uire

men

tsE

licita

tion

Tech

niqu

es

•pro Studie ein Mitarbeiter

16

Datenerfassung

1.

Bei strukturierten Interviews werden mehr Informationen gesammelt als bei unstrukturierten

2.

Bei unstrukturierten Interviews werden mehr Informationen gesammelt als bei Sortier-

oder Rankingverfahren

3.

Bei unstrukturierten Interviews werden mehr Informationen gesammelt als bei Thinking

Aloud

Technique

4.

Erhebungstechniken scheinen keine spezifischen Informationen zu zeigen, d.h. die es gibt keinen genügenden Beweis für Differential Access Hypothesis

5.

Erfahrung eines Analysten ist nicht der entscheidende Faktor während der Informationserfassung(auf

Interviews bezogen)

6.

Visuelle Hilfen oder Prototypen scheinen keine Hilfe bei der Findung neuer Anforderungen zu geben.

Oleg Kononin

Effe

ctiv

enes

sof

Req

uire

men

tsE

licita

tion

Tech

niqu

es

17

Literatur

•

Alan Davis, Oscar Dieste, Ann Hickey, Natalia Kuristo

und Ana M. Moreno

, “Effectiveness

of Requirements

Elicitation

Techniques: Empirical

Results

derived

from

a systematic

Review”•

James Neill, “Meta-analysis: Research Methodology”•

Systematic

Review, http://ssrc.tums.ac.ir/SystematicReview/•

Meta Analysis, http://wilderdom.com/research/meta-analysis.html•

Rodrigo Martinez-Bejar, Richard Benjamins, Fernando Martin and Victor Catillo, Deriving

Formal Parameters for

Comparing

Knowledge

Elicitation

Techniques

Based

on Mathematical

Functions.•

Ann M. Hickey, Alan M. Davis, “Requirements Elicitation and Elicitation Technique Selection: A Model for Two Knowledge-Intensive Software Development Processes”, University of Colorado at Colorado Springs, 2002

Oleg Kononin

Effe

ctiv

enes

sof

Req

uire

men

tsE

licita

tion

Tech

niqu

es

Vielen DankVielen Dank