sap quality index

Measuring the Quality ofStandard Software:the SAP Quality Index

Günther LimböckGlobal Quality GovernanceSAP AG, Walldorf

2. Workshop zur Software-Qualitätsmodellierung und -bewertung (SQMB '09)

Kaiserslautern, 3. März 2009

© SAP 2009 / Günther Limböck / Seite 2

Meine Geschichte bei SAP

Messen von Software Qualität: Herausforderungen

Das Projekt SAP Quality Index

Governance und Betrieb des SAP Quality Index

Erfahrungen und Ausblick

Agenda


SAP 1989: 1.400 Mitarbeiter0,19 Mrd. EUR Umsatz

SAP R/2 4.3


SAP 1998: 19.308 Mitarbeiter4,33 Mrd. EUR Umsatz

SAP R/3 4.5


SAP 2008: 52.000 Mitarbeiter11,567 Mrd. Euro Umsatz

SAP Business Suite 7.0







Agenda


Welche Aspekte von Software können wie gutgemessen werden?

Unser letztes großes SoftwareEntwicklungsprojekt

hatte eine Dauer von 18 Monatenverursachte einen Aufwand von 80.000Personentagen (80 Mio. Euro)hatte eine Funktionalität von 16.000 FunctionsPointshatte bei Auslieferung eine Qualität von 8,3 (aufeiner Scala von 1 bis 10)hatte eine verbleibende Defect Density von 0,75Defects pro Function Point

Welche Aussagen können üblicherweiseüber Softwareprojekte gemacht werden?

Qualität

Aufwand / Kosten

Zeit

Funktionalität

© SAP 2008 /

Was soll man messen und was lieber nicht?

Messen soll verwendet werden, um Unsicherheit zu reduzieren und beiEntscheidungen die Fakten zu kennen.Messen soll auf Produkte/Prozesse angewendet werden, nicht auf Personen

Messen? Nein! Messen? Ja!Zitate zu Messen

„In fact, the reduction – not necessarily theelimination – of uncertainty is central to theconcept of measurement.”

Wikipedia

If all guesses fail, try facts as an alternative.Paul Strassman

„

„

What gets measured gets managed

Peter Drucker„

All the statistics in the world can‘t measurethe warmth of a smile.

Chris Hart

Intense love does not measure, it just gives.

Mother Teresa

„

„

Wer viel misst, misst Mist.

unbekannt„







Agenda


In den 1980er-Jahren bestellte IBM Canada Ltd. in Markham, Ont.,Bauteile von einem neuen japanischen Zulieferer

Eine Geschichte zum Messen von Qualität

AUFTRAG… toleriertwerdenmaximal 1,5%fehlerhafteTeile

Begleitschreiben"Wir wissen zwar nicht, warum

Sie 1,5 Prozent fehlerhafteTeile haben möchten,

aber um Ihnen die Arbeit zuerleichtern, haben wirsie separat verpackt."

Begleitschreiben"Wir wissen zwar nicht, warum

Sie 1,5 Prozent fehlerhafteTeile haben möchten,

aber um Ihnen die Arbeit zuerleichtern, haben wirsie separat verpackt."


SAP Quality Index:Der Projektauftrag im August 2005

Vergleichbarkeitder Werte für

Produkteunterschiedlicher

Art und Größe



Art und Größe

Abdeckung derwichtigstenSoftware-

Qualitätsaspektedurch Metriken



Eingemeinsames

Messsystem füralle

Entwicklungs-bereiche

Eingemeinsames

Messsystem füralle

Entwicklungs-bereicheAnstoßen von

Aktionen aufGrundlage der

Messergebnisse

Anstoßen vonAktionen auf

Grundlage derMessergebnisse

Akzeptanz inden

Entwicklungs-bereichen

Akzeptanz inden



Welche Daten werden für die Definition einerKPI gebraucht?

Measurement / Calculation procedure

Aggregation rules

Measurement:Start of measurementStart of judgment, end of judgmentMaximum frequency

Goal:

Question:

Metric description:Breakdown granularity

ProjectApplication hierarchyOthers:

Comments

Name: Type:Product / Process /ProjectObjective / SubjectiveDirect / Indirect

Relevance to:PIL phasesInvent / Define /Develop / Deploy /OptimizeSAP product standardSignificance(10 = high, medium,0 = low)

Implementation details

Source (tool)Tool changesProcess changesBusiness Information Development

Key Performance Indicator (KPI) Definition Template


Wer?

Welche Aspekte sollen in einen QualityIndex?

ISO 9126 Qualitäts Modell

Qualität aus Kundensicht Fokus auf externe Produkt-Qualität


Stable performance oftop X processes afterupgrade precludescustomers fromneeding new hardware

Bug Solving Notes

Keep the number ofcorrections aftershipment as low aspossible

Achieve high-qualityuser experiences withSAP products for ourcustomers

Usability

Test of NewRequirementsAll new/enhancedsoftware requirementsof a program are testedsuccessfully

Regression TestCoverageEnsure stability ofpreviously deliveredproduct (code) withregression tests

AggregatedValidation ResultsEnsure ProductStandard Complianceby the very firstcustomer

Ensure functionalcompleteness,communicatefunctional restrictions

LimitationsCode Quality

Ensure formal codequality by automatedcode checks

Ramp-Up Survey

Get comprehensiveunderstanding ofcustomer’s satisfactionwith SAP solutionsduring Ramp-Up

©SA P 2008 / SAP Qualit y Index 2008 edition / Page 17

KPI DatasheetGoal

Measure and provide t ransparency onProduct Standard Compliance beforeshipment

Answered QuestionDegree of compliance with validated productstandards.Do products fulfill the requirements of ProductStandards for shipment?

Metric

Measurement/JudgmentRTC RTC + 12 months

Overview on KPI Calculation and Aggregation

GREENYELLOWREDGREENYELLOWRED

###10*#5*#0*#ultAvgValiRes

Program A1

Program A2

Program A3

PTU ADev.efforts Validation results

Calculation:Calculation on program level over all available average validationresults (calculation model: each RED=0 pts; each YELLOW=5 pts;each GREEN=10pts).

Additional remarks:Validation results of all validation projects are aggregated,i.e. the result of a re-validation or SP-validation does not overwritethe result of the original release validation

KPI: Aggregated Validation Results

© SA P 2008 / SAP Quality Index 2008 edition / Page 18

KPI: Ramp-Up Satisfaction Survey

KPI DatasheetGoal

Get a comprehensive understanding of thecustomer’s satisfaction with the SAP solutionsduring Ramp-Up

Answered QuestionHow does the Ramp-Up customers rate thequality, documentation, cost-performanceration etc. of our solutions?

MetricRamp-Up customer satisfaction survey =Average of 8 product related questions

Measurement/JudgmentP2R RTC + 24 months

Only the product related questions of the ramp-up satisfactionsurvey are taken into account, for example:

Q06: How would you rate your overall satisfact ion with SAP[solution]?Q07: How would you rate the quality and reliability of this SAP[solution]?Q09: How would you rate the usability and the ease of learning ofthis SAP [solution]?Q14: How would you rate the cost-performance ratio of thesoftware?


KPI DatasheetGoal

Provide transparency about the qualityperceived by our customers for the SAPproducts after they have been released tocustomers

Answered QuestionDo shipped products have defectsencountered by customers? How manycustomers are impacted due to those defectsand hence af fecting SAP’s reliability?

MetricNumber of Bug Solving Notes reported in amonth per 1000 days of Dev Effort for thatProgram; e.g. Metric = (Number of BugSolving Notes / Total Dev Effort) * 1.000



Different calculation rules on program and on PTU levelProgram level:

Static indexation rule of 0-10 pointsThree quality indicator zones, Red, Yellow and Green at programlevel

Aggregation on PTU level:Weighting factor: Amount of development effort

Using this normalization factor leads to a dynamic indexationfrom 0 to 10 pts and provides comparability and distinctionbetween programs of different size.

Aggregation through weighted evaluation of the KPI values onprogram level provides the PTU values.

KPI: Bug-Solving Notes


KPI: Code Quality

KPI DatasheetGoal

Ensure formal code quality by automatedcode checks

Answered QuestionHow many code check errors remain openrelatively to the completed developmenteffort?

MetricKPI = Total number of open prio1/2 staticCode Check messages from all Code Checkframeworks per person days developmenteffort measured in 1/1000

Measurement/JudgmentP2D D2P RTC + 12 months

From Functional Correctness to Code Quality

SAP Standard Scopefor Code Checks

incl. Prioritiesdefined by

Code Check Meeting

RegularExecution ofCode Checks

Quality Index:Code Qualityof Program

Product StandardFunctional Correctness

no Code Check errors ofpriority 1 or 2

Performance afterUpgrade

KPIs während der Development-Phase: Forecast der Produkt Qualität

KPIs nach Auslieferung: KPIs: Produkt Qualität aus Kundensicht

SAP Quality IndexÜberblick über die Key Performance Indikatoren–


KPI Datasheet:

GoalAll new software requirements of aprogram are tested successfully

Answered QuestionHow many software requirements arecovered by test cases and testedsuccessfully?

Metric

Measurement/judgmentP2D RTC + 12 months

.qRe#

1=iReq.#*iReq.forcases test#

iReq.forcasesGreen test=KPI


Requirement Repository Test Workbench

Test PlanProject

Test ResultRequirement 1 = 0.5Requirement 2 = 0Requirement 3 = 0.67

Specification 1

Requirement 1

Requirement 2

Requirement 3

Test case 1

Test case 2

Test case 3

Test case 4

39.03

67.005.0Result

Beispiel

Beschreibung der KPI:Test of New Requirements


Stable performance oftop X processes afterupgrade precludescustomers fromneeding new hardware

Bug Solving Notes

Keep the number ofcorrections aftershipment as low aspossible

Achieve high-qualityuser experiences withSAP products for ourcustomers

Usability

Test of NewRequirementsAll new/enhancedsoftware requirementsof a program are testedsuccessfully

Regression TestCoverageEnsure stability ofpreviously deliveredproduct (code) withregression tests

AggregatedValidation ResultsEnsure ProductStandard Complianceby the very firstcustomer

Ensure functionalcompleteness,communicatefunctional restrictions

LimitationsCode Quality

Ensure formal codequality by automatedcode checks

Ramp-Up Survey

Get comprehensiveunderstanding ofcustomer’s satisfactionwith SAP solutionsduring Ramp-Up


KPI DatasheetGoal

Measure and provide t ransparency onProduct Standard Compliance beforeshipment

Answered QuestionDegree of compliance with validated productstandards.Do products fulfill the requirements of ProductStandards for shipment?

Metric





Program A1

Program A2

Program A3

PTU ADev.efforts Validation results



KPI: Aggregated Validation Results



KPI DatasheetGoal

Get a comprehensive understanding of thecustomer’s satisfaction with the SAP solutionsduring Ramp-Up

Answered QuestionHow does the Ramp-Up customers rate thequality, documentation, cost-performanceration etc. of our solutions?

MetricRamp-Up customer satisfaction survey =Average of 8 product related questions



Q06: How would you rate your overall satisfact ion with SAP[solution]?Q07: How would you rate the quality and reliability of this SAP[solution]?Q09: How would you rate the usability and the ease of learning ofthis SAP [solution]?Q14: How would you rate the cost-performance ratio of thesoftware?


KPI DatasheetGoal

Provide transparency about the qualityperceived by our customers for the SAPproducts after they have been released tocustomers

Answered QuestionDo shipped products have defectsencountered by customers? How manycustomers are impacted due to those defectsand hence af fecting SAP’s reliability?

MetricNumber of Bug Solving Notes reported in amonth per 1000 days of Dev Effort for thatProgram; e.g. Metric = (Number of BugSolving Notes / Total Dev Effort) * 1.000








KPI: Bug-Solving Notes

©SA P 2008 / SAP Qualit y Index 2008 edition /

KPI: Code Quality

KPI DatasheetGoal

Ensure formal code quality by automatedcode checks

Answered QuestionHow many code check errors remain openrelatively to the completed developmenteffort?

MetricKPI = Total number of open prio1/2 staticCode Check messages from all Code Checkframeworks per person days developmenteffort measured in 1/1000





Code Check Meeting





Performance afterUpgrade

KPIs während der Development-Phase: Forecast der Produkt Qualität

KPIs nach Auslieferung: KPIs: Produkt Qualität aus Kundensicht

SAP Quality IndexÜberblick über die Key Performance Indikatoren–


ProgrammSCM 7.0

ProgrammSCM 5.0

ProgrammSCM 6.0

SAP-Produkt-entwicklung

PTU 1 PTU 2 PTU 3PTU = ProductTechnology Unit

Programm =Produktversion

Für welche Entität soll Qualität gemessenwerden?

Programme repräsentieren das, was der Kunde auf der DVD bekommtEin Programm ist daher die zentrale Entität, auf der Qualität vonSoftware bei SAP gemessen wird

Organisationsstruktur der SAP-Entwicklung


Programm XYZ

KPIs nach derAuslieferung

KPIs vor derAuslieferung Messung

Beginn derMessphase

P2D

Beginn derBewertungs-

phase

RTC

Bewertung

Ende derBewertungs-

phase

Zeitachse pro Programm:

RTC =Release toCustomer

D2P = Q-GateDevelopment toProduction

Bewertung

P2D = Q-GatePlanning toDevelopment

12 Monate

D2P

Wann soll gemessen werden, wann sollbewertet?

In der ersten Version gab es “exaktere” Meilensteine, wie z.B. „End of Test“Erfahrung nach einem Jahr: einfach ist besser!


Yellow

Green

Für alle KPIs wurden Regeln definiert, die die KPI–spezifischen Werte einergemeinsamen Q–Index-Skala von 0 bis 10 zuordnet

Bewertung jeder KPI undZuordnung von KPI-Werten zur Index-Skala

Q-Index-Bereiche

Für alle KPIs identisch

0 x < 5 rot5 x < 7 gelb7 x 10 grün

KPI-Wertebereiche

KPI–spezifischeBewertung, z.B.:

0 % < x 80% rot80 % < x 90% gelb90 % < x 100% grün


7,62125.000SAP Total

7,67100,00%120.000Summe PTU 2

6,678.083,33%100.000Program 4PTU 2

1,06.016,67%20.000Program 3PTU 2

6,40100,00%5.000Summe PTU 1

1,68,020,00%1.000Program 2PTU 1

4,86,080,00%4.000Program 1PTU 1

Gewichte-ter IndexIndex-WertGewicht-

ungEntwicklungs-

aufwandProgramPTUQ-Index-

Wert PTU 1

Q-Index-Wert PTU 2

SAP-Q-Index-Wert

Für alle KPIs gilt der Entwicklungsaufwand als Gewichtungsfaktor. Alle KPIswerden im Index gleich gewichtet.

Beispiel einer Aggregation für eine KPI:

Aggregationsregeln zur Berechnung der KPI-Werte auf verschiedenen Ebenen

In der ersten Version gab es “exaktere” GewichtungsfaktorenErfahrung nach einem Jahr: einfach ist besser!


Beispiel

SAP Quality Index User Interface –Sicht SAP gesamt


Beispiel

SAP Quality Index User Interface –Sicht je PTU


SAP Quality Index User Interface –Sicht je Programm

Beispiel







Agenda


Beispiel

SAP „Quality Goal Compliance Declaration“für jedes Programm


Endgültiger Q-IndexReport

Q-Index-Datensammlung

VorläufigerQ-Index Report

Monatlicher Q-Index-

Berichtszyklus

Abstimmungmit den QM-Heads derEntwicklungsbereiche

und Beschluss vonMaßnahmen

Q-Index-Betrieb: Vorläufiger und endgültigerBericht




Art und Größe



Art und Größe





Eingemeinsames

Messsystem füralle

Entwicklungs-bereiche

Eingemeinsames

Messsystem füralle

Entwicklungs-bereicheAnstoßen von

Aktionen aufGrundlage der

Messergebnisse

Anstoßen vonAktionen auf

Grundlage derMessergebnisse

Akzeptanz inden


Akzeptanz inden


SAP Quality Index: Zusammenfassung







Agenda


Erfahrungen – 1 –

KPI-Definition und IndexberechnungGoal-Question-Metric-Methode ist sehrnützlich bei der KPI-DefinitionAggregationsregeln und Zeitachsen:einfach ist besser!

ReportingErwartungen an Steigerung derTransparenz wurden übertroffenWichtigster Erfolgsfaktor: Sichtbarkeitauf VorstandsebeneHohe Datenqualität ist erforderlichDas UI ist wichtig für die Akzeptanz(vor allem im Senior Management)


Erfahrungen – 2 –

Governance und Betrieb

Reports ohne Maßnahmen sindDatenfriedhöfe

Regelmäßige Überprüfung der KPI-Definitionen ist notwendig, um sicher zustellen, dass die Qualität optimiert wird undnicht der Index

Betrieb des Index erfordert hoheQualifikation

Betrieb des Index erfordert hoheKommunikationsfähigkeit

Betrieb des Q-Index benötigt einstarkes Governance Team


Ausblick

Systematische Datenanalysebasierend auf den Q-Index Datenzu einem frühen ZeitpunktErhöhung der Vorhersagbarkeitvon QualitätIntegration von Akquisitionen(z.B. SAP Business Objects)Unterstützung von Technologienneben ABAP und JAVA


Danke für Ihre Aufmerksamkeit!


Anhang

© SAP 2008 /

SAP Quality Index KPIs: Kunden-Feedback

Feedback bzgl. der Relevanz der KPIs durch eine SAP-Kundengruppe

Die KPIs sind dazu geeignet, die Software-Produktqualität zu messenDie KPI Resource Commitment Rate wurde 2008 aus dem SAP Quality Index gestrichen

0,000,501,001,502,002,503,003,504,004,505,00

Test of NewRequirements

RegressionTest

Coverage

Performanceafter

Upgrade

CodeQuality

Usability BugSolvingNotes

AggregatedValidationResults

Ramp-UpSurvey

Limitations ResourceCommitment

Rate


SAP aktuell

Jahresumsatz der SAP AG 2007: 10,25 Mrd. EuroMehr als 76.000 Unternehmen setzen SAP einMehr als 25 Branchenlösungen51.863 SAP-Mitarbeiter (Stand: September 2008)

12 Millionen Anwender in über 120 Ländern nutzenSAP-Lösungen zur

Integration von GeschäftsprozessenStärkung der Wettbewerbsfähigkeitschnelleren Rendite bei niedrigeren Systemgesamtkosten

Einzigartiges PartnernetzwerkMehr als 1,3 Millionen Community Mitglieder (SDN und BPX)Mehr als 1.800 zertifizierte Partnerlösungen für SAP NetWeaver15 Industry Value Networks


USAPalo Alto

Betriebswirtsch.InnovationÖkosystem

USAPalo Alto

Betriebswirtsch.InnovationÖkosystem

KanadaMontrealKanadaMontreal

DeutschlandWalldorf

Engineeringbetriebswirtsch.Know-how

DeutschlandWalldorf

Engineeringbetriebswirtsch.Know-how

IsraelRa’anana

TechnologischeInnovation

IsraelRa’anana

TechnologischeInnovation

BulgarienSofia

BulgarienSofia

UngarnBudapestUngarnBudapest

IndienBangalore

Talent-Pool

IndienBangalore

Talent-Pool

ChinaShanghaiChina

Shanghai

Alle Standorte arbeiten gemäß einem Qualitätsmanagement-System(ISO 9001-zertifiziert)

SAPs Forschungs- und Entwicklungsorganisation:ca. 15.000 Entwickler an 8 Entwicklungsstandorten


KPI Datasheet

GoalEnsure formal code quality byautomated code checks

Answered QuestionHow many code check errors remainopen relatively to the completeddevelopment effort?

MetricKPI = Total number of open prio1/2static Code Check messages from allCode Check frameworks per persondays development effort measured in1/1000



Beispiel



Code Check Meeting





KPI: Code Quality


KPI Datasheet

GoalAll new software requirements of aprogram are tested successfully

Answered QuestionHow many software requirements arecovered by test cases and testedsuccessfully?

Metric

Measurement/judgmentP2D RTC + 12 months

.qRe#

1=iReq.#*iReq.forcases test#

iReq.forcasesGreen test=KPI


Requirement Repository Test Workbench

Test PlanProject

Test Result

Requirement 1 = 0.5

Requirement 2 = 0

Requirement 3 = 0.67

Specification 1

Requirement 1

Requirement 2

Requirement 3

Test case 1

Test case 2

Test case 3

Test case 4

39.03

67.005.0Result

BeispielKPI: Test of New Requirements


Beispiel

KPI Datasheet

GoalEnsure stability of previously deliveredproduct (code) with regression tests

Answered QuestionAre regression tests successfullyrunning for the top X processes,process steps?

Metric

Measurement/JudgmentP2D RTC + 12 months

.Pr#

1s Proc.step#*i Proc.stepcasesTest#

i Proc.stepcases testGreenKPIstep

i


Test Object Repository Test Workbench

Test PlanTop X Scenarios

Test Result

Requirement 1 = 0.5

Requirement 2 = 0

Requirement 3 = 0.67

Process 1

Process step 1

Process step 2

Process step 3

Test case 1

Test case 2

Test case 3

Test case 4

39.03

67.005.0Result

KPI: Regression Test Coverage


KPI Datasheet

GoalProvide transparency about functionalrestrictions

Answered QuestionDo shipped products have functionalrestrictions?Do these functional restrictions have animpact on SAPs reliability?

MetricPrio-A limitations are the leading metricfactors. No Prio-A limitations allowed at all.



BeispielKPI: Limitations


KPI Datasheet

GoalMeasure and provide transparency onProduct Standard Compliance beforeshipment

Answered QuestionDegree of compliance with validatedproduct standards.Do products fulfill the requirements ofProduct Standards for shipment?

Metric





Program A1

Program A2

Program A3

PTU A Dev.efforts Validation results



BeispielKPI: Aggregated Validation Results


KPI Datasheet

GoalEnsure stable performance of top Xscenarios, processes, and processsteps after upgrade, so customersshouldn’t need new hardware.

Answered QuestionHow is the performance compared tolast release?

MetricIndex will be calculated for a programout of the four Performance indicators:Data Base Load, MemoryConsumption, CPU Consumption,Network Load.

Measurement/JudgmentP2D RTC + 12 months


Aggregation on Program level:Calculate the mean value of all four performance indicators for each top xprocess; then calculate the performance after upgrade KPI for the wholeprogram as a mean value of those top x processes.

Beispiel

KPI: Performance After Upgrade


Beispiel

KPI Datasheet

GoalGet a comprehensive understanding ofthe customer’s satisfaction with theSAP solutions during Ramp-Up

Answered QuestionHow does the Ramp-Up customersrate the quality, documentation, cost-performance ration etc. of oursolutions?

MetricRamp-Up customer satisfaction survey= Average of 8 product relatedquestions



Q06: How would you rate your overall satisfaction with SAP[solution]?Q07: How would you rate the quality and reliability of this SAP[solution]?Q09: How would you rate the usability and the ease of learning ofthis SAP [solution]?Q14: How would you rate the cost-performance ratio of thesoftware?



KPI Datasheet

GoalProvide transparency about the qualityperceived by our customers for theSAP products after they have beenreleased to customers

Answered QuestionDo shipped products have defectsencountered by customers? How manycustomers are impacted due to thosedefects and hence affecting SAP’sreliability?

MetricNumber of Bug Solving Notes reportedin a month per 1000 days of Dev Effortfor that Program; e.g. Metric = (Numberof Bug Solving Notes / Total Dev Effort)* 1.000








BeispielKPI: Bug-Solving Notes


KPI Datasheet

GoalAchieve high-quality user experienceswith SAP products for our customers

Answered QuestionHow well do targeted end-usersperform representative tasks, in termsof task-completion rates and times, andhow satisfied are they with theapplications?

Metric

Measurement/JudgmentAt intervals that correspond to realapplication lifecycles. Benchmark testson only a subset of applications.RTC RTC + 12 months


Remark: Definition of user effectiveness, user efficiency, anduser satisfaction according to ISO 9241

BeispielKPI: Usability

4o nSatisfactiU ser+Eff icien cyU ser+essEffectiv enU ser*2

=K PI

ratecompletion- tasklimited,-Time=essEffectivenUser timecompletion-Task=EfficiencyUser

(MET)TechniqueEstimationMagnitude=onSatisfactiUser

sap quality index

Documents