habenwirallewichtigenfeatures getestet? ticket …...hana sqlscript hana views iec 61131-3 st java...

Haben wir alle wichtigen Features getestet? Ticket-Coverage live am Beispiel

Dr. Dennis Pagano, CQSE GmbH

CQSE GmbH

Forschung§ 13 Promotionen in Software Engineering§ Promotionsprogramm, Enger Universitätskontakt

Praxis§ Quality Control und Test Control§ Software Audits

Analysewerkzeugwww.teamscale.com

Änderungen Ausführung

Test-Gap-Analyse

UngetesteteÄnderungen

GUI.Base

GUI.DialogsAuthentication

UI Controls

Data Validation

Änderungen Ausführung

Test-Gap-Analyse

UngetesteteÄnderungen

• Modifiziert• Neu

Änderungen Ausführung

Test-Gap-Analyse

UngetesteteÄnderungen

• Ausgeführt im Test

Änderungen Ausführung

Test-Gap-Analyse

UngetesteteÄnderungen

• Modifiziert & ungetestet• Neu & ungetestet• Unverändert• Geändert & ausgeführt im• Test

100% Change Coverage

100% Change Coverage → 0 Fehler

Test Focus: Release

DEV TEST

RELEASE

2016 2017

DEV TEST

RELEASE

!

RELEASE RELEASE RELEASE RELEASERELEASE RELEASE

Test Focus: Ticket

2016 2017

DEV TEST

Feature #9838

RELEASE RELEASE RELEASE RELEASERELEASE RELEASE

2016 2017

?

Ticket Coverage

Ticket

Ticket Code

Ticket Coverage

Im Issue Tracker verwaltete Unit of Work. Bug, Issue, Change Request, User Story, …

Code, der bei der Implementierung eines Tickets angefasst (geändert oder neu geschrieben) wurde.

Anteil des Ticket Codes, der im Test zur Ausführung kam.

VersionControlSystem

Git

SVN

TFS

Ticket System

JIRA

Redmine

GitHub

Test Coverage

JaCoCo

NCover

CTC

Ticket Coverage

CR#9838:AddedTODO 26.07.1616:38CR#9838:Adjustnaming 26.07.1615:33CR#9533:RED 26.07.1615:13CR#9533:GREEN 26.07.1615:12CR#10181:Addednewfindingfordeprecatedclasses,methodsandfields 26.07.1614:43CR#10037:MovedReviewMetricsSynchronizer toCruciblepackageandmadesomeimprovementstoitsinternalstructure 26.07.1614:31CR#10037:Updatedaggregationstrategyofopenreviewssoeachreviewisonlycountedonce,evenovermultiplefiles 26.07.1613:04CR#10203:Fixed"fieldcouldbemadefinal"forJavainterfaces 26.07.1612:16CR#10200:RenamepathRestriction ->subPath (1) 26.07.1611:35CR#10200:RenamepathRestriction->subPath(1) 26.07.1611:35CR#10172:Removedunwantedcolonsfromheadersinthecommitviewoftheactivityperspective 26.07.1611:20CR#9838:Fix:onlyonecolorofathresholdisspecifiedinacorridor 26.07.1611:14CR#0:Fixfindings 26.07.1611:01CR#9838:minorimprovement 26.07.1610:56CR#10199:MailnotificationsdonowsupportstarTLS 26.07.1610:52CR#9533:workingondeveloperfeedback 26.07.1609:50CR#9838:Amendlastcommit 26.07.1609:38CR#9838:minorrefactoring 26.07.1609:05CR#9838:FixNPE 26.07.1609:01

CR#9838:AddedTODO 26.07.1616:38CR#9838:Adjustnaming 26.07.1615:33CR#9533:RED 26.07.1615:13CR#9533:GREEN 26.07.1615:12CR#10181:Addednewfindingfordeprecatedclasses,methodsandfields 26.07.1614:43CR#10037:MovedReviewMetricsSynchronizer toCruciblepackageandmadesomeimprovementstoitsinternalstructure 26.07.1614:31CR#10037:Updatedaggregationstrategyofopenreviewssoeachreviewisonlycountedonce,evenovermultiplefiles 26.07.1613:04CR#10203:Fixed"fieldcouldbemadefinal"forJavainterfaces 26.07.1612:16CR#10200:RenamepathRestriction ->subPath (1) 26.07.1611:35CR#10200:RenamepathRestriction->subPath(1) 26.07.1611:35CR#10172:Removedunwantedcolonsfromheadersinthecommitviewoftheactivityperspective 26.07.1611:20CR#9838:Fix:onlyonecolorofathresholdisspecifiedinacorridor 26.07.1611:14CR#0:Fixfindings 26.07.1611:01CR#9838:minorimprovement 26.07.1610:56CR#10199:MailnotificationsdonowsupportstarTLS 26.07.1610:52CR#9533:workingondeveloperfeedback 26.07.1609:50CR#9838:Amendlastcommit 26.07.1609:38CR#9838:minorrefactoring 26.07.1609:05CR#9838:FixNPE 26.07.1609:01

Demo

www.teamscale.com

Pixelitor: Open Source Zeichenprogram (Java)

lbalazscs/Pixelitor

www.teamscale.com

UNTERSTÜTZTE TECHNOLOGIEN

Externe AnalysewerkzeugeClangESLintFindBugsFlexeLint

FxCopGoannaPC-lintPylint

SAP Code InspectorSPCopStyleCopTSLint

Issue TrackerGitHubIBM RTC/Jazz

JIRARedmine

TFS

IDE IntegrationABAP WorkbenchADT for EclipseEclipse

EmacsIntelliJ IDEANetBeans

SublimeviVisual Studio

VersionskontrollsystemeArtifactoryGit

GerritSubversion (SVN)

TFS

ProgrammiersprachenABAPAdaC#C/C++CobolDelphiFortranGroovyGosuHANA SQLScript

HANA ViewsIEC 61131-3 STJavaJavaScriptMagikMatlabOpen CLOScriptPHPPL/SQL

PythonRustSQLScriptSimulink/StateFlowSwiftTypeScriptVisual Basic .NETXtend

Review-WerkzeugeCrucible Gerrit

Test-WerkzeugeBullseyeCoverageCoberturacoverage.pyCTC

dotCovergcovJaCoCoJUnit, NUnit, xUnit

lcovSAP SCOVVS Test CoverageXR.Baboon

Fazit

Kürzere Release-Zyklen führen zu Parallelisierung in Entwicklung und Test. Dadurch steigt das Risiko ungetesteter Änderungen.

Ticket Coverage hilft, wichtige Änderungen trotzdem zuverlässig zu testen.

Wir unterstützen gerne bei der Evaluierung und Einführung.

Dr. Dennis Pagano · pagano@cqse.eu · +49 159 04062957Dr. Elmar Jürgens · juergens@cqse.eu · +49 179 675 3863Fabian Streitel · streitel@cqse.eu · +49 159 04046270

CQSE GmbHLichtenbergstraße 885748 Garching bei Münchenwww.cqse.eu

Kontakt