was software-archive erzählen

Was Software-Archive erzählen

Stephan Diehl • Universität TrierAndreas Zeller • Universität des SaarlandesTom Zimmermann • Universität des Saarlandes

Fehler

Fehler Korrekturen

Fehler • Änderungen • Versionen


Was muss ich noch ändern?



Welche Module muss ich testen?

Entwickler, die diese Methode geändert haben, haben auch folgende Methoden geändert...

funded by IBM Eclipse Innovation Grant

eROSEeROSEZimmermann et al. (TSE 2005)

funded by IBM Eclipse Innovation GrantZimmermann et al. (TSE 2005)

funded by IBM Eclipse Innovation Grant

In 64% aller Änderungen enthalten die besten drei Vorschläge eine korrekte Stelle

Zimmermann et al. (TSE 2005)

Gleichzeitige Änderungen

internal files

icons

public API

Coupling for ComparePreferencePage.java

and plugin.properties

buildnotes_compare.html

EPOSEEwww.eposoft.org

Burch et al. (SoftVis 2005)

http://eposoft.org

http://eposoft.org

Module

Module

Welche sollte manam meisten testen?

Womit können wir Fehlschläge vorhersagen?

wenn wir Fehlschläge haben (und sie uns leisten können)

Früheres Fehlschlagen

15

12

8

14

7

6

2

2

1

1

1




15

12

8

14

7

6

2

2

1

1

1




wenn wir wissen,welche die richtige ist

Komplexitäts-MetrikenFrüheres Fehlschlagen

15

12

8

14

7

6

2

2

1

1

1





Komplexitäts-MetrikenKomplexitäts-Metrikenpublic static void main(String[] args)

{

! //{{{ Check for Java 1.4 or later

! String javaVersion = System.getProperty("java.version");

! if(javaVersion.compareTo("1.4") < 0)

! {

! ! System.err.println("You are running Java version "

! ! ! + javaVersion + ".");

! ! System.err.println("jEdit requires Java 1.4 or later.");

! ! System.exit(1);

! } //}}}

! // later on we need to know if certain code is called from

! // the main thread

! mainThread = Thread.currentThread();

! settingsDirectory = ".jedit";

! ...


15

12

8

14

7

6

2

2

1

1

1





Komplexitäts-MetrikenKomplexitäts-Metrikenpublic static void main(String[] args)

{




! {




! ! System.exit(1);

! } //}}}





! ...

Komplexitäts-Metrikenpublic static void main(String[] args)

{




! {




! ! System.exit(1);

! } //}}}





! ...

Nested Block Depth ! ! ! ! 5

Number of parameters ! ! ! ! 1

McCabe Cylcomatic Complexity!! 62

Method Lines of Code ! ! ! 301


15

12

8

14

7

6

2

2

1

1

1



Metriken @ MicrosoftNagappan/Ball/Zeller (ICSE 2006)

Metriken @ Microsoft

1. Fehler beim Anwender sammeln Fehler

Nagappan/Ball/Zeller (ICSE 2006)


1. Fehler beim Anwender sammeln

2. Fehler auf Codestellen abbildenKorrekturen

Fehler




2. Fehler auf Codestellen abbilden

3. Fehler mit Metriken korrelierenKorrekturen

Fehler




2. Fehler auf Codestellen abbilden

3. Fehler mit Metriken korrelieren

4. Aus Metriken Fehlerträchtigkeit vorhersagen

Korrekturen

Fehler


Projekte

• Internet Explorer 6

• IIS Server

• Windows Process Messaging

• DirectX

• NetMeeting

>1.000.000 Codezeilen

Projekte

A B C D E

Korrelieren Metrikenmit Fehlverhalten?


Projekt Korrelierte Metriken


Projekt Korrelierte MetrikenA #Classes und 5 abgeleitete


Projekt Korrelierte MetrikenA #Classes und 5 abgeleiteteB fast alle


Projekt Korrelierte MetrikenA #Classes und 5 abgeleiteteB fast alleC alle außer MaxInheritanceDepth


Projekt Korrelierte MetrikenA #Classes und 5 abgeleiteteB fast alleC alle außer MaxInheritanceDepthD nur #Lines


Projekt Korrelierte MetrikenA #Classes und 5 abgeleiteteB fast alleC alle außer MaxInheritanceDepthD nur #LinesE #Functions, #Arcs, McCabe



JA

Gibt es universelle Metriken?



NEIN

Können wir Fehlerorte vorhersagen?


• Grundidee: Metriken kombinieren undRegressions-Modelle ableiten



• In diese können wir Metriken stecken, um die Fehlerwahrscheinlichkeit vorherzusagen



• In diese können wir Metriken stecken, um die Fehlerwahrscheinlichkeit vorherzusagen

• Module können anhand der Fehlerwahrscheinlichkeit sortiert werden


Projekt #Komponenten R2-WertA 9 0.741B 6 0.779C 7 0.579D 7 0.684E 5 0.919

Projekt #Komponenten R2-WertA 9 0.741B 6 0.779C 7 0.579D 7 0.684E 5 0.919

JA


HATARI

Sliwerski/Zimmermann/Zeller (Demo@FSE 2005)

HATARI

Imports in Eclipse

Schröter/Zimmermannl/Zeller (Tech. Report)

Imports in Eclipse

import org.eclipse.jdt.internal.compiler.lookup.*;import org.eclipse.jdt.internal.compiler.*;import org.eclipse.jdt.internal.compiler.ast.*;import org.eclipse.jdt.internal.compiler.util.*;...import org.eclipse.pde.core.*;import org.eclipse.jface.wizard.*;import org.eclipse.ui.*;


Imports in Eclipse


71% aller Komponenten, die compiler importieren, müssen korrigiert werden


Imports in Eclipse


14% aller Komponenten, die ui importieren, müssen korrigiert werden

71% aller Komponenten, die compiler importieren, müssen korrigiert werden


Imports in Eclipse

Korrelation mit Fehlschlagen

Korrelation mit Erfolg


Imports in Eclipse



Compiler-Code • Interna • Core-Funktionalität

GUI-Code • Standard-Java-Klassen • Hilfstexte

Imports in Eclipse



Compiler-Code • Interna • Core-Funktionalität

GUI-Code • Standard-Java-Klassen • Hilfstexte

Welche sollte manam meisten testen?

Vorhersage fehlerträchtiger Module


• Analog zu Microsoft-Ansatz,aber Imports statt Metriken



• Basis: Eclipse mit Fehlerdatenbank (Bugzilla) und Versionsdatenbank (CVS)




• 36% der Packages waren fehlerträchtig(= mussten nachträglich korrigiert werden)




• 36% der Packages waren fehlerträchtig(= mussten nachträglich korrigiert werden)

• Vorhersage mit Support-Vektor-Maschine

Ergebnis

Ergebnis~

300

Pack

ages

Ergebnis~

300

Pack

ages

top 5%

Ergebnis~

300

Pack

ages

10%

90%

fehlerträchtig erfolgreich

top 5%

Ergebnis~

300

Pack

ages

10%

90%

fehlerträchtig erfolgreich

top 5%

Vorhersagezur Entwurfszeit!

Fazit

Software-Archive erzählen viel über ein Projekt

Fazit


Wertvolle Daten für neue Anwendungen:

Fazit



Vorhersage verwandter Änderungen

Fazit





Fazit





Wenig zusätzlicher Aufwand nötig

was software-archive erzählen

Technology