01

Hello!

02

About me03

Andrey AdamovichJava/Groovy developer

DevOps guy, automation junkie

Co­author of Groovy 2 Cookbook

Co­organizer of @latcraft and @devternity

Coach at @devchampions

Twitter: @codingandrey

••••••

04

Let's start!05

BackgroundFind new clients

Face big code bases

Need quick analysis

Need quick results

••••

06

Code sizeGoogle: 2 billions LOC

Facebook: 61 million LOC

Me: from 20K to 2M LOC

•••

07

I hate reading...

08

Reading the codeI want this to work

This just works

Working is the definition of this block

Work! You, stupid!

The work should be here

01.

02.

03.

04.

05.

09

It's life, Jim, but not as we know it!

10

Code is data!11

Well, big data12

Snapshot

13

Temporal

14

First steps15

Count thelines!

16

Size does matterGives you an estimate (on how much reading is needed).

Most of the code bases are polyglot. Ratio between languages can

tell something.

Ratio between test code, comments, blank lines is also interesting.

••

•

17

cloc

18

Usagecloc ‐‐help

cloc ‐‐write‐lang‐def=lang.defs

01.

02.

19

Usagecloc ‐‐csv 

     ‐‐quite 

     ‐‐progress‐rate=0

     ‐‐ignored=files.ignored 

     ‐‐exclude‐dir=test,build

     ‐‐read‐lang‐def=lang.defs 

     ‐‐out=data.csv

     .

01.

02.

03.

04.

05.

06.

07.

08.

20

Language definitionsGradle

    filter remove_matches ^\s*//

    filter remove_inline //.*$

    filter call_regexp_common C

    extension gradle

    3rd_gen_scale 4.10

01.

02.

03.

04.

05.

06.

21

Where are thepictures?

22

We havestats, let'splot them!

23

Excel?Probably not.

24

Pie charts areboring!

25

Infographics!26

d3.js

27

d3.jsJavascript library for data visualizations

Tons of examples

Many libraries built on top of d3.js

Several books

••••

28

Example29

Demo30

Many alternativesvis.js

raphael.js

sigma.js

many, many, many more

••••

31

Tableau Public

32

Tableau Public

33

Tableau Public

34

infogr.am

35

infogr.am

36

Temporalanalysis

37

GitHub

38

GitHub

39

FishEye

40

GourceSoftware projects are displayed by Gource as an animated tree with

the root directory of the project at its centre. 

Directories appear as branches with files as leaves. 

Developers can be seen working on the tree at the times they

contributed to the project.

“41

Launch gourcegource ‐s 0.1 ‐1280x720 

gource ‐‐output‐custom‐log log1.txt 

gource ‐s 0.1 ‐1280x720 log1.txt

01.

02.

03.

42

Log format1444125624|Luke Daley|M|/ratpack‐core/.../WiretapPublisher.java

1444125624|Luke Daley|M|/ratpack‐core/.../YieldingPublisher.java

1444306114|Stian Lindhom|M|/ratpack‐manual/.../13‐http.md

1444312172|Andrey Antukh|M|/ratpack‐core/.../WebSocketEngine.java

01.

02.

03.

04.

43

Demo44

Code MaatCode Maat is a command line tool used to mine and analyze data from

version­control systems“45

Launch Maatgit log ‐‐pretty=format:'[%h] %aN %ad %s' \

    ‐‐date=short ‐‐numstat ‐‐after=YYYY‐MM‐DD

01.

02.

46

Launch Maatmaat ‐l git.log ‐c git ‐a summary 

maat ‐l ratpack_evo.log ‐c git ‐a revisions > ratpack_freqs.csv

python scripts/merge_comp_freqs.py ratpack_freqs.csv ratpack_lines.csv

01.

02.

03.

47

Analysis typesabs­churn, age, author­churn, authors, communication, coupling,

entity­churn, entity­effort, entity­ownership, fragmentation, identity,

main­dev, main­dev­by­revs, messages, refactoring­main­dev,

revisions, soc, summary

48

Demo49

Let's talk bigdata

50

ElasticSearchDistributed, scalable, and highly available

Real­time search and analytics capabilities

Sophisticated RESTful API

•••

51

Index data$ curl ‐XPUT 'http://localhost:9200/gitlog/commit/123345' ‐d '{

  "commitId" : "123345",

  "timestamp" : "2009‐11‐15T14:12:12",

  "message" : "git into es"

}'

01.

02.

03.

04.

05.

52

KibanaFlexible analytics and visualization platform

Real­time summary and charting of streaming data

Intuitive interface for a variety of users

Instant sharing and embedding of dashboards

••••

53

Kibana54

Tag Cloudkibana plugin ‐i tagcloud \

‐u https://github.com/stormpython/tagcloud/archive/master.zip

01.

02.

55

Demo56

Structure57

Structure101

58

Demo59

Graphs are everywhere!

60

jQAssistantjQAssistant is a QA tool which allows the definition and validation of

project specific rules on a structural level. 

It is built upon the graph database Neo4j and can easily be plugged

into the build process to automate detection of constraint violations

and generate reports about user defined concepts and metrics.

“61

Query your codeMATCH

  (class:Class)‐[:DECLARES]‐>(method:Method)

RETURN

  class.fqn, count(method) as Methods

ORDER BY

  Methods DESC

LIMIT 20

01.

02.

03.

04.

05.

06.

07.

62

neo4j

63

Demo64

That's it!65

ConclusionExtract data from your code!

Visualize it!

Search for new facts and knowledge!

•••

66

Readingmaterial

67

Your Code as a Crime Scene

68

Metrics and Models in SQE

69

Software Metrics and Metrology

70

D3 Cookbook

71

D3 Tips & Tricks

72

Links: imageshttp://abstrusegoose.com/432

http://camarenaphoto.tumblr.com/post/112238079516/its­life­jim­but­

not­as­we­know­it­spock

http://technology.ie/big­data­looks­like/

http://www.informationisbeautiful.net/visualizations/million­lines­of­

code/

http://githut.info/

http://emmanueloga.com/2013/10/07/Graphs­are­Everywhere­An­

overview­of­GraphConnect­San­Francisco­2013.html

••

••

••

73

Links: toolshttps://github.com/AlDanial/cloc

http://gource.io/

http://wettel.github.io/codecity­wof.html

https://github.com/adamtornhill/code­maat

http://d3js.org/

http://visjs.org/

••••••

74

Links: toolshttp://www.sonarqube.org/

https://www.atlassian.com/pt/software/fisheye/overview

https://www.elastic.co/products/elasticsearch

https://www.elastic.co/products/kibana

http://jqassistant.org/

http://neo4j.com/

••••••

75

Links: toolshttps://github.com/ThoughtWorksStudios/saikuro_treemap

https://www.youtube.com/watch?v=iiIytERhV9o••

76

Köszönöm!77

Thank you!78

Questions?79