monitoring open source pour java avec jmxtrans, graphite et nagios - devoxxfr 2013

27 au 29 mars 2013

Monitoring Open Source pour Java avec JmxTrans, Graphite et Nagios

Wednesday, March 27, 13

Speaker

Cyrille Le Clerc

@cyrilleleclerc

Open Source

Fort Traffic

Cloud, DevOps

Architect

Speaker

Henri Gomez

@hgomez

Open Source

Intégration Continue

DevOps

Architecte CI

Vous ?

Dev ? Qa ? Ops ?Expérience monitoring ?

27 au 29 mars 2013

Agenda

• L’application

• Le monitoring à réaliser

• Instrumenter une webapp Java avec JMX

• Monitorer

• Grapher avec Graphite

• Alerter avec Seyren (et Nagios)

• Monitoring & Continuous Delivery

• Déploiement de Graphite

• Conclusion

Votre mission, si toutefois vous l’acceptez ...

Mettre en place le monitoring technique et métier

e-commerce SOS Cocktails

http://www.flickr.com/photos/23791504@N08/2607814349

SOS CocktailDémo

27 au 29 mars 2013

Les indicateurs à monitorer

Pourquoi Monitorer ?Quoi ?

Les indicateurs à monitorer

Les Indicateurs à monitorer

• Operating System -> Sysload

• JVM -> GC duration

• Tomcat -> activeSessions (active visitors)

• Application -> sales revenue & items

Open Source Monitoring for Java

eCommerce Web Site Graphite

Seyren

Dashboard - wiki

Nagios

(1)(2) (3)

27 au 29 mars 2013

JMX & Métriques

Pourquoi JMX ?

• JMX vs. pages web vs. logs vs. ...

• Simple et sécurisé

• Exposable vers pages web et les logs

• Des alternatives à JMX

JMX vs. logs vs. pages web vs. ...

• Logs de monitoring

• Parser des Go de fichiers texte ?

• Détail par invocation vs. moyenne par minute

• Pages web

• Historisation ?

• Applications en clusters ?

• Sécurité ?

JMX avec Spring<beans ...> ... <context:mbean-‐export/> ...</beans>

@ManagedResource("cocktail:name=ShoppingCartController,type=...")class ShoppingCartController { final AtomicInteger revenueInCentsCounter = new AtomicInteger();

@ManagedAttribute public int getRevenueInCentsCounter() { return revenueInCentsCounter.get(); } void purchase(...){ ... revenueInCentsCounter.addAndGet(priceInCents); }

JMX & JSP

$ curl http://demo-‐cocktail.jmxtrans.cloudbees.net/5ADrUWr5/jmx-‐sales-‐metrics.txt.jspEpoch SalesRevenueInCentsCounter SalesItemsCounter SalesOrdersCounter1363217376 4500 7 2

curl http://demo-‐cocktail.jmxtrans.cloudbees.net/5ADrUWr5/...{ "Epoch":1363217653, "SalesRevenueInCentsCounter":4050, "SalesItemsCounter":7, "SalesOrdersCounter":2}

http://demo-cocktail.jmxtrans.cloudbees.net/jmx.jsp

Powered by JMX!

Human readable et script friendlyAttention sécurité !

JMX & JSP

$ curl http://demo-‐cocktail.jmxtrans.cloudbees.net/5ADrUWr5/jmx-‐sales-‐metrics.txt.jspEpoch SalesRevenueInCentsCounter SalesItemsCounter SalesOrdersCounter1363217376 4500 7 2

curl http://demo-‐cocktail.jmxtrans.cloudbees.net/5ADrUWr5/...{ "Epoch":1363217653, "SalesRevenueInCentsCounter":4050, "SalesItemsCounter":7, "SalesOrdersCounter":2}

http://demo-cocktail.jmxtrans.cloudbees.net/jmx.jsp

Powered by JMX!

Human readable et script friendlyAttention sécurité !

/5ADrUWr5/jmx-sales-metrics.jsp

JMX & JSPPowered by JMX!

Alternatives à JMX

class Shopping

CartController

@Monitor(name

="revenueInCen

ts", type=COUN

final AtomicI

nteger revenue

InCentsCounter

= new AtomicI

nteger();

void p

urchase(...){

revenueInCe

ntsCounter.add

AndGet(priceIn

Cents);

Alternatives à JMX

class Shopping

CartController

@Monitor(name

="revenueInCen

ts", type=COUN

final AtomicI

nteger revenue

InCentsCounter

= new AtomicI

nteger();

void p

urchase(...){

revenueInCe

ntsCounter.add

AndGet(priceIn

Cents);

class ShoppingCartController { final Counter revenueInCentsCounter = Metrics.newCounter( ShoppingCartController, "revenue-‐in-‐cents"); void purchase(...){ ... revenueInCentsCounter.inc(priceInCents); }

Metrics

•OS: Sysload•JVM: Garbage Collector•Tomcat: activeSessions •Application: Web Site Revenue

27 au 29 mars 2013

jmxtrans & embedded-jmxtrans

jmxtrans - standalone

ecommerceTomcat

Graphite

accountingTomcat

logisticsTomcat

embedded-jmxtrans

logistics

Tomcat

Graphite

ecommerce

Tomcat

accounting

Tomcat

Librato

standalone vs. embedded

standalone embedded

Packaging

Modèledaemon externe, raccordement manuel des applications & des

indicateurs

agent embarqué, applications & indicateurs auto-raccordés /

autonomes

Curseur OPS -♦----------- DEV OPS ----------♦-- DEV

Use case applis “peu modifiables”, middlewares, curseur OPS

cloud, batch, curseur DEV/QA

jmxtrans & embedded-jmxtrans

SOS Cocktail Graphite

embedded

embedded-jmxtrans configuration

<dependency> <groupId>org.jmxtrans.embedded</groupId> <artifactId>embedded-‐jmxtrans</artifactId> <version>1.0.5</version></dependency>

<jmxtrans:jmxtrans> <jmxtrans:configuration>classpath:jmxtrans.json</jmxtrans:configuration> ... </jmxtrans:jmxtrans></beans>

<jmxtrans:jmxtrans> <jmxtrans:configuration>classpath:jmxtrans.json</jmxtrans:configuration> ... </jmxtrans:jmxtrans></beans>

{ "queries": [ { "objectName": "cocktail:name=ShoppingCartController", "resultAlias": "sales", "attributes": ["SalesRevenueInCentsCounter"] }, ], "outputWriters": [ { "@class": "org.jmxtrans.embedded.output.GraphiteWriter", "settings": { "host": "${graphite.host:localhost}", "port": "${graphite.port:2003}," "enabled": "${graphite.enabled:true}" } } ]}

jmxtrans

27 au 29 mars 2013

Graphite

• BD de Time Series et solution de Graphe

• Utilisé par des grands du Web

• Similaires

Simplicité et Self Service

Ecriture / Alimentation

• Création automatique des métriques

• Protocoles socket “plain text” & sérialisation Python Pickle

• Précision et durée de stockage par configuration

echo "devoxx.happyCounter 1.2 1364338989" | nc localhost 2003

[sales_1min_for_15days_5min_for_1year]pattern = ^sales\.retentions = 60s:30d,300s:365d 1.7MB

Lecture / Consommation

• Composer de graphe & URL API

• Tout le monde peut créer ses graphes

• Fonctions Riches• sum, scale, derivative, timeshift, deviation, filter, ...

• Exports variés : png, svg, csv, json, raw text

27 au 29 mars 2013

Graphes et monitoring

Demo Graphite sur le Cloud

• http://hostedgraphite.com/

• Graphite as a Service• Pas de ‘tracas’ d’installation

• addons: Tasseo

• No-OPS

email: admin@jmxtrans.org

password: devoxx2013

Les métriques

• Exemples: activeRequests, dataSource.activeConnection, ...

• Information exploitable immédiatement

Gauge Ever Increasing Counter

• Exemples: requestsCount, revenue, ...

• Conversion nécessaire en “par minute”

Des graphes et des formules

Ever Increasing Counter Revenue per Second

derivative()

Revenue per HourPer Second -> Per Hour

Revenue per Hour

summarize()

Per Second -> Per Hour

2 servers

Total Revenue per Hour

2 servers

Total Revenue per Hour

sumSeries()

server restart

Ignore reset to zero

server restart

Ignore reset to zero

nonNegativeDerivative()

Compare to last week

?timeShift()

Dashoards Wikidashboard.prod.md# Sales

https://github.com/jmxtrans/embedded-jmxtrans-samples/wiki/Dashboard-PROD

Dashoards by Email

Envoyer les graphes par email

27 au 29 mars 2013

L’alerting

Intégrer Graphite à de l’alertingURL ApiSeyrenNagios

Intégrer Graphite à l’alerting

• Utiliser l’URL API

• Format rawText ou JSON

• Pattern /render?from=-‐11minutes&until=-‐1minutes&format=raw&target=****

$ curl "http://graphite.exemple.com/render?from=-‐11minutes&until=-‐1minutes&format=raw& target=keepLastValue(servers.cloudbees.jvm.os.SystemLoadAverage)"

my-‐metric,1363225680,1363226340,60|0.03,0.01,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0,0.0

Exemple

Alerting - Seyren

• Alerting Dashboard for Graphite

• Open Source

• Java .war + MongoDB

• Alertes email, PagerDuty, ...

Alerting - Seyren

http://seyren.jmxtrans.cloudbees.net/

Nagios

• Infrastructure Monitoring

• Open Source

• Standard de facto en entreprise

• check_graphite plugin

• Pierre-Yves Ritschard

• Jason Dixon / obfuscurity

27 au 29 mars 2013

Monitoring & Continuous Delivery

• Livrer le monitoring avec l’application

• Les indicateurs

• Les dashboards

• Builder en continue les configs par environnement

• Require: topologie des environnements intégrées au build

• Déploiement sur un repo (Maven, ...)

• Déployer en automatique le monitoring

src/main/graphite/dashboard.template.md

Cocktail App Dashboards -‐ ${environment} -‐ ${version}# Sales

StringTemplate

${variable}

Dashboard template

dashboard.template.md

dashboard-generator.groovy

PROD-env-topology.json

pom.xml<gmaven-plugin>

dashboard.PROD.md

QA-env-topology.json

dashboard.QA.md

https://github.com/jmxtrans/embedded-jmxtrans-samples/wiki/Monitoring-Continuous-Deployment

repository

Monitoring dashboards Continuous Integration

27 au 29 mars 2013

Déploiement de Graphite

27 au 29 mars 2013

Cadeau bonus !

Promo Code

• http://hostedgraphite.com/

• 60 days trial with “DEVOXX” promo code

(1) Signup

(2) Enter Promo Code “DEVOXX”

help: cleclerc@cloudbees.com (3) Promo Code “DEVOXX”

27 au 29 mars 2013

Conclusion

• Monitoring technique et métier

• Monitoring intégrée au Continuous Delivery de l’appli

• L’approche self-service transforme le monitoring

• Solutions Open Source disponibles

Monitoring no longer sucks in Java!http://lusislog.blogspot.fr/2011/06/why-monitoring-sucks.html

http://demo-cocktail.jmxtrans.cloudbees.net/ http://jmxtrans.org/

monitoring open source pour java avec jmxtrans, graphite et nagios - devoxxfr 2013

Technology

identify.innovate.implement€¦ · grafana, graphite,...

nagios conference 2014 - leland lammert - distributed...

pour un développement durable (devoxxfr)

présentation devoxxfr 2015 sur gwt

algorithmes distribues pour le big data @ devoxxfr 2015

[fr] introduction et live-code backbone.js à devoxxfr 2013

la blockchain en détail - devoxxfr 2016 - benoit lafontaine...

présentation cqrs à devoxxfr

nagios introduction dhruba raj bhandari - internet...

devoxxfr présentation des portails en 2014

monitoring mongodb’s engines in the wild - percona.com ·...

nagios conference 2014 - jose marroquin - how revenue...

nagios server and nagios host in docker containers

nagios xi - the beginners guide to nagios xi

nagios conference 2012 - bryan mclellan - using nagios with...

nagios 3 j. gabès nagios 3 -...

monitoring sieci nagios - maciej...

nagios conference 2013 - avleen vig - nagios at etsy

log me tender - the coder's...

devoxxfr 2013 - le classpath n'est pas mort, mais presque