Download - Lean StartUp appliqué à ElCurator
1
Tél : +33 (0)1 58 56 10 00Fax : +33 (0)1 58 56 10 01www.octo.com© OCTO 2012
50, avenue des Champs-Elysées75008 Paris - FRANCE
Christopher Parola
@chrisparola
18/07/2013
Lean Startup appliqué - elCurator
2
Rappel : Construire un produit Lean Startup
Build - comme des Géants
L’obsession de la mesure
Learn
Agenda
3
Rappel : Construire un produit Lean Startup
4
Les gains du Lean Startup
De 17 lecteurs par semaine à 90 en deux mois de test et 20 nuits/homme
Grâce aux apprentissages réalisés
Grâce à la meilleur compréhension de nos « clients »
5
« A startup is a
human institution
designed
to create a new product
or service under conditions of extreme uncertainty »
elCurator est une startup
The Lean Startup - Eric Ries
6
Accélérer la veille des Octos
Vision
7
Sélectionner du contenu pour les Octos
Désengorger les boîtes mails sur le partage d’articles
Donner une vision large des sujets OCTO à l’ensemble des consultants/RH/…
Objectifs liés à cette vision
8
Il est nécessaire de minimiser le temps de ce cycle
9
Il est nécessaire de minimiser le temps de ce cycle
10
MVP : première ébauche de produit
11
Après le MVP, les MVF
Minimum Viable FeaturePasse par le même cycle de Build-Measure-Learn
Permet d’apprendre au plus vite
Prendre des décisions stop ou encore
Les MVF, suite du MVP
12
Build : Réalisation du MVP
Measure :
Cas concret du cycle Build-Measure-Learn
Learn : les utilisateurs ne reviennent pas après la première interaction et ne lisent pas d’autre article
13
Build : Mise en place de la récupération du contenu du site pour conserver les utilisateurs
Measure :
Cas concret du cycle Build-Measure-Learn
Learn : En conservant les utilisateurs sur la plateforme, leur nombre d’interaction et de lecture augmente
14
Build – Comme des géants
15
On a mis en place les recettes Octos / GdW
Oui
Oui
Oui
OuiOuiOuiOui
Oui
Oui
16
Une pizza team
Communication, transparence, alignement
17
Le MVP
Pourquoi ?Tester immédiatement l’intérêt du produit
Avoir des feedbacks au plus vite
Comment on l’a fait ?Désignation du feature set minimal
Implémentation rapide et mise en production
Ce que ça nous a apporté 10 early adopters
Stratégie d’acquisition autour de la lecture et non le partage
18
Continuous Integration
Pourquoi on l’a fait ?Accélérer notre Time To Market
Comment on l’a fait ?Passage en flux (Trello avec des DOD)
Jenkins
TDD avec une couverture très élevée >= 80%
Ce que ça nous a apporté On a confiance dans notre système, et dans nos MEP
Ce qui nous manque : Continuous deployement : l’IHM change très souvent, donc très couteux de mettre en place des tests sur cette couche
19
Feature Flipping
Pourquoi on l’a fait ?Pouvoir pousser en production des features non terminées
Pouvoir activer à chaud certaines features (cf mesure)
Comment on l’a fait ?Simple if/else dans le code
FF sur mobile !Utilisation d’un fichier de configuration distant sur mobile
Ce que ça nous a apporté MEP au fil de l’eau, tous les soirs
Ce qui nous manqueAller plus loin et faire de l’A/B Testing
20
L’application des patterns des Géants du Web sur elCurator nous a permis d’accélérer notre cycle Build-Measure-Learn…
…surtout quand l’équipe est délocalisée
Conclusion
21
L’obsession de la mesure
22
On ne dit plus
« Je pense que »
mais
« Je vais mesurer que »
L’obsession de la mesure est un changement de culture
23
Les mesures sont dans les DOD
24
La colonne « Validation d’hypothèse » est ajoutée au backlog
25
Outil de bootstrap de la politique de mesurePermet de valider la présence d’utilisateurs (38 vu)
Permet de constater leur flux au sein du site
Meilleur outil pour les données mobiles
Mais très rapidementOn n’a pas accès à des « vrais » visiteurs uniques
Il est complexe de suivre le parcourt d’un seul utilisateur
Step 1 – Google analytics
26
Il a été nécessaire de mettre en place des logs customisés et multicanal.
Usage mobile ou web ?
Pour ce faireModule applicatif dédié aux logs
Web
Stockage dédié en base
Mobile (offline)
Step 2 – Logs customisés
27
1/27
/13
2/3/
13
2/10
/13
2/17
/13
2/24
/13
3/3/
13
3/10
/13
3/17
/13
3/24
/13
3/31
/13
4/7/
130
102030405060708090
100
Nombre de lecteurs
Uti
lisa
teu
rs u
niq
ues
On a pu analyser des utilisateurs uniques par semaine
28
Des Octos font des insomniesWON à 2h22 et 52 secondes sur son mobile
BLA à 01h58 et 28 secondes sur son mobile
PGA a consulté 15 articles sur le web, dont le dernier le 11/07/2013
On peut avoir des informations très précises
29
Industrialiser le suivi de métriques avec une page dédiéeelcurator.octo.com/metrics
Step 3 – Quand le PO ne peut plus dépiler les logs
30
Beta test
Exemple : Test d’une feature d’envoie de mail quand un nouvel article est publié
Step 4 – Le feature flipping
31
Sur elCurator, la mesure est au cœur du projet
On ne doit pas développer une fonctionnalité sans penser à ce qu’elle doit valider
On pense que c’est la bonne façon de faire, doncIndustrialisation
Test sur des populations ciblées
Mise en place de rappels dans les DOD et le backlog
Conclusion - Conviction
32
Learn
33
Pattern de mesure utilisé systématiquement
Hypothèse : Cette feature va amener x actions
Apprentissage : OUI => Action NON => Action
Mesure : Graphe, courbes, …
34
Plus d’usage sur mobile que sur le web
Hypothèse : le mobile va générer des usages supérieurs à ceux du web
Mesures : Nombre de lectures sur webNombre de lectures sur mobileratio mobile/web
Apprentissage : Oui => on investi sur mobile Non => on reste en web desktop
35
Plus d’usage sur mobile que sur le web
2/17/13 2/24/13 3/3/13 3/10/13 3/17/130
200
400
600
800
1000
Part des affichages des articles sur mobiles et web
Curatorability webCuratorability mobile
Hypothèse : le mobile va générer des usages supérieurs à ceux du web
Apprentissage : Oui => on investi sur mobile
36
L’application mobile doit gérer le hors ligne
Hypothèse : l’usage mobile se produit dans les transports
Courbe typique d’une journée d’usage
Apprentissage : Oui => Le mode hors connexion est essentiel
37
elCurator ne retient pas naturellement les utilisateurs
Hypothèse : sans communication « manuelle », on perd des visiteurs uniques
Communications
Apprentissage : Oui => Travailler sur la rétention
38
elCurator ne retient pas naturellement les utilisateurs
Hypothèse : sans communication « manuelle », on perd des visiteurs uniques
Communications Débat sur tech
Apprentissage : Lancer des débats sur le produit ;)
39
On réalise une première version et on mesure
Hypothèse : les filtres par catégories seront régulièrement utilisés
Attendu : 50 clics par semaineRéalisé : 50 clics en deux mois
Apprentissage : Non => On investit encore car on pense à un problème d’ergonomie
40
On reconstruit une page avec mise en avant des catégories
41
On mesure l’impact de la seconde version
Hypothèse : les filtres par catégories seront régulièrement utilisés
Attendu : 50 clics par semaineRéalisé : 46 clics en un mois
Apprentissage : Non => Réflexion sur la suppression des catégories
42
Plus d’usage sur mobile que sur le web
Hypothèse : le vote négatif va diminuer le nombre de publications
Apprentissage : Oui => on supprime le vote négatif
6/3/
13
6/7/
13
6/11
/13
6/15
/13
6/19
/13
6/23
/13
6/27
/13
7/1/
1305
1015202530354045
Nombre d'article publiéNombre de votes négatifs
43
Plus d’usage sur mobile que sur le web
Hypothèse : le vote négatif va diminuer le nombre de publications
Apprentissage : ?
6/3/
13
6/7/
13
6/11
/13
6/15
/13
6/19
/13
6/23
/13
6/27
/13
7/1/
130
102030405060708090
Nombre d'article publiéNombre de votes négatifsNombre de lecteurs uniques
44
Plus d’usage sur mobile que sur le web
Hypothèse : le vote négatif va diminuer le nombre de publications
Apprentissage : Non => on conserve le vote négatif
6/3/
13
6/8/
13
6/13
/13
6/18
/13
6/23
/13
6/28
/13
7/3/
13
7/8/
130
102030405060708090
Nombre d'article publiéNombre de votes négatifsNombre de lecteurs uniques
45
Utiliser les outils de feedbackMailing list
Uservoice / OTFeedback
Mener des entretiensProblème et solution interview
Comprendre les douleurs derrière les demandes de feature
L’apprentissage par les feedbacks
46
Conclusion
47
Mettre en place les patterns indispensables pour accélérer le Build
Penser à la mesure quand tu penses à la feature
Industrialiser la mesure et l’apprentissage
Accepter les fails sans tenter de forcer le destin
Comprendre les douleurs derrière les feedbacks
Conclusions - Convictions
48
Des questions ?
Merci de votre attention
49
Une dernière validation
Hypothèse : la BOF elCurator va intéresser les Octos
Attendu : >= 3 en ROTIRéalisé : ?
Apprentissage : Oui => J’en referaisNon => Je me désinscris d’elCurator
50
Pour toutes questions, idées, suggestions, n’hésitez pas à me contacter :
@chrisparola
Votre avis est important
51
Personnification des curators Page profile, statistiques, classement
Focus sur le mobileApplication Android
Compléter les fonctionnalité iOS
PartageSimplifier la discussion en commentaire
Améliorer le partage depuis elCurator vers les réseaux sociaux
Ventes2 touches sérieuses
Essayer de re-signer avec des clients
What is next ?