ldb neetneedeu panetta 06

27 gennaio 2015 COSIMO PANETTA 

cosimo@thedoers.co 

METRICHE E IMPATTO

SIAMO TUTTI BUGIARDI

INTRODUZIONE

NESSUN IMPRENDITORE AMA LA CONTABILITA’SPECIE QUELLA TRADIZIONALE(la prima figura manageriale assunta dalle Startup che si strutturano è il CFO)

INTRODUZIONE

LA CONTABILITA’ E’ ALLA BASE DELLA VALUTAZIONE DELLE PRESTAZIONI, E QUINDI DELLA BONTA’, DI UN’AZIENDA.PER QUESTO E’ FONDAMENTALE.

INTRODUZIONE

LA CONTABILITA’ TRADIZIONALE PER LE AZIENDE STARTUP NON FUNZIONA

INTRODUZIONE

LA CONTABILITA’ TRADIZIONALE DELL’INNOVAZIONE PER LE AZIENDE STARTUP NON FUNZIONA E’ FONDAMENTALE PER VALUTARE IL PROGRESSO DEL PROGETTO E LA BONTA’ DEL VOSTRO OPERATO.

PER QUESTO E’ NECESSARIO CONOSCERLA E GOVERNARLA.

SIAMO TUTTI BUGIARDI

IN PARTICOLARE SIAMO BRAVISSIMI A MENTIRE A NOI STESSI.

(BUGIA = CREDERE (E FAR CREDERE) IN QUALCOSA IN ASSENZA DI FORTE EVIDENZA.)

SIAMO TUTTI BUGIARDI

NEL MOMENT0 DI FORMULAZIONE DELLA NOSTRA VISIONE, E DI TUTTE LE IPOTESI CHE ACCOMPAGNANO LO SVILUPPO DEL NOSTRO PROGETTO, LE BUGIE SONO NECESSARIE

SIAMO TUTTI BUGIARDI

… MA SONO NEGATIVE QUANDO ARRIVANO A CONFONDERCI, E CI IMPEDISCONO DI PROGREDIRE

GUT FEELING/ISTINTO

L’ISTINTO E’ ISPIRAZIONE E VISIONE

L’ISTINTO E’ IL VOSTRO SUPERPOTERE - VI PERMETTE DI VEDERE COSE CHE GLI ALTRI NON VEDONO

FATEVI ILLUMINARE DALL’ISTINTO, MA NON APPOGGIATE IL VOSTRO PROGETTO SULL’ISTINTO. DOVETE METTERLO ALLA PROVA DEI FATTI, TESTARLO

GUT FEELING / ISTINTO

L’ISTINTO VI DICE QUALI ESPERIMENTI FARE.

GUT FEELING / ISTINTO

I DATI SONO I FATTI.

MISURA

“If you can’t measure it, you can’t manage it.”

Peter Drucker

SCHIANTO

MOLTI IMPRENDITORI SI SONO SCHIANTATI CONTRO I FATTI, PIU’ DI UNA VOLTA.

SCHIANTO

SE NON VI SIETE SCHIANTATI A SUFFICIENZA COI FATTI, PROBABILMENTE NON STATE PROCEDENTO NEL MODO GIUSTO.

SE NON VI SIETE SCHIANTATI A SUFFICIENZA COI FATTI, PROBABILMENTE SIETE VICINI AD UNO SCHIANTO TROPPO VIOLENTO DA SOPPORTARE, IN CUI L’UNICA FORMA DI SALVEZZA E’ LA RINUNCIA.

SCHIANTO

QUANDO SAI CHE LO SCHIANTO CON LA REALTA’ STA PER ARRIVARE, MA CONTINUI A MENTIRE A TE STESSO, E LO DISCONOSCI.

FATTORE CASSANDRA

FATTORE CASSANDRA

CAMPO DI DISTORSIONE DELLA REALTA’

REALITY DISTORSION FIELD

charm + charisma + bravate + iperboli + marketing + calma conciliante + persistenza

RDF è in grado di distorcere il senso delle proporzioni dell’audience e la percezione delle difficoltà, convincendo che tutto è possibile.

REALITY DISTORSION FIELDCAMPO DI DISTORSIONE DELLA REALTA’

L’RDF E’ IMPORTANTE.

OCCORRE SOLO RIUSCIRE A CREARVI ALCUNI BUCHI, PER VEDERE LO SCHIANTO PRIMA CHE ACCADA ED EVITARLO!

REALITY DISTORSION FIELDCAMPO DI DISTORSIONE DELLA REALTA’

PER AFFIDARVI UN PO’ DI MENO AL VOSTRO RDF

E UN PO’ DI PIU’ SUI DATI, I FATTI, LE EVIDENZE.

LEAN ANALYTICS

AIRBNB

AIRBNB

A CHE COSA SERVONO I TEST E I DATI

AIRBNB - ESEMPIO

CONCIERGE MVPFOTOGRAFIE PROFESSIONALI → 3X PRENOTAZIONI→ +LOYALITY DELL’HOST (ENTUSIASTI DI VEDERE LA LORO VALORIZZATA DA FOTOGRAFI PROFESSIONISTI)

A CHE COSA SERVONO I TEST E I DATI

AIRBNB - ESEMPIO

EVOLUZIONE> FOTOGRAFIE WATERMARKED> SERVIZIO DI FOTOGRAFIA PROFESSIONALE> AUMENTO DELLA QUALITA’ MEDIA DELLE FOTO> MAGGIORE ATTENZIONE ALLA QUALITA’ DELLE FOTO

WATERMARK

A CHE COSA SERVONO I TEST E I DATI

AIRBNB - ESEMPIO

METRICA = SHOOTS X MONTHSperchè aveva gia’ provato con il suo concierge MVP che il numero di foto professionali era connesso con il numero di prenotazioni.

AIRBNB - ESEMPIOA CHE COSA SERVONO I TEST E I DATI

RIASSUNTO

1. ISTINTO: FOTO MIGLIORI >> MAGGIORI PRENOTAZIONI 2. TEST: CONCIERGE MVP (MINIMO SFORZO > MASSIMO

RISULTATO)3. CONFRONTO CON LE METRICHE: FOTO >> 3X

PRENOTAZIONI4. SVILUPPO DI UN SERVIZIO INTEGRATO DI FOTOGRAFIA

PROFESSIONALE PER SCALARE IL RISULTATO SU TUTTA LA COMMUNITY

AIRBNB - ESEMPIO

APPRENDIMENTO

LA CRESCITA SPESSO E’ INNESCATA DA RAGIONI IMPREVISTE

SE PENSI DI AVER INTUITO LA CHIAVE DELLA CRESCITA > TESTALA VELOCEMENTE, CON IL MINIMO INVESTIMENTO

APPRENDIMENTO

● DECIDI LE METRICHE DEL SUCCESSO A PRIORI,

● RACCOGLI TUTTI GLI INSIGHT, ● CONFRONTATI CON LE METRICHE E ● STABILISCI COME PROCEDERE

APPRENDIMENTO

LEAN ANALYTICS

LEAN STARTUP + CONTABILITA’ DELL’INNOVAZIONE

= LEAN ANALYTICS

LEAN ANALYTICS

E’ UN PROCESSOE’ UN APPROCCIO MENTALE

LEAN ANALYTICS

POSSEDERE UN APPROCCIO MENTALE LEAN & ANALITICO SIGNIFICA SAPERSI PORRE LE DOMANDE GIUSTE E RIMANERE FOCALIZZATI NELLA METRICA FONDAMENTALE CHE PRODURRA IL CAMBIAMENTO A CUI ASPIRI.

LEAN ANALITICS

COME USARE I DATI PER COSTRUIRE UNA MIGLIORE STARTUP, PIU’ VELOCEMENTE

ANALISI COMPUTAZIONALE SISTEMATICA DI DATI E STATISTICHE

DEFINIZIONE

ANALYTICS

DEFINIZIONE

ANALYTICS

MONITORARE LE METRICHE CRITICHE PER LA VITA E LA CRESCITA DEL PROGETTO.

COME TENERE LE MISURE

DEFINIZIONE

METRICHE CRITICHE

LE METRICHE CRITICHE SONO QUELLE CHE RIGUARDANO LE COMPONENTI DEL MODELLO DI BUSINESS

da dove vengono i soldi, quanto costa produrre, quanti clienti ci sono, quanto efficaci sono le strategie di acquisizione clienti.

IN UNA STARTUP

METRICHE CRITICHE

NON E’ FACILE RICONOSCERLE, PERCHE’ ● IL MODELLO DI BUSINESS NON E’ ANCORA

DEFINITO● CAMBIA SPESSO L’OGGETTO DELLA

MISURAZIONE● IL PRODOTTO NON E’ ANCORA DEFINITO● IL TARGET POTREBBE ESSERE ANCORA

INCERTO

RIFORMULANDO

LEAN ANALYTICS PER STARTUP

L’OBIETTIVO DELLA CONTABILITA’ DELL’INNOVAZIONE E’ VALIDARE IL MODELLO DI BUSINESS PRIMA DI FINIRE I SOLDI.

METRICHE BUONE

● COMPARATIVE● COMPRENSIBILI● RELATIVE (UN TASSO O UNA %)● ACTIONABLE : DANNO INDICAZIONI

SU COME MODIFICARE IL PROPRIO COMPORTAMENTO

METRICHE COMPARATIVE

CONVERSIONI DEL 2% 10% PIU’ CONVERSIONI DELLA SETTIMANA SCORSA

ESEMPIO: COHORT ANALYSIS

METRICHE COMPARATIVE

ESEMPIO: COHORT ANALYSIS

METRICHE COMPARATIVE

USER RETENTION

COMPRENSIBILI

SE SONO DIFFICILI DA RICORDARE, ● E’ DIFFICILE DISCUTERNE, ● QUINDI E’ ANCORA PIU’ DIFFICILE

DIFFICILE TRASFORMARE UNA VARIAZIONE DI UN DATO IN UNA VARIAZIONE DI COMPORTAMENTO O CULTURA.

.

DANNO INDICAZIONI SU COME AGIRE

TASSO O PERCENTUALE

DISTANZA VELOCITA’

Puoi agire sulla velocità per percorrere più distanza nello stesso tempo, o per raggiungere una distanza in un dato tempo.

SONO INTRINSICAMENTE COMPARATIVE

TASSO O PERCENTUALE

VELOCITA’ ISTANTANEA VELOCITA’ ISTANTANEA

VELOCITA’ MEDIA IN UN’ORA

Come sta evolvendo il tuo comportamento? Acceleri? Rallenti? Ti stabilizzi?

PERMETTONO IL RAFFRONTO DI GRANDEZZE INVERSAMENTE CORRELATE

TASSO O PERCENTUALE

DISTANZA DISTANZA

MULTE

A parita’ di tempo, ha senso andare più veloce, e quindi più lontano, comparato col costo della multa?

ESEMPIO

Considerate una startup con una versione free e una versione a pagamento del suo software. La startup fronteggia una scelta: offrire molte funzionalità gratis per acquisire nuovi utenti, oppure riservarle per i clienti paganti - in modo che spendano più soldi per sbloccarle. Nel primo caso potrebbero ridurre le vendite, ma nel secondo caso potrebbero rallentare l’acquisizione di nuovi utenti.I founder non vorrebbero far crescere le vendite a scapito della crescita degli utenti. Che metrica potrebbero usare?

ESERCIZIO

DANNO INDICAZIONI SU COME MODIFICARE IL PROPRIO COMPORTAMENTO

ACTIONABLE | PERSEGUIBILI

SE CAMBIA IL VALORE DELLA METRICA, COME POSSO RISPONDERE?

REPORTISTICA FINANZIARIA

METRICHE SPERIMENTALI

UNA BUONA AMICA

UNA BUONA METRICA E’ LA MIGLIORE AMICA PERCHE’ E’ ALLINEATA AI TUOI OBIETTIVI REALI (LA SCEGLI TU) E TI AIUTA A MANTENERTI LUCIDO NEL VALUTARE AZIONI E OPPORTUNITA’.

METRICA FALSATA

“Riceverà a breve una chiamata dal Customer Service della Skoda, le chiederanno di valutare l’esperienza d’aquisto su una scala da 1 a 5. Si ricordi per favore di dare a tutte le domande una valutazione di 5, le sarei molto grato, è l’unico punteggio che interessa alla Skoda. In cambio avrà diritto ad un controllo omaggio…”

Per la Skoda questa è una metrica falsata, perchè il veditore ha speso più energia a chiedere una valutazione positiva di quanta ne abbia spesa a fornire un’esprienza d’acquisto a 5 stelle.

METRICA FALSATA

METRICA FALSATA

SE MISURI QUALCOSA MALAMENTE, INVECE DI INNESCARE UN CAMBIO DI COMPORTAMENTO:● CAUSI PERDITE DI TEMPO● TI ILLUDI CHE SIA TUTTO OK ● CONTINUI A MENTIRE A TE STESSO

ESEMPIO

VIAGGIANO A COPPIE

TASSO DI CONVERSIONE

TEMPO D’ACQUISTO

COEFFICIENTE VIRALE

DURATA DEL CICLO VIRALE

NON TUTTE LE METRICHE SONO UGUALI

TIPI DI METRICHE

● QUALITATIVE VS QUANTITATIVE● VANITY VS REALI● ESPLORATIVE VS DESCRITTIVE● ANTERIORI VS POSTERIORI● CORRELATE VS CAUSALI

QUALITATIVE vs QUANTITATIVE

VALUTAZIONE MEDIA 

● DATI PULITI● ESTRAPOLABILI● ORDINABILI

RISPONDONO AL “COSA E COME”

SI RIFERISCONO A DATI

QUALITATIVE vs QUANTITATIVE

FEELING 

● DISORDINATI● SOGGETTIVI● IMPRECISI

RISPONDONO AL “PERCHE’”

LE METRICHE QUALITATIVE SONO

QUALITATIVE

FEELING 

● LE PIU’ UTILI NELLA FASE INZIALE DI ESPLORAZIONE

● RICHIEDONO MOLTA PREPARAZIONE PER ESSERE RACCOLTE

VANITY 

VANITY vs REALI

-# OF ACTIVE USERS

-# OF (UNIQUE) VISITORS

-# OF FOLLOWERS/LIKES

-#OF DOWNLOADS

-#PAGE VIEWS

-TIME OF SITE

-% OF ACTIVE USERS

-# OF USERS ACQUIRED IN A TIME PERIOD

-CONVERSION RATE

REAL

ESEMPIO: METRICA REALE DI INTERESSE

% DI UTENTI ATTIVI

VANITY vs REALI

ESEMPIO: METRICA DI REALE ATTRAZIONE

#DI UTENTI ACQUISITI NELL’UNITA’ DI TEMPOPer valutare, per esempio, l’efficacia di diverse campagne di marketing.

VANITY vs REALI

ESPLORATIVE vs DESCRITTIVE

COSE CHE 

sappiamo  di sapere 

di non sapere

di sapere

di non sapere 

non sappiamo

Sono FATTI, che posono essere sbagliati e vanno confrontati coi dati

Sono DOMANDE che possono essere indirizzate e ricevere risposte precise e descrittive

Dono INTUIZIONI, che dobbiamo trasformare in esperimenti

Sono il risultato inaspettato di ESPLORAZIONI, e ci mettono in una posizione di unfair advantage.

CHE SAPPIAMO DI NON SAPERE - ESEMPIO

● QUANTE PERSONE SONO VENUTE ALLA LEZIONE DI INSIGHT DI OGGI?

● SONO PIU’ PERSONE SOPRA O SOTTO I 35 ANNI?

DESCRITTIVE

CHE NON SAPPIAMO DI NON SAPERE

ESPLORATIVE

_LE SI TROVA SOLO SE SI ADOTTA L’ATTEGGIAMENTO DI CHI ESPLORA_VI CONFERISCONO UN UNFAIR ADVANTAGE PERCHE’ SONO VISIBILI SOLO AI VOSTRI OCCHI, IN QUEL MOMENTO.

ESEMPIO

CIRCLE OF MOMS FRIENDS

COS’HA TROVATO CHE NON SAPEVA DI NON SAPERE

CIRCLE OF MOMS

● messaggi 50% più lunghi● 115% più disponibili ad allegare foto● 110% più disponibili ad intrattenere

lunghe conversazioni● invitano amici che convertono con 50%

in più di probabilità

COS’HA TROVATO CHE NON SAPEVA DI NON SAPERE

CIRCLE OF MOMS

● 75% più disponibili a cliccare sulle notifiche Facebook

● 180% più curiose rispetto alle news di Facebook

● 60% più disponibili ad accetare un invito all’app

2008

CIRCLE OF MOMS

CUSTOMER SEGMENT PIVOT!

CIRCLE OF MOMS

METRICHE ANTERIORI vs POSTERIORI

PRE-DICONO IL FUTURO

es. # prospects

RIFERISCONO IL PASSATO

es. tasso di abbandono degli utenti

METRICHE ANTERIORI vs POSTERIORI

QUAL E’ PER UNA SOCIETA’ TELEFONICA LA METRICA ANTERIORE PER PRE-DIRE IL TASSO DI ABBANDONO DEI CLIENTI?

METRICHE ANTERIORI vs POSTERIORI

E QUELLA POSTERIORE?

METRICHE ANTERIORI vs POSTERIORI

ESEMPIO

#LEAD QUALIFICATI+TASSO MEDIO DI CONVERSIONE+LUNGHEZZA MEDIA DEL CICLO DI VENDITA

LE METRICHE ANTERIORI VIAGGIANO IN GRUPPO

METRICHE CORRELATE vs CAUSALI

MENO INCIDENTI D’INVERNO, QUANDO SI METTONO I PNEUMATICI INVERNALI

PIU’ INCIDENTI D’ESTATE?

METRICHE CORRELATE vs CAUSALI

NOT CONTROL CONTROL

VANITY

REAL

%UTENTI ATTIVI

TEMPO

#OF FOLLOWERS

TEMPO ADV CAMPAIGN

ADV CAMPAIGN

CONVERSION RATE

#OF FOLLOWERS

METRICHE CORRELATE vs CAUSALI

ESPERIMENTO: ANALISI DI SENSITIVITA’ DI UNA METRICA RISPETTO AL VARIARE DI UN SOLO FATTORE

...O ANALISI MULTIVARIATA

OBIETTIVI MOBILI E CICLI RETROATTIVI

AGGIORNARE OBIETTIVI ED ASSUNZIONI IN CORSO D’OPERA E’ NORMALE, DELICATO, DIFFICILE.

ESEMPIO

HIGH SCORE HOUSE

ACTIVE USER = UTENTE CHE USA L’APP ALMENO 4 VOLTE ALLA SETTIMANA

HIGH SCORE HOUSE

HIGH SCORE HOUSE

APPRENDIMENTO

1. CONOSCI IL TUO UTENTE2. NON CI SONO SOSTITUTI DELLA CONOSCENZA DIRETTA, TUTTI I NUMERI DEL

MONDO NON POSSONO DIRTI PERCHE’ LE COSE ACCADONO3. STABILISCI DEGLI OBIETTIVI EX-ANTE, SPERIMENTA VELOCEMENTE, MA NON

RIMANERCI INCHIODATO4. CAMBIALI, SE NECESSARIO (NON PER MENTIRE A TE STESSO)5. USA I DATI QUALITATIVI PER COMPRENDERE IL VALORE CHE STAI CREANDO

HIGH SCORE HOUSE

TEST ANALITICI

● SEGMENTAZIONE● ANALISI DI COORTI● A/B TEST

SEGMENTAZIONE

SEGMENTAZIONE

COHORT ANALYSIS | ANALISI DI COORTI

LONGITUDINAL STUDIES

FONDAMENTALE PER GESTIRE I PROCESSI SPERIMENTALI ITERATIVI, I CUI CICLI SI RIPETONO NEL TEMPO.

COHORT ANALYSIS | ANALISI DI COORTI

ESEMPIO: SHOP ON LINE

COHORT ANALYSIS | ANALISI DI COORTI

ESEMPIO: SHOP ON LINE COME STANNO ANDANDO LE COSE?

COHORT ANALYSIS | ANALISI DI COORTI

COHORT ANALYSIS | ANALISI DI COORTI

COORTI

JAN FEB MAR APRL MAY

SPESA MEDIA MENSILE

COHORT ANALYSIS | ANALISI DI COORTI

COORTI

JAN FEB MAR APRL MAY

SPESA MEDIA MENSILE

STA ANDANDO ALLA GRANDE!!

LETTURA ALTERNATIVA: AGGREGAZIONE SECONDO USER EXPERIENCE

COHORT ANALYSIS | ANALISI DI COORTI

STA ANDANDO ALLA GRANDE… ANCHE SE I RICAVI PRECIPITANO DOPO IL PRIMO MESE, REGOLARMENTE!

COHORT ANALYSIS | ANALISI DI COORTIPERMETTE DI EVIDENZIARE ANDAMENTI FONDAMENTALI CHE SEGUONO IL CICLO DI VITA DEL CLIENTE

A/B TEST E TEST MULTIVARIATI

CROSS SECTIONAL STUDIES

A/B TEST

A/B TEST

A/B TEST

SEMBRANO SEMPLICI...

MA SPESSO SI HANNO PIU’ COSE DA TESTARE CHE UTENTI!sarebbe troppo dispendioso e lungo fare un test alla volta.

A/B TEST

QUALE TRA I TANTI FATTORI IN FASE DI TEST E’ CORRELATO CON LA METRICA CHIAVE?

TEST MULTIVARIATI

A/B TEST

RICAPITOLANDOTEST LONGITUDINALI

COHORT ANALYSISanalisi per coorti

CROSS SECTIONAL TESTSEGMENTI ANALISI MULTIVARIATAanalisi di diversi

gruppi di persone in base a demografia/

attitudinei

quando si misura la matrica principale al variare di un fattore (es. colore, un testo, etc)

quando si misura la matrica principale al variare di molti fattori, alla ricerca della correlazione più alta