lean analytics - tdc2013

Lean  Analy)cs    

     @LucaBastos  ThoughtWorks  

TDC2013  -­‐  Florianópolis  Trilh

a  Em

preend

edorismo  

25/05/2013  

Luca Bastos, conhecido apenas na família e pelo gerente do banco como Luiz Arnaldo de Gusmão Bastos.

Luca Bastos, conhecido apenas na família e pelo gerente do banco como Luiz Arnaldo de Gusmão Bastos. Empreendedor por 17 anos e dev do tempo da Carochinha.

Luca Bastos, conhecido apenas na família e pelo gerente do banco como Luiz Arnaldo de Gusmão Bastos. Empreendedor por 17 anos e dev do tempo da Carochinha. Eterno aprendiz. Fazer com paixão, aprender e compartilhar sempre.

Luca Bastos, conhecido apenas na família e pelo gerente do banco como Luiz Arnaldo de Gusmão Bastos. Empreendedor por 17 anos e dev do tempo da Carochinha. Eterno aprendiz. Fazer com paixão, aprender e compartilhar sempre. Minha receita de vida que sigo aplicando na ThoughtWorks Brasil.  

hBp://join.thoughtworks.com  

Let’s  talk  about  analy)cs  

Business  Analy:cs    -­‐  Where  money  comes  from    -­‐  How  much  things  cost    -­‐  How  many  customers  you  have    -­‐  The  effec)veness  of  your  customer  acquisi)on  strategies,  etc.  

Business  Analy:cs    -­‐  Where  money  comes  from    -­‐  How  much  things  cost    -­‐  How  many  customers  you  have    -­‐  The  effec)veness  of  your  customer  acquisi)on  strategies,  etc.  

•   The  whole  world  is  inves)ng  in  analy)cs  now  

•   The  whole  world  is  inves)ng  in  analy)cs  now    •   TW  is  taking  a  unique  approach  with  data  scien)sts  doing  exci)ng  work  using  Agile  Analy:cs.  

Disclaimer:    "There  are  three  kinds  of  lies:  

Disclaimer:    "There  are  three  kinds  of  lies:  lies,  damned  lies  and  sta)s)cs.”    

Mark  Twain  

Let’s  start  

The  easiest  thing  to  do  is  to  integrate  in  Google  Analy:cs  with  a  snippet  of  javascript  code  

See  Establish  a  Standard  Measure  of  Progress  

Instantly,  you  have  hundreds  of  numbers  to  ponder  over.    

Instantly,  you  have  hundreds  of  numbers  to  ponder  over.      You  log  in  mul:ple  :mes  a  day  scanning  your  page  views,  traffic  sources,  visitor  demographics,  etc.  

But  these  numbers  don't  tell  you  how  to  make  your  product  beHer.  

You  start  drowning  in  a  sea  of  informa:on  but  find  yourself  no  closer  to  knowing  if  your  product  is  geIng  beHer  or  worse  

Disclaimer  2:    Most  of  the  content  that  follows  are  direct  from  the  great  book  Lean  Analy)cs  by  Allistair  Croll  and  Ben  Yoskovitz,  the  best  reference  I’ve  read.  

Lean  Analy:cs    Is  about  measuring  progress  through  the  Lean  Startup  process  of  Build  -­‐>  Measure  -­‐>  Learn  

Lean  Analy:cs    Is  about  tracking  the  metrics  that  are  cri:cal  to  your  business  

Lean  Analy:cs    Is  about  tracking  the  metrics  that  are  cri:cal  to  your  business  at  each  stage  of  growth  

What  Makes  a  good  Metric?    

A  good  metric  is  compara:ve  

A  good  metric  is  understandable  

A  good  metric  is  a  ra:o  or  a  rate  

A  good  metric  changes  the  way  you  behave  

8  vanity  metrics  to  watch  out  for    

Number  of  hits  

Number  of  hits  Number  of  page  views  

Number  of  hits  Number  of  page  views  Number  of  visits    

Number  of  hits  Number  of  page  views  Number  of  visits  Number  of  unique  visitors    

Number  of  hits  Number  of  page  views  Number  of  visits  Number  of  unique  visitors  Number  of  followers/friends/likes      

Number  of  hits  Number  of  page  views  Number  of  visits  Number  of  unique  visitors  Number  of  followers/friends/likes  Time  on  site/number  of  pages    

Number  of  hits  Number  of  page  views  Number  of  visits  Number  of  unique  visitors  Number  of  followers/friends/likes  Time  on  site/number  of  pages  Emails  collected  

Number  of  hits  Number  of  page  views  Number  of  visits  Number  of  unique  visitors  Number  of  followers/friends/likes  Time  on  site/number  of  pages  Emails  collected  Number  of  downloads    

Tes)ng    Usually  involves  comparing  two  things  against  one  another  

Tes)ng    Usually  involves  comparing  two  things  against  one  another  through  segmenta)on,  cohort  analysis,  or  A/B  tes)ng  

Segmenta)on    

Segmenta)on    Is  simply  a  group  that  shares  some  common  characteris:c  

Cohort  analysis    

Cohort  analysis    Is  a  group  that  shares  some  common  characteris)c  …  

Cohort  analysis    Is  a  group  that  shares  some  common  characteris)c  during  a  par)cular  :me  span  

A/B  and  mul)variate  tes)ng    

A/B  and  mul)variate  tes)ng    Two  versions  (A  and  B)  are  compared,  which  are  iden)cal  except  for  one  varia:on  that  might  impact  a  user's  behavior  

Four  ways  of  slicing  users  into  sub-­‐groups  and  analyzing  or  tes)ng  them  

AARRR  Analy)cs  Frameworks    by  Dave  McLure’s  

Dave  McLure’s  Pirate  Metrics  

Dave  McLure’s  Pirate  Metrics  

Dave  McLure’s  Pirate  Metrics  

Dave  McLure’s  Pirate  Metrics  

Dave  McLure’s  Pirate  Metrics  

Other  analy)cs  frameworks    Eric  Ries’s  Engines  of  growth    Ash  Maurya’s  Lean  Canvas    Sean  Ellis’s  Startup  growth  Pyramid    Stages  &  gates  (book  Lean  Analy)cs)  

The  most  important  concept  

One  Metric  That  MaBers    Finding  the  right  thing  to  track  at  the  right  :me  

One  Metric  That  MaBers    Finding  the  right  thing  to  track  at  the  right  )me,  based  on  the  type  of  business  you  are  in  

One  Metric  That  MaBers    Finding  the  right  thing  to  track  at  the  right  )me,  based  on  the  type  of  business  you  are  in  and  the  stage  you  are  at.  

Four  reasons  why  you  should  use  the  One  Metric  That  MaHers  

It  answers  the  most  important  ques:on  you  have  

It  forces  you  to  draw  a  line  in  the  sand  and  have  clear  goals  

It  focuses  the  en:re  company  

It  inspires  a  culture  of  experimenta:on  

References  

Q  &  A