I n é é n k e e r g o e d

Programma

• 15:30 Opening Sven den Boer

• 15:40 Hoe meten we nu en wat denken we te meten? Sven den Boer

• 16:00 Beter begrijpen van klanttevredenheids-scores. Frank van der Meulen

• 16:30 Hoe past u meten toe in de praktijk; Klanttevredenheid Melvin Harteveld

• 17:15 Paneldiscussie Doet u mee ?

• 18:00 Afsluiting en borrelHierbij kunnen we uw hulp goed gebruiken.

Onze aanpak; open en direct

“Het verbeteren van uw bedrijfsprocessen, inclusief implementatie, training en nazorg op basis van turnkey en fixed price.”

Trots op onze klanten

Six Sigma Succesfactoren

Het succes van Six Sigma & Lean implementatie

Leiderschap stijl en sterkte

Continue trainen, opleiden en leren

Initiële planning

Waardering en erkenning

Communicatie

Organisatie structuur

Vroegtijdig en snel succes behalen

Projectselectie

Hoe meten we nu en wat denken we te meten ?

Sven den BoerDirecteur ProjectsOne

Crisis !?!

• Het werk blijft, maar de budgetten krimpen• Wij moeten onze kwaliteit verhogen, maar de

prijs blijft hetzelfde• Mijn leveranciers eisen betaling binnen 8

dagen, in de praktijk halen wij net 30• Een vierde van mijn verzonden facturen komt

retour afzender, het duurt gemiddeld 5 maanden voor we ons geld ontvangen.

• Onze marges worden steeds kleiner en toch moet ik mijn klanttevredenheid hoog houden

Wat meten we ?

Het is opvallend hoeveel moeite organisaties besteden aan het “meten” van medewerkers, maar wat meten we nu eigenlijk?

En waarom meten we dit eigenlijk ?

Productiviteit

Output van een fabriek, zien we als productiviteit van de medewerker(s)

Omzet

Account managers worden afgerekend op omzet.

Kerncompetenties

Beoordelen van medewerkers doen we 1 maal per jaar, soms wel 2 maal………….

Effectief meten

• De werkelijke productiviteit van mensen is maar deels te herleiden op basis van de output van de fabriek.

• Omzet zegt niets over winst

• Beoordeling is een momentopname op basis van incomplete (laatste 6 weken) waarnemingen

Einde crisis ?

Wat levert dit soort meten nu op voor organisatie en medewerker ?

En dat was nu net niet de bedoeling………….

OntevredenheidOnbegrip

Frustratie

Hoe dan wel

• Breng de meeteenheid in overeenstemming met prestatie;

– Voetbalteam vs hardloper

• Meet objectief vast te stellen zaken;– Aantal doelpunten– 9,952 seconden op de 100 meter

• Reken af op basis van gemaakte afspraken;– Alle thuiswedstrijden winnen zonder tegendoelpunten– De 100 meter onder de 10 seconden lopen

• Allerbelangrijkst;

Vraag het uw klant !

De goede dingen meten……

Beter begrijpen van klanttevredenheids-scores

Dr.ir. Frank van der MeulenTechnische Universiteit Delft

Faculteit Wiskunde

Achtergrond schets

• De meeste ondernemingen in Nederland peilen de tevredenheid van hun klanten.

• Veel energie om beoordelingen van klanten te verzamelen.

• Verrassend weinig energie om te begrijpen wat de data nu eigenlijk vertellen.

Goede score: “Zie je wel dat we het goed doen!” “Het valt allemaal best wel mee.”

Slechte score: “Misschien zijn de gegevens niet betrouwbaar” “Misschien hebben we te weinig gegevens”.

De uitkomsten van een eenvoudig klantenonderzoek

Klanten beoordelen service:

1 2 3 4 5 6 7 8 9 10Zeer slecht Zeer goed

• Stel dat we de volgende beoordelingen krijgen:4 2 7 6 9 6 8 8 8 5

Conclusie?

Weergave van de resultaten

• Gemiddelde scoren we 6.3.• Slechts gebaseerd op een 10 beoordelingen!• Hoe betrouwbaar is dit getal?

Variatie: vinden we bij herhaling opnieuw score 6.3?• Stel dat we nog een keer 10 willekeurige

klanten een beoordeling zouden kunnen vragen…

- En nog eens…- …. - En nog eens…

Dit kan helaas niet.

Computer-intensieve methoden in de statistiek• We kunnen geen nieuwe steekproef van al onze

klanten (de populatie) nemen.• Wel kunnen we opnieuw een steekproef (met

teruglegging) uit onze data doen, dus uit

4 2 7 6 9 6 8 8 8 5

• Onderliggende idee: met computer “naspelen” wat we in de praktijk zouden willen doen.

• Voordeel: kan zo vaak als we zelf willen!

Bootstrap idee

1) Trek met terugleggen 10 x uit de originele data.2) Bereken het gemiddelde3) Herhaal stappen 1 en 2 vele malen

Gevonden waarde 6.3

Nu zien we hoe betrouwbaar de score 6.3 is…

Een stap verder: vergelijken van beoordelingen• Stel we zijn een jaar verder, en doen opnieuw

een onderzoek…• Vorig jaar:

4 2 7 6 9 6 8 8 8 5• Dit jaar:

8 7 6 7 4 9 8 8 9

Beter dan vorig jaar of niet?

Beter dan vorig jaar of niet?

Terug naar de grondleggervan de statistiek:Sir R.A. Fisher.

Permutatie-toets

• We berekenen het verschil tussen - Gemiddelde laatste 9 waarden- Gemiddelde eerste 10 waarden

Gevonden waarde = 1.03

Vorig jaar Dit jaar

4 2 7 6 9 6 8 8 8 5 8 7 6 7 4 9 8 8 9

9 8 2 9 4 8 5 8 8 6 7 8 6 7 8 4 7 6 9

Gevonden waarde = 6.7-6.5=-0.2

Of:

9 4 7 6 8 9 6 7 8 5 8 8 2 6 7 8 4 8 9

Gevonden waarde = 6.9-6.0=-0.9

• Stel er is geen verschil, dan kunnen we alle scores op 1 hoop gooien. Dus hadden we net zo goed kunnen krijgen

Resultaten van de toets

• Conclusie: als we aannemen dat er geen verschil is, dan vinden we slechts in 10% van de gevallen een groter verschil dan we gemeten hebben.

Samenvattend…

• Er is meer mogelijk dan slechts een gemiddelde uitrekenen.

• Weinig data leveren onbetrouwbare resultaten (hoe onbetrouwbaar??? Dat kun je uitrekenen.

• Een stap verder: welke factoren beinvloeden de klanttevredenheids-score? Maw waar moeten we aan werken?

• Statistische methoden kunnen helpen om betere inzicht in data te verkrijgen en correcte conclusies uit data te trekken.

Melvin HarteveldPartner ProjectsOne

Klanttevredenheidsonderzoek

Een jaarlijks terugkerend fenomeen……..

Achtergrond schets

• De meeste ondernemingen in Nederland peilen de tevredenheid van hun klanten.

• Twee situaties:1. Weinig klanten; diepte interviews en grondige informatie2. Veel klanten; snelle surveys met beperkte informatie.

• Scenario twee vindt vaak in oktober plaats, waarbij een flink aantal responses wordt ontvangen. Elk jaar vindt deze activiteit plaats.

Internet Store Sharp&Cheap

@ • Opgericht in 2000• Elk jaar een grondig KTO• 600 klanten wordt gevraagd om rapportcijfer, schaal van 1 tot 10 • Onderzoek oktober, in november verwerken en bij

de eindejaars toespraak in december gepresenteerd.

Waarom KTO ?

• Doelstelling: elk jaar tenminste een 7,5 gemiddeld scoren

• Management beseft dat de concurrentie moordend is. KTO is van levensbelang, er zijn namelijk vele alternatieven voor handen.

• Zodra klanttevredenheid daalt, wordt een analyse verricht naar de achtergronden en maatregelen genomen.

Historie Klanttevredenheid S&C

Jaar: Score:

2000 7,65

2001 7,72

2002 7,63

2003 7,61

2004 7,64

2005 7,69

2006 7,73

2007 7,63

2008 7,65

200820072006200520042003200220012000

7,80

7,75

7,70

7,65

7,60

7,55

7,50

jaar

Indiv

idual V

alu

e

_X=7,6611

UCL=7,8007

LCL=7,5215

Gemiddelde Klanttevredenheidsscore per jaar

Niets aan de hand; Sharp&Cheap slingert al jaren rond de 7,65 gemiddeld…

Hopelijk is dat ook voor 2009 het geval…

Klanttevredenheid S&C 2009

• Gemiddelde score 2009: 7,55

• Management is onaangenaam verrast:– Is dit toeval of een significant verschil?– Hoe lang speelt deze verslechtering al?– Mogen we volgend jaar weer op een betere

score rekenen?– Hoe kunnen we de vinger beter aan de pols

houden?

Toeval of Significant verschil?• Uit data analyse blijkt het volgende:

– Gemiddelde 2008 = 7,55– Spreiding 2008 = 1,265– Aantal responses = 600– Gemiddelde voorgaande jaren = 7,6611

Een statisticus lost op voor delta en stelt vast dat het gemiddelde met kans 95% tussen 7,449 en de 7,651 valt voor 2009.

Dat betekent derhalve een significant verschil met het historisch gemiddelde van 7,6611. Er is dus echt wat aan de hand…

• Tot zover kan er op basis van jaarlijkse cijfers worden geanalyseerd, meer is niet mogelijk met de huidige methodiek…

2

z

n

Frequente metingen met kleine n

Geven minder accuratesse, maar..

• Geven meer stuurmomenten• Kosten net zoveel tijd; geld; moeite• Leveren extra informatie omtrent:

– Trends– Bijzondere gebeurtenissen; signalen– Wanneer in te grijpen– Effectiviteit van genomen maatregelen

• Daarom kunnen de overige vragen van het management met deze methodiek wel beantwoord worden…

Hoe lang speelt deze verslechtering al?

Om hierop antwoord te geven wordt een regelkaart gemaakt:

– Sinds juni 2009 is de situatie echt verslechterd– De richting van de trend voorspelt niet veel goeds– Voor 2010 lijken maatregelen geboden.

dece

mbe

r

nove

mbe

r

oktobe

r

septe

mbe

r

augu

stusjul

ijuni

mei

april

maart

febr

uari

janu

ari

8,2

8,0

7,8

7,6

7,4

7,2

7,0

maand

Sam

ple

Mean

__X=7,55

UCL=8,087

LCL=7,013

33

Regelkaart Cijfers 2009 per maand van 50 responses

Mogen we volgend jaar op een betere score rekenen?

• Gezien de trend in 2009 ligt spontaan herstel in 2010 niet voor de hand.

• Gerichte maatregelen zijn dan ook wenselijk• De maandelijkse monitoring op het effect van

deze maatregelen is onontbeerlijk

Hoe strakker te sturen?

Per maand: – moeten de resultaten van de responses worden

geanalyseerd.;– moeten gemiddelde, spreiding en

betrouwbaarheidsinterval worden bepaald;

• 95% betrouwbaarheidsinterval: {(X-0,35)=<X=<(X+0,35)}

• Dit is voldoende accuraat om op te kunnen sturen.

• Nu is er maandelijks management sturing mogelijk ipv jaarlijks, zonder extra inspanningen en datapunten.

Moraal van het verhaal

• De inrichting van klanttevredenheidsonderzoek is een balans tussen:

– De accuratesse waarmee de gemiddelde score wordt geschat;

– Het aantal stuurmomenten per jaar dat gewenst is;– De hoeveelheid tijd, middelen en geld die beschikbaar

is.– De baten van een degelijke analyse.

• Vuistregel: beter elke maand 50 waarnemingen dan eens per jaar 600!

• Tip: Stel met een deskundige vast wat uw eisen, wensen en middelen zijn en welk klanttevredenheidsmeetplan daar het beste bij past.

Wrap-up

Einde Crisis……….

• Wij zijn nu in staat om het werk 5% efficiënter te doen en het mooie is, volgend jaar kan het nog 5% beter

• Wij betalen nu binnen 5 dagen, hierdoor hebben wij de best mogelijke inkoopcondities kunnen bedingen

• Nog maar 1 procent van onze verzonden facturen vertoont gebreken, gemiddeld heb ik binnen een maand mijn geld ontvangen.

• Onze klanttevredenheid is aanzienlijk verhoogd;– Aantal klachten is gehalveerd– We weten nu exact wat onze klanten verwachten– Onze klanttevredenheid is nu ons visitekaartje

Ter afsluiting:

• Een klein beetje magie (statistiek) doet ook al (kleine en soms grote) wonderen…

Paneldiscussie

• Frank van der Meulen; TU Delft

• Melvin Harteveld; ProjectsOne

• Sybrand Hoekstra; REAAL verzekeringen

• Theo van Heijningen; Schiphol Groep

Stelling 1

Klanten kiezen alleen nog maar op prijs

Stelling 2

De beschikbare data binnen organisaties is betrouwbaar

Stelling 3

Processen in dienstverlening vallen niet te meten.

Stelling 4

Intuitie moet afgeschaft worden

I n é é n k e e r g o e d

Business Process ImprovementLean process management Six Sigma VerandermanagementCoachingLean/Six Sigma opleidingen