Validiteit

Behalve klanttevredenheid meten we voortdurend van alles en nog wat. En met de steeds grotere hoeveelheden data die ter beschikking komen, plus de toenemende opslag- en verwerkingscapaciteit, wordt dat meten in de toekomst alleen maar méér. We krijgen een enorme berg gegevens tot onze beschikking, maar gaan we dat alles wel juist interpreteren? Wat hangt met wat samen? Wat is de oorzaak en wat het gevolg? Meten we wel de bepalende variabele? Of zomaar een toevallig feit dat zich ook tegelijkertijd voordoet? Als u de grafieken van ijsjesverkoop en van verdrinkende vakantiegangers op elkaar legt, is er een duidelijk verband. Geen van ons zal het echter in zijn hoofd halen om de ijsverkoop aan banden te willen leggen om zo de overlevingskans van zwemmers te vergroten. Toch moeten we ons vermogen om statistieken juist te interpreteren niet overschatten.

Wat meet ik eigenlijk?

Maar vóórdat we over de interpretaties gaan praten, is er eerst nog het probleem van de validiteit. Meten we wel wat we willen meten? Wikipedia onderscheidt al zo’n tien soorten validiteit, kennelijk zijn er dus nogal wat meetvalkuilen. Inhoudsvaliditeit, bijvoorbeeld, meet of en in welke mate een vraag een bepaald construct meet. We kwamen dit gegeven eerder al tegen bij de Net Promotor Score. Die informeert naar de de bereidheid van uw klant om u aan te bevelen. Maar de NPS blijkt eigenlijk vooral het construct “algemene tevredenheid” te meten. Zoals elke andere algemene vraag, bijvoorbeeld “Bent u tevreden met onze dienstverlening?”, dat doet.

Criteriumvaliditeit, en dan speciaal de predictieve validiteit, meet de mate waarin een test voorspellende waarde heeft. De NPS, op zich dus een prima maat voor algemene tevredenheid, claimde altijd dat een stijging van de NPS zou zorgen voor een verbetering van de bedrijfseconomische indicatoren. Dat blijkt onjuist, volgens Amerikaans onderzoek. Maar niet alleen de NPS heeft moeite met voorspellen. Kijk maar eens naar uw eigen klanttevredenheidsonderzoek. Wat voorspelt tevredenheid eigenlijk? Zeker, uw ontevreden klanten zullen de neiging hebben af te haken. Maar, tot uw schrik, ook tevreden klanten lopen weg. Volgens Reichheld, die destijds in 2003 de bedenker was van de NPS, geldt dat exit-risico eveneens voor zo’n driekwart van de tevreden totzeer tevreden klanten. Tevredenheid, dus, voorspelt niet zo veel als dat we misschien zouden willen.

De context bepaalt

Stel, we stellen een uitstekende vraag die het beoogde construct perfect meet. Dan zijn we er nog steeds niet! Want de vraag kan nog zo goed zijn, de context waarin hij wordt gesteld heeft een sterke invloed op het antwoord dat uw respondenten geven. Ik geef twee voorbeelden. In de eerste plaats zien we in de praktijk nogal eens dat de vraag naar algemene tevredenheid, die natuurlijk vaak heel waardevolle informatie en trends oplevert, soms de eerste, maar soms ook de laatste plaats inneemt in een survey. Het blijkt dat de locatie van die algemene vraag de score flink beïnvloedt. Dat is ook logisch. Stel de algemene vraag staat achteraan en vlak daarvóór wordt geïnformeerd naar de bereikbaarheid van uw call center. In dat geval gaat de callcenterbeoordeling relatief té zwaar meewegen in het algemene cijfer. Uw algemene vraag hoort dus altijd vooraan in de rij!

Met het tweede voorbeeld komen we uit bij uw respondent, niet altijd de meest betrouwbare bron van informatie – al vindt hij/zij zelf meestal van wel. Natuurlijk is de persoonlijkheid van uw klant van invloed, al voorspelt die relatief nog het minst. Het is vooral de sociale situatie waarin iemand zich bevindt, die een flinke impact heeft. De mate waarin teenagers zichzelf en hun rijkunst overschatten is als ze alléén rijden al een probleem. Maar bij het toevoegen van één jeugdige passagier wordt de kans op rampspoed al gauw twee keer zo groot! En bij nóg een extra persoon verdubbelt de kans op ongelukken nogmaals! Alleen of samen invullen, door een medewerker of een neutraal persoon ondervraagd worden, door een functiegelijke gecontroleerd worden of door een leidinggevende, al die sociale factoren hebben natuurlijk een grote invloed op de antwoorden die u krijgt.

Tenslotte werkt ook de emotionele staat waarin iemand verkeert krachtig door op het oordeelsvermogen van uw respondent. Zo beschrijft Dan Ariely in Predictably Irrational de invloed van ‘arousal’ op wat wij vinden van dingen. Het is verbijsterend om te lezen hoe rationele, intelligente wezens zaken anders gaan zien als ze in een gepassioneerde staat raken. Ik laat het aan uw nieuwsgierigheid over om eens naar de appendix van Ariely’s vijfde hoofdstuk te kijken, maar ik kan u verzekeren dat onze beschavingsschil in die opgewonden toestand nogal dunnetjes overkomt. Maar misschien is dat alleen bij Amerikanen het geval.

Wat Is Een Goede Vraag?

Vorig jaar hielden we een symposium met als titel: Wat Is Een Goede Vraag? De uitkomst was verrassend en vrolijk tegelijk. De perfecte vraag is die vraag die een antwoord geeft waar je wat aan hebt! Zoals we inmiddels weten komt er, voordat we een bruikbaar antwoord bij ons klantonderzoek hebben, nog heel wat bij kijken...

Zie ook onze nieuwste column.