Afgelopen maand werd een artikel gepubliceerd door MarketTools, een toeleverancier voor marktonderzoekers uit de VS, over panelkwaliteit. Het artikel gaat over de (”verrassende en alarmerende”) effecten van zogenaamde bad respondents – foute respondenten op panelonderzoek. Het artikel is aan te vragen via een formulier op de website van het bedrijf.

Panelonderzoek wordt door velen gezien als een ideale manier van onderzoek doen. De respons is groot, snel en de uitvoering relatief goedkoop. De nadelen die vaak genoemd worden is een mogelijk lage representativiteit en de anonimiteit van internet. MarketTools heeft eerder in 2008 TrueSample geintroduceerd, een techniek die ervoor zorgt dat elke respondent echt, uniek en betrokken is. Helaas wordt niet vermeld wat de achtergrond van de techniek is.Om de betrouwbaarheid van panelonderzoek te testen – en de effectiviteit van TrueSample – heeft MarketTools een studie hiernaar gedaan.

Volgens MarketTools hangt de invloed van foute respondenten af van de hoeveelheid van dit soort respondenten in je steekproef. Bij minder dan 10% foute respondenten en een n (steekproef) van 600 loop je weinig risico om onjuiste uitkomsten te krijgen. Wordt dit hoger, dan gaat het risico snel omhoog. Bij 30% foute respondenten verdubbelt het risico, bij 40% verdriedubbelt zelfs het risico om onjuiste uitkomsten te krijgen.

Het bijzondere is dat wanneer de n groter wordt, het risico ook groter wordt. Bij een n van 6000 is zelfs bij 10% foute respondenten het risico al twee keer zo groot als bij geen foute respondenten. Volgens MarketTools zijn er gemiddeld 15% foute respondenten. Uit Het NOPVO onderzoek van 2006 bleek dat 9% van de panelleden behoren tot de gemakzuchtige respondenten. Deze soort respondenten wordt in de Uitkomsten van het Nederlands Onlinepanel Vergelijkingsonderzoek 2006 omschreven als “a-typische groep met grote effecten die zorgt voor nodige ruis in data” en is een respondenten die minder bruikbare data levert.

MarketTools geeft ook aan dat het verwijderen van een enkele soort foute respondenten (bijvoorbeeld dubbele respondenten, respondenten die overal hetzelfde antwoord geven of die alleen maar enquetes invullen voor de beloning) nog meer problemen oplevert. De verschillende soort foute respondenten houden elkaar vaak nog wat in evenwicht. Haal je één groep weg, dan kunnen de resultaten van het onderzoek doorslaan in een bepaalde richting.

Dit artikel gaat over panels in de Verenigde Staten. In Nederland is de MOA ook druk bezig met panelkwaliteit, bijvoorbeeld door het opzetten van het MOA Panel Instituut om de kwaliteit van panels te controleren en beheren. Ik heb ook enkele Nederlandse panelbureaus gevraagd om een reactie op het artikel.

Martijn van der Veen, Chief Netpanel van Ruigrok | NetPanel: “Op het gebied van ontdubbeling (zie ook het MOA Panelinstituut hieronder) en betrokkenheid gebeurt in Nederland ook al heel veel. Men kijkt naar verschillende indicatoren om vast te stellen of het panellid een goede respons geeft (oa speeding, satisficing, straightlining). Overigens spelen de kwaliteit van de vragenlijst en het beloningssysteem hierbij ook een rol. Panelleden kunnen bij het ene onderzoek een prima respondent zijn, maar bij een ander onderzoek een ’slechte’ respondent, bijvoorbeeld bij een lange, weinig afwisselende vragenlijst. Hoe slechter de vragenlijst, hoe meer ’slechte’ respondenten je zal vinden. En ook in het beloningssyteem kan je panelleden motiveren om serieus de vragenlijsten in te vullen door zowel de extrinsieke als de intrinsieke motivatie aan te spreken.

NetPanel van Ruigrok | NetPanel

Ruigrok | NetPanel houdt op de volgende manieren de kwaliteit van hun panel in de gaten:

• We houden ons aan de richtlijnen van die ESOMAR stelt aan online access panels.
• We zijn ISO 20252 gecertificeerd.
• Daarnaast hebben we input geleverd voor de ontwikkeling van ISO 26362, een ISO norm die specifiek gericht is op online panels. Naar verwachting zullen we na de eerste toetsing ook ISO 26362 gecertificeerd zijn.
• We nemen deel aan het MOA Panelinstituut.

Hiernaast voeren we verschillende kwaliteitscontroles uit in het panel, tijdens de datacollectie en na afloop van de datacollectie, bijvoorbeeld:

• Controle in panel:
  • Controle op activiteit van panelleden en e-mailadressen (inactieve panelleden worden periodiek verwijderd)
  • Zorgen voor up-to-date achtergrondgegevens
• Controle tijdens invullen vragenlijsten: Foutdetectiesysteem in de vragenlijst software (ingeprogrammeerde controles)
• Controle na afloop van datacollectie:
  • Controle op invultijd per vragenlijst,
  • Uitgebreide controle van de dataset na afloop van de datacollectie (kwaliteit open antwoorden, onlogische antwoordcombinaties, straightlining, et cetera)

BlauwNL van Blauw Research

Op mijn vraag aan Jolien de Jong, Panelmanager bij Blauw Research gaf zij aan dat zij het volgende beleid hanteren op het gebied van frauduleuze respondenten:

Het frauderen door respondenten kan zich op verschillende manieren manifesteren.
Aan de ene kant kan een respondent een vragenlijst invullen die niet voor hem bedoeld is. Aan de andere kant kan een respondent de vragenlijst zonder de vraag te lezen in vullen door lukraak wat aan te klikken.

Om te kunnen beoordelen of de respondent wel de persoon is die wij denken voor ons te hebben, zijn methodes in ontwikkeling.

Om te beoordelen of de kwaliteit van de verkregen data goed is, heeft BlauwNL vierverschillende methoden ontwikkeld, te weten:

• Speedvalidator

Hierbij wordt gekeken of de respondent geloofwaardig snel de vragenlijst heeft ingevuld. Indien hij sterk afwijkt van het gemiddelde kan een projectmanager de keuze maken deze respondenten uit de onderzoeksdata te verwijderen.

• Gridvalidator

De gridvalidator bekijkt of de respondent bij schaalvragen met meerdere stellingen steeds dezelfde antwoorden heeft gegeven. Het is niet mogelijk om te controleren of de respondent in bepaalde patronen heeft geantwoord omdat de stellingen vaak random worden aangeboden.

• OpenQuestionvalidator

Bij deze test wordt er gekeken of de respondent gemiddeld minder antwoorden intypt dan de rest van de respondenten.

• Controlestelling

In alle onderzoeken worden controlestellingen toegevoegd. (Meestal) wordt er bij de stellingen een “stelling” toegevoegd waar de respondent wordt gevraagd een bepaald antwoord aan te vinken.

Deze methoden worden verder ontwikkeld en waar nodig verbeterd.

Vergelijking NNP
Daarnaast worden de antwoorden van de respondenten periodiek vergeleken met de antwoorden van een referentiepanel. Dit referentiepanel, genaamd Nieuw Nederlands Peil (NNP), is puur schriftelijk en telefonisch geworven en bestaat momenteel uit 5290 Nederlanders. Door de antwoorden tussen de panelleden van BlauwNL en NNP te vergelijken, kan gekeken worden op welke onderwerpen de antwoorden van BlauwNL-leden afwijken. Hier kan eventueel voor gecorrigeerd worden. Dit laatste is nog in ontwikkeling. Op dit moment wordt inzichtelijk gemaakt waar er verschillen optreden en van welke kenmerken deze verschillen afhankelijk zijn.