Op 11-01-10 was het dan zover. Na enige tijd in spanning gehouden te worden werd op het kantoor van Multiscope in ’s-Hertogenbosch de naam bekend gemaakt van het nieuwe onstane Europees panel. Een samenwerking tussen gevestigde online research bedrijven met een panelvertegenwoordiging in 15 Europese landen.

En de naam is:

  Lees meer »

Via SurveyGeek kwam ik terecht bij een tweetal onderzoeken waarbij verschillende onderzoeksmethoden met elkaar vergeleken worden. De artikelen met resultaten van deze onderzoeken verschenen in de Public Opinion Quarterly van de Oxford University.

Web vs face-to-face

In het eerste onderzoek van Dirk Heerwegh en Geert Loosveldt (beiden van de Katholieke Universiteit Leuven) worden onderzoek via internet en face-to-face met elkaar vergeleken. Hun hypothese is dat webrespondenten vaker ”middenweg-” of makkelijke antwoorden geven (satisficing) en daardoor data van lagere kwaliteit produceren.

Het onderzoek vond plaats via een vragenlijst onder studenten en waarmee de houding ten opzichte van immigranten en asielzoekers werd gemeten. De vragenlijst werd via internet en face-to-face afgenomen. Uit de analyse bleek dat de websurvey meer “weet niet”-respons, minder differentiatie bij rating scales en hogere non-respons bij vragen opleverde. De hypothese dat webrespondenten meer neigen tot satisficing was hiermee bevestigd.

Sociale wenselijkheid bij CATI, IVR en Web

De focus van het tweede onderzoek is in welke mate respondenten sociaal wenselijke antwoorden geven bij verschillende onderzoeksmethoden. Vergeleken zijn CATI (telefonisch interview), IVR (Interactive Voice Respons, telefonisch interview waarbij vragen gesteld worden via een computer en waarbij geen interviewer ingezet wordt) en onderzoek via een vragenlijst op internet. Het onderzoek werd gedaan door Frauke Kreuter, Stanley Presser en Roger Tourangeau, allen werkzaam bij de University of Maryland.

De respondenten zijn oud-studenten van de universiteit. Deze werden willekeurig benaderd via één van de onderzoeksmethoden. De respondenten werden vragen gesteld naar wenselijke en niet-wenselijke aspecten van hun studie. Hun antwoorden werden daarna vergeleken met de administratie van de universiteit om deze te beoordelen op het waarheidsgetrouwe gehalte.

Webonderzoek leverde de meeste gevoelige informatie op van de respondenten, CATI het minste. Webrespondenten gaven vaker sociaal onwenselijke feiten toe over zichzelf dan CATI respondenten en ze waren minder vaak geneigd om deze feiten te ontkennen.

Naast het vraag naar de informatie werd de respondent ook gevraagd in welke mate men dacht dat anderen dit soort vragen eerlijk zouden beantwoorden. Verrassend genoeg gaven de webrespondenten vaker aan dat informatie gevoelig was dan IVR-respondenten, hoewel de webrespondenten deze informatie beter en vaker gaven dan de IVR-respondenten. De onderzoekers gaven aan dat dit mogelijk veroorzaakt wordt doordat webrespondenten zich zorgen maken over de veiligheid van de informatie die via internet wordt verzonden.

CATI had de hoogste respons, web de laagste. CATI had het hoogste aantal missende antwoorden, web het laagste. Web had de hoogste nauwkeurigheid en CATI de laagste. De onderzoekers geven hierbij aan dat de keuze voor onderzoeksmethode af kan hangen welk van deze aspecten het meest belangrijk is.

Gezegd moet worden over beide onderzoeken dat de respondenten relatief jong zijn en waarschijnlijk beter dan gemiddeld met een computer en internet kunnen werken.

Na kennis te hebben genomen van de uitkomsten van het NOPVO initiatief heeft de MOA niet stilgezeten. Achter de schermen is structureel en zorgvuldig overleg gepleegd tussen de aanbieders van de diverse online access panels. Men heeft de krachten gebundeld en heeft gezamenlijk ‘het panelinstituut’ opgericht. Het panelinstituut meet en publiceert paneloverlap en paneldruk bij de aangesloten leden. Uitgangspunt is dat opdrachtgevers deze gegevens nodig hebben om aanbieders van online onderzoek te kunnen beoordelen.

Op 10 maart 2009 is het zover en zal het panelinstituut van start gaan. De MOA wil van de gelegenheid gebruik maken om uitgebreid stil te staan bij een groot aantal aspecten van panelbeheer en wil betrokkenen de gelegenheid geven hun visie te geven op panelbeheer en hen de mogelijkheid bieden het bestuur van het panelinstituut te voorzien van wijze raad.

Meer op de website van de MOA

InSites Consulting heeft vorige week zijn online research panel omgevormd tot een heuse research ‘community’: TalkToChange. Wat dat nu eigenlijk exact betekent vragen we aan Sam Berteloot – Managing Partner & Director Panel Research.

‘Het veranderen van een panel richting een community is een algemene filosofie’ vertelt Sam Berteloot. ‘Dit houdt in dat de site een integraal onderdeel is van een algemene manier van omgaan met onze leden. Het basisidee zit in het connecteren van alle betrokken in onze onderzoeken: InSites als bedrijf, onze medewerkers, onze leden, onze goede doelen én onze klanten. Bedoeling is eigenlijk om zoveel mogelijk connecties uit te bouwen’.

En aantal voorbeelden worden hieronder door Sam Berteloot uit de doeken gedaan:

 ‘De manier waarop we onderzoeken gaan doen zal meer en meer evolueren richting Connected Research waarbij we meer interactie tussen onze participanten mogelijk maken. Hiervoor maken we gebruik van community platformen, online discussie groepen maar ook exit forums bijvoorbeeld. Hier optimaliseren we de connectie tussen de leden onderling maar ook met onze merken want hun betrokkenheid hier is veel groter dan bij een online vragenlijst.

De manier van communiceren is ook veranderd. Meer dynamisch en gebasseerd op feedback van onze leden. Niet alleen onze uitnodigingen zijn vernieuwd maar ook onze vragenlijsten zien er anders uit en hebben meer mogelijkheden: vergroot je lettertype, geef feedback over vragen via de ShoutBox en zie een dymanische invultijd en niet enkel een gewoon voortgangsbalk.

Tot slot krijgen we nog een aantal eerste reacties van panelleden mee:

“TalkToChange is my attempt at doing something significant, at staying in touch with the real world… it makes me feel like part of something important, like i can really help out”
“Er zijn meerdere onderzoekspanels, maar TalkToChange is zeker het meest dynamische en innovatieve!”

Afgelopen maand werd een artikel gepubliceerd door MarketTools, een toeleverancier voor marktonderzoekers uit de VS, over panelkwaliteit. Het artikel gaat over de (”verrassende en alarmerende”) effecten van zogenaamde bad respondents – foute respondenten op panelonderzoek. Het artikel is aan te vragen via een formulier op de website van het bedrijf.

Panelonderzoek wordt door velen gezien als een ideale manier van onderzoek doen. De respons is groot, snel en de uitvoering relatief goedkoop. De nadelen die vaak genoemd worden is een mogelijk lage representativiteit en de anonimiteit van internet. MarketTools heeft eerder in 2008 TrueSample geintroduceerd, een techniek die ervoor zorgt dat elke respondent echt, uniek en betrokken is. Helaas wordt niet vermeld wat de achtergrond van de techniek is.Om de betrouwbaarheid van panelonderzoek te testen – en de effectiviteit van TrueSample – heeft MarketTools een studie hiernaar gedaan.

Volgens MarketTools hangt de invloed van foute respondenten af van de hoeveelheid van dit soort respondenten in je steekproef. Bij minder dan 10% foute respondenten en een n (steekproef) van 600 loop je weinig risico om onjuiste uitkomsten te krijgen. Wordt dit hoger, dan gaat het risico snel omhoog. Bij 30% foute respondenten verdubbelt het risico, bij 40% verdriedubbelt zelfs het risico om onjuiste uitkomsten te krijgen.

Het bijzondere is dat wanneer de n groter wordt, het risico ook groter wordt. Bij een n van 6000 is zelfs bij 10% foute respondenten het risico al twee keer zo groot als bij geen foute respondenten. Volgens MarketTools zijn er gemiddeld 15% foute respondenten. Uit Het NOPVO onderzoek van 2006 bleek dat 9% van de panelleden behoren tot de gemakzuchtige respondenten. Deze soort respondenten wordt in de Uitkomsten van het Nederlands Onlinepanel Vergelijkingsonderzoek 2006 omschreven als “a-typische groep met grote effecten die zorgt voor nodige ruis in data” en is een respondenten die minder bruikbare data levert.

MarketTools geeft ook aan dat het verwijderen van een enkele soort foute respondenten (bijvoorbeeld dubbele respondenten, respondenten die overal hetzelfde antwoord geven of die alleen maar enquetes invullen voor de beloning) nog meer problemen oplevert. De verschillende soort foute respondenten houden elkaar vaak nog wat in evenwicht. Haal je één groep weg, dan kunnen de resultaten van het onderzoek doorslaan in een bepaalde richting.

Dit artikel gaat over panels in de Verenigde Staten. In Nederland is de MOA ook druk bezig met panelkwaliteit, bijvoorbeeld door het opzetten van het MOA Panel Instituut om de kwaliteit van panels te controleren en beheren. Ik heb ook enkele Nederlandse panelbureaus gevraagd om een reactie op het artikel.

Martijn van der Veen, Chief Netpanel van Ruigrok | NetPanel: “Op het gebied van ontdubbeling (zie ook het MOA Panelinstituut hieronder) en betrokkenheid gebeurt in Nederland ook al heel veel. Men kijkt naar verschillende indicatoren om vast te stellen of het panellid een goede respons geeft (oa speeding, satisficing, straightlining). Overigens spelen de kwaliteit van de vragenlijst en het beloningssysteem hierbij ook een rol. Panelleden kunnen bij het ene onderzoek een prima respondent zijn, maar bij een ander onderzoek een ’slechte’ respondent, bijvoorbeeld bij een lange, weinig afwisselende vragenlijst. Hoe slechter de vragenlijst, hoe meer ’slechte’ respondenten je zal vinden. En ook in het beloningssyteem kan je panelleden motiveren om serieus de vragenlijsten in te vullen door zowel de extrinsieke als de intrinsieke motivatie aan te spreken.

NetPanel van Ruigrok | NetPanel

Ruigrok | NetPanel houdt op de volgende manieren de kwaliteit van hun panel in de gaten:

• We houden ons aan de richtlijnen van die ESOMAR stelt aan online access panels.
• We zijn ISO 20252 gecertificeerd.
• Daarnaast hebben we input geleverd voor de ontwikkeling van ISO 26362, een ISO norm die specifiek gericht is op online panels. Naar verwachting zullen we na de eerste toetsing ook ISO 26362 gecertificeerd zijn.
• We nemen deel aan het MOA Panelinstituut.

Hiernaast voeren we verschillende kwaliteitscontroles uit in het panel, tijdens de datacollectie en na afloop van de datacollectie, bijvoorbeeld:

• Controle in panel:
  • Controle op activiteit van panelleden en e-mailadressen (inactieve panelleden worden periodiek verwijderd)
  • Zorgen voor up-to-date achtergrondgegevens
• Controle tijdens invullen vragenlijsten: Foutdetectiesysteem in de vragenlijst software (ingeprogrammeerde controles)
• Controle na afloop van datacollectie:
  • Controle op invultijd per vragenlijst,
  • Uitgebreide controle van de dataset na afloop van de datacollectie (kwaliteit open antwoorden, onlogische antwoordcombinaties, straightlining, et cetera)

BlauwNL van Blauw Research

Op mijn vraag aan Jolien de Jong, Panelmanager bij Blauw Research gaf zij aan dat zij het volgende beleid hanteren op het gebied van frauduleuze respondenten:

Het frauderen door respondenten kan zich op verschillende manieren manifesteren.
Aan de ene kant kan een respondent een vragenlijst invullen die niet voor hem bedoeld is. Aan de andere kant kan een respondent de vragenlijst zonder de vraag te lezen in vullen door lukraak wat aan te klikken.

Om te kunnen beoordelen of de respondent wel de persoon is die wij denken voor ons te hebben, zijn methodes in ontwikkeling.

Om te beoordelen of de kwaliteit van de verkregen data goed is, heeft BlauwNL vierverschillende methoden ontwikkeld, te weten:

• Speedvalidator

Hierbij wordt gekeken of de respondent geloofwaardig snel de vragenlijst heeft ingevuld. Indien hij sterk afwijkt van het gemiddelde kan een projectmanager de keuze maken deze respondenten uit de onderzoeksdata te verwijderen.

• Gridvalidator

De gridvalidator bekijkt of de respondent bij schaalvragen met meerdere stellingen steeds dezelfde antwoorden heeft gegeven. Het is niet mogelijk om te controleren of de respondent in bepaalde patronen heeft geantwoord omdat de stellingen vaak random worden aangeboden.

• OpenQuestionvalidator

Bij deze test wordt er gekeken of de respondent gemiddeld minder antwoorden intypt dan de rest van de respondenten.

• Controlestelling

In alle onderzoeken worden controlestellingen toegevoegd. (Meestal) wordt er bij de stellingen een “stelling” toegevoegd waar de respondent wordt gevraagd een bepaald antwoord aan te vinken.

Deze methoden worden verder ontwikkeld en waar nodig verbeterd.

Vergelijking NNP
Daarnaast worden de antwoorden van de respondenten periodiek vergeleken met de antwoorden van een referentiepanel. Dit referentiepanel, genaamd Nieuw Nederlands Peil (NNP), is puur schriftelijk en telefonisch geworven en bestaat momenteel uit 5290 Nederlanders. Door de antwoorden tussen de panelleden van BlauwNL en NNP te vergelijken, kan gekeken worden op welke onderwerpen de antwoorden van BlauwNL-leden afwijken. Hier kan eventueel voor gecorrigeerd worden. Dit laatste is nog in ontwikkeling. Op dit moment wordt inzichtelijk gemaakt waar er verschillen optreden en van welke kenmerken deze verschillen afhankelijk zijn.

De Amerikaanse Advertising Research Foundation (ARF) heeft aangekondigd te willen gaan onderzoeken wat voor invloed “professionele respondenten”, mensen die van meerdere panels lid zijn, hebben op panelonderzoek. Hoofd onderzoeker Rubinson van de ARF zegt dat ze zonder vooroordelen willen beginnen aan het onderzoek.

De ideeën die men heeft over professionele respondenten zijn vaak niet getoetst. Om te onderzoeken wat de daadwerkelijke invloed is van deze respondenten op onderzoek heeft de organisatie requests for proposal uitgezet. Het onderzoek moet in de herfst worden uitgevoerd, begin 2009 hoopt men de resultaten te kunnen presenteren.

Onderwerpen die onderzocht gaan worden zijn onder andere dubbelingen in respons, lengte van vragenlijsten, responsratio’s, representativiteit en de repliceerbaarheid van de online onderzoeken. De ARF hoopt dat aan de hand van het onderzoek een aantal criteria kan worden opgesteld voor het goed uitvoeren van panelonderzoek.

Bron: Research Live

Sinds 1 Juli is er een Wiki (wat is een wiki?) online gekomen over het opzetten en beheren van private panels. Een private panel is in tegenstelling tot een accesspanel geheel in eigendom van een opdrachtgever, en dus ook alleen toegankelijk voor de opdrachtgever. Klantenpanels of medewerkerspanels zijn voorbeelden van private panels.

Kennisdelen
De initiatiefnemers ISIZ en Ruigrok|Netpanel delen geheel volgens de web 2.0 gedachte al hun kennis op het gebied van private panels. Volgens Marja Ruigrok, directeur van een de initatiefnemers, moet je niet bang zijn om je kennis te delen. Door het actief delen van kennis geef je aan dat je ervaring hebt en open staat voor ontwikkelingen.
Kennisdelen binnen de branche is niet nieuw. Veel organisaties als SSI,GMI en PanelClix delen al kennis door middel van whitepapers (overigens moet je daar wel vaak je emailadres voor achterlaten). Een platform dat geheel bewerkt een aangepast kan worden door iedereen is echter nieuw.

Meedoen
De initatiefnemers hopen dat niet alleen opdrachtgevers maar ook aanbieders deelnemen aan het initiatief. ISIZ en Ruigrok|Netpanel zijn tenslotte ook concurrenten op het gebied van klantenpanels.

De url van het initiatief is: www.privatepanel.org

Durf jij ook?