Via SurveyGeek kwam ik terecht bij een tweetal onderzoeken waarbij verschillende onderzoeksmethoden met elkaar vergeleken worden. De artikelen met resultaten van deze onderzoeken verschenen in de Public Opinion Quarterly van de Oxford University.

Web vs face-to-face

In het eerste onderzoek van Dirk Heerwegh en Geert Loosveldt (beiden van de Katholieke Universiteit Leuven) worden onderzoek via internet en face-to-face met elkaar vergeleken. Hun hypothese is dat webrespondenten vaker ”middenweg-” of makkelijke antwoorden geven (satisficing) en daardoor data van lagere kwaliteit produceren.

Het onderzoek vond plaats via een vragenlijst onder studenten en waarmee de houding ten opzichte van immigranten en asielzoekers werd gemeten. De vragenlijst werd via internet en face-to-face afgenomen. Uit de analyse bleek dat de websurvey meer “weet niet”-respons, minder differentiatie bij rating scales en hogere non-respons bij vragen opleverde. De hypothese dat webrespondenten meer neigen tot satisficing was hiermee bevestigd.

Sociale wenselijkheid bij CATI, IVR en Web

De focus van het tweede onderzoek is in welke mate respondenten sociaal wenselijke antwoorden geven bij verschillende onderzoeksmethoden. Vergeleken zijn CATI (telefonisch interview), IVR (Interactive Voice Respons, telefonisch interview waarbij vragen gesteld worden via een computer en waarbij geen interviewer ingezet wordt) en onderzoek via een vragenlijst op internet. Het onderzoek werd gedaan door Frauke Kreuter, Stanley Presser en Roger Tourangeau, allen werkzaam bij de University of Maryland.

De respondenten zijn oud-studenten van de universiteit. Deze werden willekeurig benaderd via één van de onderzoeksmethoden. De respondenten werden vragen gesteld naar wenselijke en niet-wenselijke aspecten van hun studie. Hun antwoorden werden daarna vergeleken met de administratie van de universiteit om deze te beoordelen op het waarheidsgetrouwe gehalte.

Webonderzoek leverde de meeste gevoelige informatie op van de respondenten, CATI het minste. Webrespondenten gaven vaker sociaal onwenselijke feiten toe over zichzelf dan CATI respondenten en ze waren minder vaak geneigd om deze feiten te ontkennen.

Naast het vraag naar de informatie werd de respondent ook gevraagd in welke mate men dacht dat anderen dit soort vragen eerlijk zouden beantwoorden. Verrassend genoeg gaven de webrespondenten vaker aan dat informatie gevoelig was dan IVR-respondenten, hoewel de webrespondenten deze informatie beter en vaker gaven dan de IVR-respondenten. De onderzoekers gaven aan dat dit mogelijk veroorzaakt wordt doordat webrespondenten zich zorgen maken over de veiligheid van de informatie die via internet wordt verzonden.

CATI had de hoogste respons, web de laagste. CATI had het hoogste aantal missende antwoorden, web het laagste. Web had de hoogste nauwkeurigheid en CATI de laagste. De onderzoekers geven hierbij aan dat de keuze voor onderzoeksmethode af kan hangen welk van deze aspecten het meest belangrijk is.

Gezegd moet worden over beide onderzoeken dat de respondenten relatief jong zijn en waarschijnlijk beter dan gemiddeld met een computer en internet kunnen werken.