3.3.3 Cost
Enquêtes zijn niet gratis, en dit is een echte beperking.
Tot nu toe heb ik kort het totale survey-foutraamwerk besproken, dat zelf het onderwerp is van boeklengtebehandelingen (Weisberg 2005; Groves et al. 2009) . Hoewel dit kader veelomvattend is, zorgt het er doorgaans voor dat onderzoekers een belangrijke factor over het hoofd zien: kosten. Hoewel de kosten, die met tijd of geld kunnen worden gemeten, zelden expliciet worden besproken door academische onderzoekers, is het een echte beperking die niet mag worden genegeerd. Kosten zijn fundamenteel voor het hele proces van survey-onderzoek (Groves 2004) : het is de reden waarom onderzoekers een steekproef van mensen interviewen in plaats van een volledige populatie. Een eenduidige toewijding om fouten te minimaliseren terwijl kosten volledig worden genegeerd, is niet altijd in ons belang.
De beperkingen van een obsessie met het verminderen van fouten worden geïllustreerd door het baanbrekende project van Scott Keeter en collega's (2000) over de effecten van dure veldoperaties op het verminderen van non-respons bij telefonische enquêtes. Keeter en zijn collega's voerden twee gelijktijdige studies uit, één met behulp van "standaard" wervingsprocedures en één met behulp van "rigoureuze" wervingsprocedures. Het verschil tussen de twee onderzoeken was de hoeveelheid moeite die werd gedaan om respondenten te contacteren en hen aan te moedigen om deel te nemen. In de studie met 'rigoureuze' werving noemden onderzoekers de bemonsterde huishoudens bijvoorbeeld vaker en gedurende een langere periode en maakten ze extra callbacks als deelnemers aanvankelijk weigerden deel te nemen. Deze extra inspanningen leverden in feite een lagere non-respons op, maar ze hebben de kosten aanzienlijk verhoogd. De studie met behulp van "rigoureuze" procedures was twee keer zo duur en acht keer langzamer. En uiteindelijk leverden beide onderzoeken in wezen identieke schattingen op. Dit project, evenals daaropvolgende replicaties met vergelijkbare bevindingen (Keeter et al. 2006) , zou je moeten afvragen: zijn we beter af met twee redelijke enquêtes of een ongerepte enquête? Hoe zit het met 10 redelijke enquêtes of een ongerepte enquête? Hoe zit het met 100 redelijke enquêtes of een ongerepte enquête? Op een gegeven moment moeten kostenvoordelen groter zijn dan vage, niet-specifieke zorgen over kwaliteit.
Zoals ik in deze rest van het hoofdstuk zal laten zien, gaan veel van de mogelijkheden die door het digitale tijdperk worden gecreëerd niet over het maken van schattingen die duidelijk minder fouten bevatten. Veeleer gaan deze kansen over het schatten van verschillende hoeveelheden en over het sneller en goedkoper maken van schattingen, zelfs met mogelijk hogere fouten. Onderzoekers die aandringen op een doelbewuste obsessie met het minimaliseren van fouten ten koste van andere dimensies van kwaliteit gaan kansen missen. Gezien deze achtergrond over het totale kader voor enquêtereferenties, zullen we ons nu richten op drie hoofdgebieden van het derde tijdperk van survey-onderzoek: nieuwe benaderingen van representatie (paragraaf 3.4), nieuwe benaderingen van meting (paragraaf 3.5) en nieuwe strategieën voor het combineren van enquêtes met big data-bronnen (paragraaf 3.6).
