3.3.3 Kostnad

Undersökningar är inte gratis, och detta är en verklig begränsning.

Hittills har jag kortfattat granskat den totala undersökningsfelramen, som i sig är föremål för boklängdsbehandlingar (Weisberg 2005; Groves et al. 2009) . Även om denna ram är övergripande orsakar det generellt forskare att förbise en viktig faktor: kostnad. Även om kostnad - som kan mätas med antingen tid eller pengar - sällan diskuteras av akademiska forskare, är det en verklig begränsning som inte bör ignoreras. Faktum är att kostnaden är grundläggande för hela undersökningsforskningen (Groves 2004) : det är anledningen till att forskare intervjuar ett urval av människor snarare än en hel befolkning. En enstaka hängivenhet för att minimera felet medan du helt ignorerar kostnaden ligger inte alltid i vårt bästa intresse.

Begränsningarna av en besatthet med att minska felet illustreras av Scott Keeters och kollegas (2000) landmärkeprojekt om effekterna av dyra fältoperationer för att minska nonresponse i telefonundersökningar. Keeter och kollegor sprang två samtidiga studier, en med "standard" rekryteringsprocedurer och en med "rigorösa" rekryteringsförfaranden. Skillnaden mellan de två studierna var den mängd ansträngningar som gick i kontakt med respondenterna och uppmuntrar dem att delta. Till exempel i forskningen med "rigorös" rekrytering ringde forskare de samplade hushållen oftare och över en längre tid och gjorde extra återuppringningar om deltagarna ursprungligen vägrade delta. Dessa extra ansträngningar ledde faktiskt till en lägre nivå av icke-respons, men de tillförde sig kostnaden väsentligt. Studien med "rigorösa" förfaranden var dubbelt så dyr och åtta gånger långsammare. Och i slutändan producerade båda studierna i huvudsak identiska uppskattningar. Detta projekt, liksom efterföljande replikeringar med liknande resultat (Keeter et al. 2006) borde leda dig att undra: är vi bättre med två rimliga undersökningar eller en orörd undersökning? Vad sägs om 10 rimliga undersökningar eller en orörd undersökning? Vad sägs om 100 rimliga undersökningar eller en orörd undersökning? Vid någon tidpunkt måste kostnadsfördelar uppväga vaga, ospecificerade oro över kvaliteten.

Som jag kommer att visa i den här resten av kapitlet handlar det inte många om möjligheter som skapas av den digitala tidsåldern att göra uppskattningar som uppenbarligen har ett lägre fel. Dessa möjligheter handlar snarare om att uppskatta olika kvantiteter och att göra uppskattningar snabbare och billigare, även med eventuellt högre fel. Forskare som insisterar på en enstaka besatthet med att minimera felet på bekostnad av andra kvalitetsdimensioner kommer att sakna spännande möjligheter. Med tanke på den här bakgrunden om den totala undersökningsfelramen kommer vi nu att vända sig till tre huvudområden av den tredje eran av undersökningsforskning: nya tillvägagångssätt för representation (avsnitt 3.4), nya mätmetoder (avsnitt 3.5) och nya strategier för att kombinera undersökningar med stora datakällor (avsnitt 3.6).