3.3.3 Kulude

Uuringud ei ole vabad, ja see on tõeline piirang.

Siiani on mul lühidalt läbi vaadatud uuringu veergete raamistik, mis iseenesest on raamatu pikkuse ravi teema (Weisberg 2005; Groves et al. 2009) . Kuigi see raamistik on kõikehõlmav, põhjustab see üldiselt teadlasi olulist tegurit - hind. Kuigi akadeemiliste teadlaste poolt selgesõnaliselt arutatakse kulusid, mida saab mõta aega või raha mõõta, on see tõeline piirang, mida ei tohiks eirata. Tegelikult on kulu (Groves 2004) kogu protsessi jaoks olulise tähtsusega (Groves 2004) : teadlased on intervjueerinud inimeste valimit, mitte kogu elanikkonda. Ühemeelne pühendumus vea minimiseerimisele kulude täieliku ignoreerimisega ei ole alati meie huvides.

Vähendamise viga kinnipidamise piirangud on illustreeritud Scott Keeteri ja tema kolleegide maamärkide projektiga (2000) kallite välitööde tagajärgede kohta telefonivestluste mittevastavuse vähendamisele. Keeter ja kolleegid jooksid kaks samaaegset õpet, üks standardsete värbamisprotseduuride ja üks "rangetest" värbamismenetlustest. Mõlema uuringu erinevus oli jõupingutuste hulk, mis läksid vastajatega ühendust võtmisele ja julgustasid neid osalema. Näiteks uuringus, milles osales "rangelt" värbamine, kutsusid teadlased valimisse kuuluvaid leibkondi sagedamini ja pikema aja jooksul välja ning said osalejate jaoks esialgu keelduda. Need täiendavad jõupingutused tõid tegelikult vastamata jätmise madalama määra, kuid need lisasid kuludele oluliselt. Uuring, milles kasutati ranget protseduuri, oli kaks korda kallim ja kaheksa korda aeglasem. Lõpuks andsid mõlemad uuringud sisuliselt identsed hinnangud. See projekt, aga ka järgnevad replikatsioonid sarnaste tulemustega (Keeter et al. 2006) , peaksid (Keeter et al. 2006) teid imeks: kas meil on parem kaks mõistlikku uuringut või üks püstitatud uuring? Mis umbes 10 mõistlikku uuringut või ühte püstitatud uuringut? Mis umbes 100 mõistlikku uuringut või ühte püstitatud uuringut? Mõnikord peab kulude eelised üle kaaluma ebamäärase, mittespetsiifilise mure kvaliteedi pärast.

Nagu ma selle peatüki ülejäänud osas näitan, ei ole paljud digitaalajastul loodud võimalused hinnangute tegemisel, mis ilmselgelt on väiksema veaga. Pigem on need võimalused erinevate koguste hindamisel ja hinnangute kiiremaks ja odavamaks muutmiseks isegi suurema hulga vigadega. Teadlased, kes nõuavad ühemõttelist kinnisideed viga minimeerides muudel kvaliteedimõõdikutel, lähevad kaotamata põnevaid võimalusi. Võttes arvesse tausta uuringutegurite koguarvestuse kohta, pöördume nüüd vaatlusuuringute kolmanda ajastu kolme valdkonna poole: uued lähenemisviisid esindatusele (punkt 3.4), uued lähenemisviisid mõõtmisele (punkt 3.5) ja uuringute kombineerimise uued strateegiad suurte andmeallikatega (punkt 3.6).