3.3 Koko tutkimus virhe puitteet

Yhteensä kyselyyn error = edustus virheitä + mittausvirheitä.

Näytteenottotutkimuksista saadut arviot ovat usein epätäydellisiä. Toisin sanoen on yleensä eroa näytteenottotutkimuksen tuottaman estimaatin (esim. Koulujen arvioitu keskimääräinen korkeus) ja väestön todellisen arvon (esim. Oppilaiden todellinen keskimääräinen korkeus). Joskus nämä virheet ovat niin pieniä, että ne ovat merkityksettömiä, mutta joskus valitettavasti ne voivat olla suuria ja seurauksia. Yrittäessään ymmärtää, mitata ja vähentää virheitä tutkijat loivat vähitellen yhtenäisen, kokonaisvaltaisen käsitteellisen kehyksen niissä virheissä, joita voi syntyä otantatutkimuksissa: kokonaisvastuukehys (Groves and Lyberg 2010) . Vaikka kehyksen kehittyminen alkoi 1940-luvulla, mielestäni se tarjoaa meille kaksi hyödyllistä ideaa tutkimustutkimukseen digitaaliaikana.

Ensinnäkin kokonaistutkimusvirheet selventävät, että virheitä on kaksi: vääristymät ja varianssit . Noin, bias on systemaattinen virhe ja varianssi on satunnainen virhe. Toisin sanoen kuvittele, että suorittaisit saman otantatutkimuksen 1000 toistoa ja tarkastelette arviota näistä 1000 toistuvuudesta. Erotus on näiden toistuvien arvioiden keskiarvon ja todellisen arvon välinen ero. Varianssi on näiden arvioiden vaihtelu. Kaikki muut ovat samansuuruisia, haluamme menettelyn, jossa ei ole puolueellisuutta ja pieniä variansseja. Valitettavasti monet todelliset ongelmat, kuten ei-bias, ei ole olemassa pieniä varianssimenettelyjä, mikä asettaa tutkijat vaikeaan asemaan päättäessään tasapainottaa esijännitteellä ja varianssilla esiintyneet ongelmat. Jotkut tutkijat vaistomaisesti suosivat puolueettomia menettelytapoja, mutta yksimielinen painotus bias voi olla virhe. Jos tavoitteena on tuottaa mahdollisimman tarkka estimaatti (ts. Pienin mahdollinen virhe), saatat ehkä olla parempi prosessi, jolla on pieni poikkeama ja pieni vaihtelu kuin se, joka on puolueettomasti, mutta sillä on suuri vaihtelu (kuva 3.1). Toisin sanoen kokonaistutkimusvirhepuitteet osoittavat, että tutkimustutkimusten arvioinnissa kannattaa harkita sekä poikkeamaa että varianssia.

Kuva 3.1: Bias ja varianssi. Ihanteellisessa mielessä tutkijoilla olisi ei-bias, pieni varianssin estimointimenettely. Todellisuudessa heidän on usein tehtävä päätöksiä, jotka luovat kompromisseja vääristymän ja varianssin välillä. Vaikka jotkut tutkijat vaistomaisesti suosivat puolueettomia menettelytapoja, joskus pieni bias, pieni-varianssi-menettely voi tuottaa tarkempia arvioita kuin puolueeton menettely, jolla on suuri vaihtelu.

Toinen tärkein havainto kokonaisvastuuvirheistä, joka järjestää suurimman osan tästä luvusta, on se, että on olemassa kaksi virheen lähdettä: ongelmat, jotka liittyvät siihen, kenen kanssa puhut ( edustus ) ja ongelmat, jotka liittyvät siihen, mitä opit näistä keskusteluista ( mittaus ). Esimerkiksi saatat olla kiinnostunut arvioimaan Ranskassa asuvien aikuisten online-tietosuojaa. Näiden arvioiden tekeminen edellyttää kahta eri päättelytapaa. Ensinnäkin vastaajien antamien vastausten perusteella sinun on päätettävä heidän asenteistaan ​​verkkoympäristöstä (joka on mittausongelma). Toiseksi ansioista johtuvista asenteista on päätettävä asenteet koko väestössä (mikä on edustuksen ongelma). Täydellinen näytteenotto huonoissa kyselykysymyksissä tuottaa huonoja arvioita, samoin kuin huono näytteenotto täydellisin kyselykysymyksin. Toisin sanoen hyvät arviot edellyttävät moitteettomia lähestymistapoja mittaamiseen ja edustamiseen. Taustalla otetaan huomioon, miten kyselyn tutkijat ovat aiemmin ottaneet esille edustuksen ja mittauksen. Sitten esitän, miten esitystapa ja mittaukset voivat ohjata digitaalisen ikäluokitutkimuksen.