Ukupno pogreške anketa greška = zastupanje + mjernih pogrešaka.
Procjene koje dolaze iz ispitivanja uzoraka često su nesavršene. Naime, obično postoji razlika između procjene koju je proizvela anketa uzorka (npr. Procijenjena prosječna visina učenika u školi) i stvarne vrijednosti stanovništva (npr. Stvarna prosječna visina učenika u školi). Ponekad su te pogreške tako male da nisu važne, ali ponekad, nažalost, mogu biti velike i posljedične. U pokušaju razumijevanja, mjerenja i smanjenja pogrešaka, istraživači su postupno stvorili jedinstven, konceptualni okvir za pogreške koje se mogu pojaviti u istraživanjima uzoraka: ukupni okvir pogreške ankete (Groves and Lyberg 2010) . Iako je razvoj ovog okvira započeo 1940-ih, mislim da nam nudi dvije korisne ideje za istraživanje istraživanja u digitalnom dobu.
Prvo, ukupni okvir pogreške ankete pojašnjava da postoje dvije vrste pogrešaka: pristranost i varijance . Oštro, pristranost je sustavna pogreška i varijansa je slučajna pogreška. Drugim riječima, zamislite da pokrenete 1000 ponavljanja istog uzorka, a zatim gledate na raspodjelu procjena s tih 1000 replikacija. Polarizacija je razlika između srednje vrijednosti tih procjena i stvarne vrijednosti. Varijacija je varijabilnost tih procjena. Sve ostalo jednako, željeli bismo postupak bez pristranosti i malih razlika. Nažalost, za mnoge stvarne probleme, takva ne-pristranost ne postoje postupci male varijance koji istraživači stavljaju u tešku poziciju odlučivanja o tome kako uravnotežiti probleme uvedene pristranosti i varijancije. Neki istraživači instinktivno preferiraju nepristrane postupke, ali jednoumno usmjerenje na pristranost može biti pogreška. Ako je cilj proizvesti procjenu koja je što je moguće bliža istini (tj. S najmanjom mogućom pogreškom), onda biste mogli biti bolji od postupka koji ima malu pristranost i malu razliku od one koja je nepristrano, ali ima veliku varijancu (slika 3.1). Drugim riječima, ukupni okvir pogreške ankete pokazuje da prilikom vrednovanja postupaka istraživanja istraživanja treba uzeti u obzir i pristranost i varijance.
Drugi glavni uvid u ukupni okvir pogreške ankete, koji će organizirati većinu ovog poglavlja, jest da postoje dva izvora pogrešaka: problemi s kojima razgovarate ( reprezentacija ) i probleme vezane uz ono što naučite iz tih razgovora ( mjerenje ). Na primjer, možda biste zainteresirani za procjenu stavova o online privatnosti među odraslim osobama koje žive u Francuskoj. Izrada tih procjena zahtijeva dvije različite vrste zaključivanja. Prvo, iz odgovora koje ispitanici daju, morate zaključiti njihova stajališta o online privatnosti (što je problem mjerenja). Drugo, iz zaključenih stavova među ispitanicima, morate zaključiti stavove u populaciji kao cjelini (što predstavlja problem zastupanja). Savršeno uzorkovanje s lošim upitnikom uzrokovat će loše procjene, kao i loše uzorkovanje uz savršena pitanja ankete. Drugim riječima, dobre procjene zahtijevaju dobre pristupa mjerenju i zastupanju. S obzirom na tu pozadinu, pregledat ću kako istraživači istraživanja u prošlosti misle o zastupljenosti i mjerenju. Zatim ću pokazati kako ideje o zastupljenosti i mjerenju mogu voditi istraživanju digitalnog doba.