3.3 Общият рамките на грешката проучване

Общо изследване грешка = представителство грешки + измервателни грешки.

Оценките, които идват от извадкови проучвания, често са несъвършени. Това означава, че обикновено има разлика между оценката, получена от извадковото изследване (например, прогнозната средна височина на учениците в училище) и истинската стойност в населението (например, действителната средна височина на учениците в училище). Понякога тези грешки са толкова малки, че те са незначителни, но понякога, за съжаление, те могат да бъдат големи и последователни. В опита си да разберат, измерят и намалят грешките, изследователите постепенно създадоха единна, всеобхватна концептуална рамка за грешките, които могат да възникнат в извадкови проучвания: общата рамка за грешки в изследването (Groves and Lyberg 2010) . Въпреки че развитието на тази рамка започна през 40-те години на миналия век, мисля, че тя ни предлага две полезни идеи за проучване на проучванията в дигиталната ера.

Първо, общата рамка за грешки в проучването уточнява, че съществуват два вида грешки: пристрастия и вариация . Грубо, пристрастие е систематична грешка и вариацията е произволна грешка. С други думи, представете си, че се движат 1000 репликации на едно и също извадково изследване и след това погледнете разпределението на оценките от тези 1000 репликации. Пристрастността е разликата между средната стойност на тези репликиращи оценки и истинската стойност. Различието е променливостта на тези оценки. Ако всичко останало е равно, бихме искали процедура без отклонение и малка вариация. За съжаление, за много реални проблеми, такива липса на пристрастия, не съществуват процедури с малки разновидности, което поставя изследователите в трудно положение да решават как да балансират проблемите, предизвикани от пристрастност и дисперсия. Някои изследователи инстинктивно предпочитат безпристрастни процедури, но еднозначното фокусиране върху пристрастността може да бъде грешка. Ако целта е да се получи оценка, която е възможно най-близо до истината (т.е. при най-малката възможна грешка), тогава може да сте по-добре с процедура, която има малка пристрастност и малка разлика, отколкото с тази, която е безпристрастен, но има голямо разнообразие (фигура 3.1). С други думи, общата рамка за грешки в проучването показва, че при оценяването на процедурите за изследване на проучванията трябва да се имат предвид както пристрастието, така и вариацията.

Фигура 3.1: Наклон и вариация. В идеалния случай изследователите ще имат процедура за приблизителна оценка, с ниска вариация. В действителност те често трябва да вземат решения, които създават компромис между пристрастия и дисперсия. Въпреки че някои изследователи инстинктивно предпочитат безпристрастни процедури, понякога процедура с малка пристрастност и малка вариация може да доведе до по-точни оценки, отколкото до безпристрастна процедура, която има големи различия.

Втората основна идея от общата рамка за грешки в изследването, която ще организира голяма част от тази глава, е, че има два източника на грешки: проблеми, свързани с кого говорите ( представителство ) и проблеми, свързани с това, което научавате от тези разговори ( измерване ). Може например да се интересувате от оценка на нагласите относно онлайн поверителността сред възрастните, живеещи във Франция. Извършването на тези оценки изисква два различни вида извод. Първо, от отговорите, които респондентите дават, трябва да изведете нагласите им относно поверителността на онлайн (което е проблем на измерването). На второ място, от изведените нагласи сред респондентите, вие трябва да изведете нагласите в населението като цяло (което е проблем на представителството). Перфектното вземане на проби с лоши въпроси от проучването ще доведе до лоши оценки, както и лошо вземане на проби с перфектни въпроси от проучването. С други думи, добрите оценки изискват солидни подходи за измерване и представяне. Като се има предвид този фон, ще прегледам как изследователите на изследването са мислили за представянето и измерването в миналото. След това ще покажа как идеите за представителство и измерване могат да направляват изследванията в изследванията на цифровите възрасти.