3.3.1 Подання
Уявлення про те , щоб висновки з ваших респондентів до вашої цільової аудиторії.
Щоб зрозуміти ті види помилок, які можуть статися, коли випливає з респондентів для більшого населення, давайте розглянемо солом'яний огляд Літературного дайджесту, який намагався передбачити підсумки президентських виборів 1936 року. Хоча це сталося понад 75 років тому, ця криза все ще має важливий урок для навчання вчених сьогодні.
Літературний дайджест був популярним журналом із загальним інтересом, і починаючи з 1920-х вони почали проводити опитування соломи, щоб передбачити результати президентських виборів. Щоб зробити ці передбачення, вони відправлять бюлетені для багатьох людей, а потім просто підраховуватимуть повернуті бюлетені; Літературний дайджест з гордістю повідомив, що отримані їм бюлетені не були ні "зваженими, ні скоригованими, ні інтерпретованими". Ця процедура правильно передбачала переможців виборів 1920, 1924, 1928 та 1932 років. У 1936 році, в розпал Великої депресії, літературно Дайджест відправив бюлетені на 10 мільйонів людей, імена яких надходили переважно з телефонних довідників та записів про реєстрацію автомобілів. Ось як вони описали свою методологію:
"Згладжувальна машина DIGEST рухається з швидкою точністю тридцятирічного досвіду, щоб зменшити припущення до важких фактів ... Цього тижня 500 ручок почухав понад чверть мільйона адрес на день. Кожного дня, у великій кімнаті високо над моторно-стрічкою Четвертої авеню в Нью-Йорку, 400 робітників спритно ковзають мільйон шматків друкованої сировини, достатній для прокладання сорока міських блоків - до адресних конвертів [sic]. Кожну годину в підстанції власного поштового відділу DIGEST три затискачі поштових дозувальних машин запечатані та штамповані білими пронними; кваліфіковані поштові службовці загорнули їх у виснажливі листи; Флот DIGEST вантажівки спробував їх висловити поштові поїзди. . . Наступного тижня, перші відповіді з цих десяти мільйонів почнуть надходити від вiдправлення виборчих бюлетенів, потрiбно перевіряти, перевіряти, перехресно класифікувати та скласти у п'ять разiв. Коли остання цифра буде визначена та перевірена, якщо минулий досвід є критерієм, країна буде знати, що в межах 1 відсотка фактично загальне голосування сорок мільйонів [виборців] "(22 серпня 1936 року)
Фетишизація розміру літературного дайджеста моментально впізнається для будь-якого дослідника "великих даних" сьогодні. З 10 мільйонів розподілених виборчих бюлетенів було повернуто 2,4 мільйони. Це приблизно в 1000 разів більше, ніж сучасні політичні опитування. З цих 2,4 мільйонів респондентів вердикт був ясним: Альф Лендон збирається перемогти діючого Франкліна Рузвельта. Але, по суті, Рузвельт переміг Лендона в зсуві. Як літературний дайджест може помилятися з такою кількістю даних? Наше сучасне розуміння вибірки робить помилки Літературного Дайджесту ясним і допомагає нам уникнути подібних помилок у майбутньому.
Чітко думати про вибірку вимагає розглянути чотири різні групи людей (рис. 3.2). Перша група - це цільове населення ; це група, яку дослідник визначає як інтересу населення. У випадку літературного дайджесту цільове населення було виборцями на президентських виборах 1936 року.
Після прийняття рішення про цільове населення дослідник повинен розробити список людей, які можуть бути використані для відбору проб. Цей список називається рамкою вибірки, і люди на ній називаються кадрами населення . В ідеалі, цільове населення та структура населення будуть однаково однаковими, але на практиці це часто не так. Наприклад, у випадку з літературним дайджестом , кадрова кількість населення складала 10 мільйонів чоловік, імена яких переважно надходили з телефонних довідників та записів про реєстрацію автомобілів. Відмінності між цільовим населенням і населенням кадрів називаються помилками охоплення . Помилка охоплення сама по собі не гарантує проблем. Однак це може призвести до зсуву покриттів, якщо люди, які перебувають у структурі населення, систематично відрізняються від людей у цільовій популяції, які не перебувають у структурі населення. Це, по суті, саме те, що відбулося в опитуванні літературного дайджесту . Люди, котрі в своїй структурі населення, як правило, більше підтримували Альфа Лендона, частково тому, що вони були більш заможними (нагадаємо, що телефони та автомобілі були відносно новими та дорогими в 1936 році). Отже, у опитуванні " Літературний дайджест " помилка покриття призвела до зсуву покриття.
Малюнок 3.2. Помилки представлення.
Визначивши загальну кількість кадрів , наступним кроком для дослідника є вибір вибірки населення ; це люди, яких дослідник намагатиметься провести інтерв'ю. Якщо зразок має інші характеристики, ніж кадр населення, то вибірка може вводити помилку вибірки . Однак у випадку фіаско « Літературний дайджест» фактично не було виявлено вибірки - це журнал, який би зв'язався з усіма кадрами, і тому не було помилок вибірки. Багато дослідників, як правило, зосереджують свою увагу на помилках вибірки - це, як правило, єдиний вид помилки, зафіксований в межах помилки, повідомляється в опитуваннях, - але фіаско Літературного дайджесту нагадує нам, що ми повинні розглянути всі джерела помилок, як випадкові, так і систематичні.
Нарешті, після вибору вибіркової популяції дослідник намагається інтерв'ювати всіх його членів. Ті люди, які успішно проходять інтерв'ю, називаються респондентами . В ідеалі вибірка населення і респондентів будуть однаково однаковими, однак на практиці є невідповідність. Тобто люди, які обрані в зразку, іноді не беруть участь. Якщо люди, які реагують, відрізняються від тих, хто не відповідає, то може бути відхилення від відповіді . Друга основна проблема з опитуванням літературного дайджесту - непередбачуване упередження. Лише 24% людей, які отримали бюлетень, відповів, і виявилось, що люди, які підтримали Лендона, швидше відповіли.
Окрім простого прикладу, щоб представити ідеї представництва, опитування літературного дайджесту є часто повторюваною притчею, що застерігає дослідників про небезпеку випадкової вибірки. На жаль, я думаю, що урок, який багато людей виховує з цієї історії, є неправильним. Найбільш поширеною мораллю історії є те, що дослідники не можуть нічого дізнатись з неімпріятних зразків (тобто зразків без строгих правил для вибору учасників з імовірністю). Але, як я покажу згодом у цьому розділі, це не зовсім правильно. Натомість я думаю, що для цієї історії дійсно є дві моралі; моралі, які на сьогоднішній день так само справедливі, як і в 1936 році. По-перше, велика кількість випадково зібраних даних не гарантуватиме хорошої оцінки. Взагалі, маючи велику кількість респондентів, зменшується дисперсія оцінок, але це не обов'язково зменшує зміщення. З великою кількістю даних дослідники іноді можуть отримати точні оцінки неправильної речі; вони можуть бути точно неточними (McFarland and McFarland 2015) . Другий основний урок з фіаско « Літературний дайджест» полягає в тому, що дослідникам потрібно враховувати, як збирати їх зразок під час складання оцінок. Іншими словами, оскільки вибірковий процес у опитуванні " Літературний дайджест " був систематичним зміщенням для деяких респондентів, дослідники мали застосовувати більш складний процес оцінки, який деякі респонденти оцінили більше, ніж інші. Пізніше в цьому розділі я покажу вам одну подібну процедуру зважування - пост-стратифікацію, яка дозволить вам зробити кращі оцінки з випадкових зразків.
