3.3.1 Представление
Представление о том , чтобы выводы из ваших респондентов к вашей целевой аудитории.
Чтобы понять, какие ошибки могут возникнуть при выводе респондентов среди более крупного населения, давайте рассмотрим опрос соломинок « Литературный дайджест» , который попытался предсказать исход президентских выборов 1936 года в США. Хотя это произошло более 75 лет назад, этот фиаско все еще имеет важный урок для обучения исследователей сегодня.
«Литературный дайджест» был популярным журналом общего интереса, и начиная с 1920 года они начали проводить опросы соломы, чтобы предсказать результаты президентских выборов. Чтобы сделать эти прогнозы, они отправили избирательные бюллетени большому количеству людей, а затем просто подсчитали бюллетени, которые были возвращены; Литературные Digest с гордостью сообщила , что бюллетени , которые они получили , не были ни «взвешенным, с поправкой, ни интерпретированы.» Эта процедура угаданных победителей выборов в 1920 году, 1924, 1928 и 1932. В 1936 году, в разгар Великой депрессии, Литературно Дайджест разослал бюллетени для голосования до 10 миллионов человек, чьи имена поступали преимущественно из телефонных справочников и регистрационных записей автомобилей. Вот как они описали свою методологию:
«Машина с плавным движением DIGEST движется с быстрой точностью 30-летнего опыта, чтобы уменьшить догадки до сложных фактов ... На этой неделе 500 ручек поцарапали более четверти миллиона адресов в день. Каждый день, в большой комнате, расположенной выше четвертой авеню с моторами, в Нью-Йорке, 400 рабочих ловко скользили миллион штук печатной продукции - достаточно, чтобы проложить сорок городских кварталов - в адресованные конверты [sic]. Каждый час, на собственной почтовой почтовой станции DIGEST, три болтающих почтовых измерительных устройства запечатывали и штамповали белые продолговатые; квалифицированные почтовые служащие перевернули их в выпуклые почтовые отправления; грузовые самолеты DIGEST ускорили их доставку почтовых поездов. , , На следующей неделе первые ответы из этих десяти миллионов начнут поступать в отмеченные бюллетени, будут проверены три раза, проверены, пять раз перекрестно классифицированы и суммируются. Когда последняя цифра была подсчитана и проверена, если прошлый опыт является критерием, страна будет знать в пределах доли 1 процента фактического всенародного голосования сорока миллионов [избирателей] »(22 августа 1936 года)
Фетишизация размера литературного дайджеста мгновенно узнаваема для любого исследователя «больших данных». Из 10 миллионов избирательных бюллетеней были возвращены удивительные 2,4 миллиона, что примерно в 1000 раз больше, чем современные политические опросы. Из этих 2,4 миллиона респондентов вердикт был ясен: Альф Лэндон собирался победить действующего Франклина Рузвельта. Но на самом деле Рузвельт победил Лэндона в оползнях. Как мог Литературный дайджест ошибиться с таким количеством данных? Наше современное понимание выборки делает ошибки литературного дайджеста ясными и помогает избежать подобных ошибок в будущем.
Разумное размышление о выборке требует от нас рассмотреть четыре разные группы людей (рисунок 3.2). Первой группой является целевая группа населения ; это группа, которую исследователь определяет как представляющую интерес популяцию. В случае Литературного дайджеста целевое население было избирателем на президентских выборах 1936 года.
После принятия решения о целевой популяции исследователю необходимо разработать список людей, которые могут использоваться для отбора проб. Этот список называется рамкой выборки, а люди на нем называются совокупностью кадров . В идеале целевая совокупность и население кадров будут точно такими же, но на практике это часто бывает не так. Например, в случае « Литературного дайджеста» численность кадров составляла 10 миллионов человек, чьи имена были преимущественно из телефонных справочников и записей о регистрации автомобилей. Различия между целевой совокупностью и совокупностью кадров называются ошибками покрытия . Ошибка покрытия сама по себе не гарантирует проблем. Однако это может привести к смещению охвата, если люди в структуре населения систематически отличаются от людей в целевой группе населения, которые не находятся в кадровом населении. Это, собственно, и то, что произошло в опросе Литературного дайджеста . Люди в их структуре населения, как правило, с большей вероятностью поддерживали Альфа Лэндона, отчасти потому, что они были богаче (напомним, что и телефоны, и автомобили были относительно новыми и дорогими в 1936 году). Так, в опросе « Литературный дайджест» ошибка покрытия привела к смещению охвата.
Рисунок 3.2: Ошибки представления.
После определения совокупности кадров следующий шаг заключается в том, чтобы исследователь выбирал выборочную совокупность ; это те люди, с которыми исследователь попытается взять интервью. Если образец имеет разные характеристики, чем совокупность кадров, тогда выборка может ввести ошибку выборки . В случае фиаско « Литературный дайджест» , однако, на самом деле не было выборки - журнал, чтобы связаться со всеми в популяции кадров - и, следовательно, ошибки выборки не было. Многие исследователи склонны сосредотачиваться на ошибке выборки - это, как правило, единственный вид ошибки, зафиксированной погрешностью ошибок в отчетах, но фиаско « Литературный дайджест» напоминает нам, что нам необходимо учитывать все источники ошибок, как случайные, так и систематические.
Наконец, после выбора выборочной совокупности исследователь пытается опросить всех своих членов. Те люди, которые успешно опрошены, называются респондентами . В идеале, выборка населения и респондентов будет точно такой же, но на практике не будет ответа. То есть люди, выбранные в образце, иногда не участвуют. Если люди, которые отвечают, отличаются от тех, кто не отвечает, тогда может быть непредвзятость . Отклонение от ответа не было второй основной проблемой в опросе Литературного дайджеста . Только 24% людей, получивших бюллетень, ответили, и оказалось, что люди, которые поддерживали Лэндона, с большей вероятностью ответят.
Помимо того, что он является примером для представления идей представительства, опрос Литературного дайджеста - часто повторяемая притча, предостерегая исследователей об опасностях случайного отбора проб. К сожалению, я считаю, что урок, который многие люди используют в этой истории, неверен. Наиболее распространенной модой в истории является то, что исследователи не могут чему-либо научиться из образцов, отличных от вероятности (т. Е. Образцов без строгих правил на основе вероятности для выбора участников). Но, как я покажу в этой главе, это не совсем так. Вместо этого, я думаю, что в этой истории есть две морали; морали, которые так же актуальны сегодня, как и в 1936 году. Во-первых, большое количество случайно собранных данных не гарантирует хорошей оценки. В целом, наличие большого числа респондентов уменьшает дисперсию оценок, но это не обязательно уменьшает предвзятость. С большим количеством данных исследователи иногда могут получить точную оценку неправильной вещи; они могут быть точно неточными (McFarland and McFarland 2015) . Второй главный урок фиаско « Литературный дайджест» заключается в том, что исследователи должны учитывать, как их выборка была собрана при составлении оценок. Другими словами, поскольку процесс отбора проб в опросе литературных дайверов систематически искажался по отношению к некоторым респондентам, исследователям приходилось использовать более сложный процесс оценки, который взвешивал некоторых респондентов больше, чем другие. Позже в этой главе я покажу вам одну такую взвешивающую процедуру - пост-стратификацию, которая позволит вам сделать более качественные оценки из случайных образцов.
