3.3.3 Вартість

Огляди не є вільними, і це є реальним обмеженням.

До теперішнього часу я коротко розглянув загальну схему помилок опитування, яка сама по собі є предметом обробки книжкової довжини (Weisberg 2005; Groves et al. 2009) . Незважаючи на те, що ця основа є всеосяжною, вона, як правило, змушує дослідників не помічати важливий чинник: вартість. Незважаючи на те, що вартість, яку можна виміряти як за часом, так і за гроші, рідко висвітлюється науковими дослідниками, це реальне обмеження, яке не можна ігнорувати. Насправді, вартість є основоположним для всього процесу опитування (Groves 2004) : саме тому дослідники інтерв'ю з вибіркою людей, а не всього населення. Неоднозначна відданість справі мінімізації помилки, повністю ігноруючи вартість, не завжди відповідає нашим інтересам.

Обмеження нав'язливості з зменшенням помилки ілюструються значним проектом Скотта Кетер та його колег (2000) про вплив дорогих польових операцій на зменшення невідповідності в телефонних опитуваннях. Кітер та його колеги провели два одночасних дослідження, один з яких використовував "стандартні" процедури набору персонажів, а один - з "суворими" процедурами найму. Різниця між цими двома дослідженнями була сумою зусиль, які вдавалися до контактів з респондентами та заохочували їх до участі. Наприклад, у дослідженні з "ретельним" набором робіт дослідники називали вибіркові домогосподарства частіше та більш тривалим періодом часу і робили додаткові зворотні дзвінки, якщо учасники спочатку відмовилися брати участь. Ці додаткові зусилля фактично призвели до зменшення частоти невідповідей, але вони суттєво збільшили вартість. Дослідження з використанням "строгих" процедур було вдвічі дорожче та у вісім разів повільнішим. І, нарешті, обидва дослідження дали принципово ідентичні оцінки. Цей проект, а також наступні реплікації з аналогічними висновками (Keeter et al. 2006) , повинні привести вас до сумніву: чи нам краще провести два розумні опитування чи один незайманий огляд? Що близько 10 розумних опитувань чи одного незайманого опитування? Що близько 100 розумних опитувань чи одного незайманого опитування? У якийсь момент переваги вартості повинні перевищувати невиразні, неспецифічні занепокоєння щодо якості.

Як я покажу в цій частині цієї глави, багато можливостей, що створюються цифровою епохою, полягають не в тому, щоб робити оцінки, які, очевидно, мають нижчу помилку. Скоріше за все, ці можливості полягають у оцінюванні різних величин, а також на прискоренні та дешевіші оцінки навіть із можливими вищими помилками. Дослідники, які наполягають на однодумній одержимості, з мінімізацією помилок за рахунок інших вимірів якості, будуть втрачати цікаві можливості. З огляду на цей фон про загальну структуру помилок опитування, ми тепер розглянемо три основні напрямки третьої епохи дослідницьких досліджень: нові підходи до представлення (розділ 3.4), нові підходи до вимірювання (розділ 3.5) та нові стратегії об'єднання опитувань з великими джерелами даних (розділ 3.6).