4.4.1 Термін дії
Термін дії відноситься до того , скільки результати експерименту підтримують більш загальний висновок.
Ні один експеримент не є досконалим, і дослідники розробили великий словниковий запас , щоб описати можливі проблеми. Термін дії відноситься до ступеня , в якій результати конкретного експерименту підтримують деякі більш загальний висновок. Соціальні вчені виявили , що корисно розділити дійсність на чотири основні типи: статистичний висновок достовірності, внутрішня валідність, побудувати дійсність, і зовнішня валідність (Shadish, Cook, and Campbell 2001, Ch 2) . Освоюючи ці поняття надасть вам розумову контрольний список для критикуючи і вдосконалення конструкції і аналіз експерименту, і це допоможе вам спілкуватися з іншими дослідниками.
Статистична достовірність висновок центрів по всьому , було зроблено статистичний аналіз експерименту правильно. У контексті Schultz et al. (2007) і Schultz et al. (2007) таке питання може концентруватися на обчислюватися вони їх р-значення правильно. Статистичний аналіз виходить за рамки цієї книги, але я можу сказати, що статистичні принципи, необхідні для розробки і аналізу експериментів не змінилися в епоху цифрових технологій. Тим НЕ менше, інше середовище даних в цифрових експериментах дійсно створює нові статистичні можливості (наприклад, з допомогою методів машинного навчання для оцінки гетерогенність ефектів лікування (Imai and Ratkovic 2013) р (Higgins, Sävje, and Sekhon 2016) (Imai and Ratkovic 2013) ) і нових обчислювальних задач (наприклад, блокування в масивних експериментах (Higgins, Sävje, and Sekhon 2016) ).
Внутрішня достовірність центрів по всьому , чи були виконані правильно експериментальні процедури. Повертаючись до експерименту Schultz et al. (2007) і Schultz et al. (2007) , питання про внутрішню дійсності може зосередиться навколо рандомізації, доставку лікування і вимір результатів. Наприклад, ви можете бути стурбовані тим, що науковці не читали електролічильники надійно. Насправді, Шульц і його колеги були стурбовані цією проблемою, і вони мали зразок метрів для читання в два рази; На щастя, результати були по суті ідентичні. Загалом, Шульца і експеримент колег очевидно, мають високу внутрішню валідність, але це не завжди так; комплексне поле і онлайн-експерименти часто стикаються з проблемами насправді, що доставляють право звернення до потрібних людям і вимірювання результатів для всіх. На щастя, цифровий вік може допомогти зменшити занепокоєння з приводу внутрішньої дійсності, тому що робить його легше гарантувати, що лікування поставляється у вигляді призначена для тих, хто повинен отримати його і вимірювати результати для всіх учасників.
Побудувати центри валідності навколо матчу між даними і теоретичними конструкціями. Як вже говорилося в главі 2, конструкції є абстрактні поняття, які соціологи причина о. На жаль, ці абстрактні поняття, не завжди мають чіткі визначення і вимірювання. Повертаючись до Schultz et al. (2007) і Schultz et al. (2007) , стверджують , що Обеспечительная соціальні норми можуть знизити споживання електроенергії вимагає дослідників розробити лікування , яке буде керувати "Обеспечительная соціальних норм» (наприклад, смайлик) і виміряти "споживання електроенергії". В аналогових експериментах, багато дослідників розробили свої власні процедури і виміряти свої результати. Такий підхід гарантує, що, в максимально можливій мірі, експерименти збігаються абстрактні побудови вивчаються. У цифрових експериментах, де дослідники партнер з компаніями або урядами для доставки лікування і використання завжди на системах даних для вимірювання результатів, матч між експериментом і теоретичних побудов може бути менш жорсткою. Таким чином, я очікую, що конструкція дійсність буде, як правило, більше занепокоєння в цифрових експериментах, ніж аналогових експериментів.
І, нарешті, зовнішня валідність концентрує результати цього експерименту будуть узагальнювати на інші ситуації. Повертаючись до Schultz et al. (2007) і Schultz et al. (2007) , можна було б запитати, буде чи це та ж сама ідея, надаючи людям інформацію про їх використання енергії в зв'язку з їх однолітками і сигнал Обеспечительная норм (наприклад, смайлик) -зниження споживання енергії , якщо це було зроблено по-іншому в інший параметр? Для більшості добре продумані і добре проводити експерименти, побоювання з приводу зовнішньої дійсності найважче звернутися. У минулому ці дебати про зовнішню дійсності часто були просто купа людей сидить в кімнаті, намагаючись уявити, що сталося б, якщо процедури були зроблені по-іншому, або в іншому місці, або з різними людьми. На щастя, цифровий вік дозволяє дослідникам вийти за межі цих спекуляцій даних, вільної і оцінити зовнішню дійсність емпірично.
Так як результати Schultz et al. (2007) і Schultz et al. (2007) були настільки захоплюючими, компанія під назвою Оповер партнерстві з комунальних послуг в Сполучених Штатах , щоб розгорнути лікування більш широко. На основі конструкції Schultz et al. (2007) і Schultz et al. (2007) , Оповер створено налаштувати Home Energy повідомляє , що було два основних модуля, один з зазначенням використання електроенергії домогосподарства по відношенню до своїх сусідів з смайлика і один забезпечуючи поради для зниження споживання енергії (Малюнок 4.6). Потім, у співпраці з дослідниками, Оповер бігала рандомізованих контрольованих експериментів, щоб оцінити вплив Home Energy Reports. Незважаючи на те, що лікування в цих експериментах, як правило, доставляються фізично, як правило, через старомодний звичайною поштою, результат був визначений за використанням цифрових пристроїв у фізичному світі (наприклад, вимірювачі потужності). Замість того, щоб вручну збирати цю інформацію з науковими співробітниками, які відвідують кожен будинок, експерименти Оповер всі вони були зроблені у співпраці з енергетичними компаніями, що дозволяють дослідникам отримати доступ до показання потужності. Таким чином, ці експерименти частково цифрових області проводилися в масовому масштабі при низькій вартості змінної.
Малюнок 4.6: Головна Енергія Звіти в Allcott (2011) був модуль порівняння соціальних і модуль Дія кроки.
У першій серії експериментів з участю 600000 домогосподарств , що обслуговуються 10 комунальних підприємств навколо Сполучених Штатів, Allcott (2011) знайшли Energy Report Home знизила споживання електроенергії на 1,7%. Іншими словами, результати набагато більшого, більш географічно різноманітного дослідження були якісно подібні з результатами Schultz et al. (2007) і Schultz et al. (2007) . Але, розмір ефекту був менше: в Schultz et al. (2007) і Schultz et al. (2007) домогосподарства в описовій та ін'єкційних умови норм (один з смайликом) скоротили споживання електроенергії на 5%. Точна причина цієї відмінності невідома, але Allcott (2011) припустив , що отримання рукописні смайлик в рамках дослідження під егідою університету може мати більший вплив на поведінку , ніж отримання друкованого смайлик в рамках масового виробництва звіту з енергетична компанія.
Крім того, в подальших дослідженнях, Allcott (2015) повідомили про додаткові 101 експериментів з участю ще 8 мільйонів домогосподарств. У цих експериментах наступних 101 Енергія Report Home продовжує викликати людей, щоб знизити споживання електроенергії, але наслідки були ще менше. Точна причина цього зниження не відомий, але Allcott (2015) припустив , що ефективність доповіді , як представляється, скорочується з плином часу , тому що він був на насправді застосовується до різних типів учасників. Більш конкретно, комунальні послуги в більш еколог областях, більш імовірно, прийняти програму раніше і їх клієнти були більш чуйні до лікування. Як комунальні послуги з меншою кількістю екологічних клієнтів прийняли програму, її ефективність як видно знижується. Таким чином, так само, як рандомізація в експериментах гарантує, що лікування та контрольної групи схожі, рандомізації в дослідницьких центрах гарантує, що оцінки можуть бути узагальнені з однієї групи учасників до більш загальної групи населення (згадаймо керівника 3 про вибірку даних). Якщо наукові сайти не відбираються випадковим методом, то узагальнення, навіть від зовсім розроблений і проведений експеримент, може бути проблематичним.
Разом ці експерименти 111-10 в Allcott (2011) і 101 в Allcott (2015) -involved близько 8,5 мільйонів сімей з усіх куточків Сполучених Штатів. Вони постійно показують, що Home Energy Звіти скоротити середнє споживання електроенергії, результат, який підтримує оригінальні висновки Шульца і його колеги з 300 будинків в Каліфорнії. За просто тиражування ці початкові результати, наступні експерименти також показують, що величина ефекту залежить від місця розташування. Цей набір експериментів ілюструє також два більш загальних моментів, що стосуються експериментів частково цифрових полів. По-перше, дослідники зможуть емпіричним шляхом вирішення проблем, пов'язаних зовнішньої дійсності, коли вартість проведення експериментів низька, і це може статися, якщо результат вже вимірюється завжди на даних системи. Таким чином, можна припустити, що дослідження має бути на спостереженні за інших цікавих і важливих поведінки, які вже записані, а потім експерименти, на вершині цієї існуючої вимірювальної інфраструктури. По-друге, це безліч експериментів нагадує нам про те, що експерименти цифрові поля не тільки в режимі онлайн; все більше і більше я очікую, що вони будуть всюди з великою кількістю результатів вимірювань за допомогою датчиків в штучному середовищі.
Чотири типу дії-статистичний висновок дійсності, внутрішньої дійсності, побудувати дійсність, зовнішня валідність, забезпечують розумову контрольний список, щоб допомогти дослідникам оцінити результати конкретного експерименту підтримують більш загальний висновок. У порівнянні з аналоговими експериментів віку, в цифрових експериментів віку має бути легше вирішувати зовнішню дійсність емпірично і воно повинно бути легше забезпечити внутрішню справедливість. З іншого боку, питання валідності, ймовірно, буде більш складним в цифрових експериментах віку (хоча це було не так з експериментами Оповер).
