4.4 Перехід від простих експериментів

Давайте рухатися далі простих експериментів. Три концепції корисні для багатих експериментів: дійсність, неоднорідність ефектів лікування, а також механізму.

Дослідники, які є новими для експериментів часто зосереджуються на дуже конкретної вузької питання: робить це лікування "робота"? Наприклад, робить телефонний дзвінок від волонтера заохочувати кого голосувати? Чи є зміни кнопки сайту від синього до зеленого кліків збільшення? На жаль, вільно фразування про те, що "працює" затінює той факт, що цілеспрямовані експерименти насправді не сказати вам, чи є "працює" лікування в загальному сенсі. Швидше за все, цілеспрямовані експерименти відповісти набагато більш конкретне запитання: який середній ефект цього специфічного лікування з цієї конкретної реалізації цієї популяції учасників в цей час? Я буду називати експерименти , які зосереджені на цій вузькій питання простих експериментів.

Прості експерименти можуть дати цінну інформацію, але вони не в змозі відповісти на багато питань, які є важливими і цікавими такі як: є деякі люди, для яких лікування мало більший або менший ефект?; є інше лікування, яке було б більш ефективним?; і як цей експеримент пов'язані з більш широкими соціальними теоріями?

Для того щоб показати значення виходить за рамки простих експериментів, давайте розглянемо один з моїх улюблених експериментів аналогових польових, дослідження П. Уеслі Шульца і його колег про взаємозв'язок між соціальними нормами і споживанням енергії (Schultz et al. 2007) і (Schultz et al. 2007) , (Schultz et al. 2007) . Шульц і його колеги повісили doorhangers на 300 сімей у Сан-Маркос, штат Каліфорнія, і ці doorhangers доставлені різні повідомлення, призначені для стимулювання енергозбереження. Потім Шульц і його колеги зміряли вплив цих повідомлень на споживання електроенергії, як після одного тижня і три тижні; Малюнок 4.3 см для більш докладного опису експерименту.

Малюнок 4.3: Схема конструкції від Schultz et al. (2007) і Schultz et al. (2007) . Експеримент на місцях, які беруть участь відвідування близько 300 сімей у Сан-Маркос, Каліфорнія п'ять разів протягом восьми тижнів. На кожному відвідуванні дослідники вручну взяли свідчення від вимірювача потужності в будинку. На двох з візитів дослідники поміщають doorhangers додому, забезпечуючи деяку інформацію про їх використання енергії. Питання дослідження був як зміст цих повідомлень буде впливати на споживання енергії.

Експеримент мав дві умови. У першому стані, домогосподарства отримували поради щодо економії енергії взагалі (наприклад, використовувати вентилятори замість кондиціонерів) і інформація про використання енергії їх домашнього господарства, в порівнянні з середніми показниками використання енергії в їхньому районі. Шульц і його колеги назвали це описовий нормативну умова , тому що інформація про використання енергії в їхньому районі представили інформацію про типову поведінку (тобто описова норма). Коли Шульц і його колеги дивилися на результаті використання енергії в цій групі, лікування виявилося не мати ніякого ефекту, або в короткостроковій або довгостроковій перспективі; Іншими словами, лікування, схоже, не «робота» (Малюнок 4.4).

Але, до щастя, Schultz et al. (2007) і Schultz et al. (2007) не погоджуйтеся на цьому простенькому аналізу. До початку експерименту вони вважали , що важкі споживачі електрики людей вище середнього значення, може зменшити їх споживання, і світло , споживачі електрики людей нижче середнього значення, може фактично збільшити їх споживання. Коли вони дивилися на дані, що це саме те, що вони знайшли (рисунок 4.4). Таким чином, що було схоже на лікування, яке було мають ніякого ефекту не було насправді лікування, яке було два компенсуючих ефектів. Дослідники назвали цей контрпродуктивним збільшення серед легких користувачів зворотний ефект.

Малюнок 4.4: Результати Schultz et al. (2007) і Schultz et al. (2007) . Перша панель показує, що описова лікування норма має оціночну нульовий середній ефект лікування. Проте, друга панель показує, що цей середній ефект лікування насправді складається з двох компенсуючих ефектів. Для важких користувачів, лікування зменшилось використання, але для легких користувачів, лікування збільшилось використання. І, нарешті, третя група показує, що друга обробка, яка використовувала описові і Обеспечительная норми, мали приблизно той же ефект на важких користувачів, але пом'якшити ефект бумеранга на легких користувачів.

Крім того, Шульц і його колеги чекали цю можливість, а в другому умови, що вони розгорнуті дещо інший обробки, один явно призначений для усунення ефекту бумеранга. Домогосподарства в другому стані отримали точно такі ж лікування, яке дає загальні поради щодо економії енергії та інформації про використання енергії їх домашнього господарства в порівнянні з їх сусідство, з однієї маленької доповнення: для людей з нижче середнього рівня споживання, дослідники додали :) і люди з вищим за середній споживання вони додали :(. Ці смайликів були розроблені , щоб викликати то , що дослідники називають Обеспечительная норми. Обеспечительная норми відносяться до сприйняття того , що зазвичай затверджений (і відхилені) , тоді як описові норми відносяться до сприйняття того , що зазвичай робиться (Reno, Cialdini, and Kallgren 1993) .

Додавши цей один крихітний смайлик, дослідники різко знизили ефект бумеранга (Малюнок 4.4). Таким чином, роблячи це одне просте зміна-зміна , яке було мотивовано абстрактним соціально - психологічної теорії (Cialdini, Kallgren, and Reno 1991) -The дослідники змогли перетворити програму з одного , що не схоже на роботу в той , який працював, і, одночасно, вони були в стані внести свій вклад в загальне розуміння того, як соціальні норми впливають на поведінку людини.

На даний момент, однак, ви можете помітити, що щось трохи по-іншому про цей експеримент. Зокрема, експеримент Шульца і його колег дійсно не має контрольну групу таким же чином, що рандомізовані контрольовані експерименти роблять. Порівняння цієї конструкції і конструкції Restivo і ван де Rijt ілюструє відмінності між двома основними конструкціями, що використовуються дослідниками. У перервах між-суб'єктів конструкцій, таких як Restivo і ван де Rijt, є лікування групи і контрольної групи, а також в межах-суб'єктів проектує поведінку учасників порівнюють до і після лікування (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . У межах об'єкта зйомки експерименту це як якби кожен учасник виступає в якості її власної контрольною групою. Сила між-суб'єктів конструкції є те, що він забезпечує захист від втручаються (як я описав раніше), і сила всередині-суб'єктів експериментів підвищується точність в оцінках. Коли кожен учасник виступає в якості їх власним контролем, між-учасника варіації усувається (див Технічний додаток). Віщують ап, прийде пізніше , коли я пропоную поради про розробку цифрових експериментів, є остаточний дизайн, званий змішаний дизайн, який поєднує в собі поліпшену точність в межах-суб'єктів конструкції і захист від змішання між суб'єктами-конструкцій.

Малюнок 4.5: Три експериментальні конструкції. Стандартний рандомізовані контрольовані експерименти використовують між-суб'єктів конструкції. Приклад конструкції , між-суб'єктами є Restivo і ван де Rijt в (2012) експеримент по barnstars і внесок у Вікіпедії: Дослідники випадковим чином розділили учасників на лікування та контрольної груп, дали учасникам в групі лікування з barnstar, і порівняли результати для двох групи. Другий тип конструкції є дизайн всередині-суб'єктів. Обидва експерименту в Шульца і колеги (2007) дослідження по соціальним нормам і використання енергії ілюструють конструкцію внутрішньо-суб'єктів: дослідники порівняли споживання електроенергії учасників до і після отримання лікування. По-суб'єктів конструкції забезпечують підвищену статистичну точність за рахунок усунення між предметної дисперсією (див Технічний додаток), але вони відкриті для можливих втручаються (наприклад, зміни в погоді між попередньої обробки і лікування період) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . По-суб'єктів конструкції також іноді називають повторними вимірами конструкцій. І, нарешті, змішані конструкції поєднують в собі поліпшену точність в межах-суб'єктів конструкції і захист від змішання між суб'єктами-конструкцій. У змішаній конструкції, дослідник порівнює зміни в кінцевих результатах для людей в лікуванні і контрольних групах. Коли дослідники вже мають інформацію для попередньої обробки, як це відбувається в багатьох цифрових експериментів, змішані конструкції переважніше між суб'єктами-конструкцій через досягнення в точності (див Технічний додаток).

В цілому, дизайн і результати Schultz et al. (2007) і Schultz et al. (2007) показують значення виходить за рамки простих експериментів. На щастя, вам не потрібно бути генієм, щоб створити експерименти, як це. Соціальні вчені розробили три концепції, які будуть направляти вас до багатшим і творчих експериментів: 1) термін дії, 2) гетерогенність ефектів лікування, і 3) механізми. Тобто, якщо ви тримаєте ці три ідеї на увазі, в той час як ви розробляєте свій експеримент, ви, природно, створювати більш цікаві і корисні експерименти. Для того щоб проілюструвати ці три поняття в дії, я опишу ряд наступних експериментів частково цифрових полів, побудованих на елегантний дизайн і цікаві результати в Schultz et al. (2007) і Schultz et al. (2007) . Як ви побачите, за рахунок більш ретельного планування, реалізації, аналізу та інтерпретації, ви теж можете вийти за рамки простих експериментів.