4.4 Преминаване отвъд простите експерименти

Нека да се премине отвъд простите експерименти. Три понятия са полезни за богати експерименти: валидност, хетерогенност на ефекти от лечението, както и механизъм.

Изследователите, които са нови за експерименти често се фокусира върху един много специфичен, тесен въпрос: дали това лечение "работа"? Например, има ли обаждане от един доброволец насърчи някой да гласува? Има ли промяна на един бутон уебсайт от синьо до зелено увеличение честота на кликване? За съжаление, в насипно начин на изразяване за това, което "работи" замъглява факта, че тясно фокусирани експерименти наистина не ви кажат дали даден лечение "работи" в най-общ смисъл. По-скоро, тясно фокусирани експерименти отговорят много по-конкретен въпрос: каква е средната Ефектът от това специфично лечение с тази конкретна реализация на тази популация от участниците в този момент? Ще се обадя на експерименти, които се фокусират върху този тесен въпрос прости експерименти.

Прости експерименти могат да предоставят ценна информация, но те не успяват да отговори на много въпроси, които са едновременно важна и интересна, като например: има някои хора, за които лечението е по-голям или по-малък ефект ?; има ли друго лечение, което би било по-ефективно ?; и как този експеримент са свързани с по-широки социални теории?

За да се покаже стойността на движещи се извън прости експерименти, нека разгледаме един от любимите ми аналогови полеви експерименти, проучване от П. Уесли Шулц и колеги относно връзката между социалните норми и консумацията на енергия (Schultz et al. 2007) . Шулц и колеги висяха doorhangers на 300 домакинства в Сан Маркос, Калифорния, и тези doorhangers доставени различни послания, насочени към насърчаване пестенето на енергия. След това, Шулц и колеги измерват ефекта от тези съобщения на потреблението на електроенергия, както след една седмица и три седмици; виж фигура 4.3 за по-подробно описание на експеримента.

Фигура 4.3: Схема на дизайн от Schultz et al. (2007) . Експериментът поле включваха посещение на около 300 домакинства в Сан Маркос, Калифорния пет пъти за период от осем седмица. На всеки посетете изследователите ръчно поведоха с четене от електромера на къщата. На две от посещенията на изследователите поставят doorhangers на къщата предоставя някаква информация за тяхното използване на енергията. Въпросът Изследването е как съдържанието на тези съобщения ще се отрази на потреблението на енергия.

Експериментът има две условия. В първото условие, домакинства получиха съвети обща енергоспестяващи (например, работа с феновете, вместо климатици) и информация за използване на енергията им домакинство в сравнение със средната стойност на използването на енергия в техния квартал. Шулц и колеги наричат ​​този описателния нормативен състояние, тъй като информацията за използването на енергия в техния квартал, предоставена информация за типично поведение (т.е., описателно норма). Когато Шулц и колеги разглеждали получената използването на енергия в тази група, лечението се появи, за да има ефект, както в краткосрочен план или в дългосрочен план; с други думи, лечението не изглежда да "работи" (Фигура 4.4).

Но, за щастие, Schultz et al. (2007) не се разреши за този опростен анализ. Преди началото на експеримента те мотивира, че големи потребители на електроенергия хора над средното-могат да намалят потреблението си, и че светлината потребители на електроенергия хора под средната-може в действителност да увеличат потреблението си. Когато те погледна данните, това е точно това, което те открили (Фигура 4.4). По този начин, което приличаше на лечение, което беше като няма ефект всъщност е лечение, което имаше две компенсиращи ефекти. Учените наричат ​​това увеличение контра-продуктивно сред леките потребителите бумеранг ефект.

Фигура 4.4: Резултати от Schultz et al. (2007) . Първият панел показва, че описателен лечение норма се оценява на около нула среден ефект от лечението. Въпреки това, на втория панел показва, че тази средна терапевтичен ефект всъщност се състои от две компенсиращи ефекти. За големи потребители, лечение намалява употребата но за леки потребители, лечението повишена употреба. И накрая, третият панел показва, че второто третиране, които се използват описателни и по съдебен норми, имаше приблизително същия ефект върху големи потребители, но смекчено ефекта на бумеранга върху леки потребители.

Освен това, Шулц и колеги очакват тази възможност, и през второто условие те разположи малко по-различна обработка, една изрично предназначен за премахване на ефекта на бумеранга. Домакинствата в второто условие, получени с точно същите съвети за лечение-общо за пестене на енергия и информация относно използването на енергия тяхното домакинство в сравнение с техния квартал, с една малка добавка: за хора с по-нисък среден разход, учените добавили :) и за хора с над средното потребление те добавиха :(. Тези емотикони са проектирани да задействат какво учените наричат ​​по съдебен норми. налагане норми се отнасят за възприемане на това, което обикновено одобрен (и неодобрение), докато описателни норми се отнасят за възприемане на това, което обикновено се прави (Reno, Cialdini, and Kallgren 1993) .

С добавянето на тази една малка муцунка, учените драстично намалени ефекта на бумеранга (Фигура 4.4). По този начин, като прави това една проста промяна-промяна, която е мотивирана от абстрактен социално психологическата теория (Cialdini, Kallgren, and Reno 1991) -В изследователи са били в състояние да се превърне една програма от такъв, който не изглежда да работят в една, че работил, и, едновременно, те са в състояние да допринесе за общото разбиране за това как социалните норми влияят на човешкото поведение.

В този момент, обаче, може да забележите, че нещо е малко по-различно за този експеримент. По-специално, на експеримента на Шулц и колегите не наистина да има контролна група по същия начин, че рандомизирани контролирани експерименти направя. Сравнението между този проект и дизайна на Restivo и ван де Rijt илюстрира разликите между два големи проекти, използвани от изследователите. В между субектите дизайни, като Restivo и ван де Rijt, има една група на лечение и контролна група, а в рамките-предмети проектира поведението на участниците се сравнява преди и след лечението (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . В рамките-предмет експеримент е както, ако всеки участник действа като нейна контролна група. Силата на между-подлага дизайн е, че тя осигурява защита срещу грешките (както описах по-рано), и силата на експерименти в рамките-предмети е увеличена точност в прогнозите. Когато всеки участник действа като свой собствен контрол, между-участник вариация се елиминира (виж техническо допълнение). За да предвещават едно, че ще дойде по-късно, когато се предлагат съвети за проектиране на цифрови експерименти, е налице окончателен проект, наречен смесен дизайн, който съчетава най-добра точност на по-предмети дизайни и защитата срещу смущаващи на между-теми дизайни.

Фигура 4.5: Три експериментални проекти. Standard рандомизирани контролирани експерименти използват между субектите дизайни. Пример за проект между субектите е Restivo и ван де Rijt му (2012) експеримент върху barnstars и принос към Wikipedia: изследователи произволно разделени участниците в третирани и контролни групи, дадоха участниците в групата на лечение с barnstar, и сравняват резултатите за двете групи. Вторият тип дизайн е дизайн по-предмети. Двете експериментите в Schultz и колега (2007) проучване на социалните норми и използването на енергия илюстрират дизайн по-дисциплини: изследователите сравняват използването на електрическа енергия на участниците преди и след получаване на лечение. В рамките-теми дизайни предлагат подобрена статистическа точност чрез елиминиране между предмет вариацията (виж техническо допълнение), но те ​​са отворени за възможни допълнителни фактори (напр, промени във времето между предварително третиране и лечение период) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . В рамките-теми дизайни са също така понякога се нарича повтарящ мерки дизайни. Накрая, смесени конструкции съчетават подобрена точност на рамките-подлага дизайни и защитата срещу смущаващи на между-теми дизайни. В смесен дизайн, изследовател сравнява промяната в резултатите за хора в третирани и контролни групи. Когато изследователите вече имат информация предварителна обработка, какъвто е случаят в много цифрови експерименти, смесени проекти са за предпочитане пред между субектите дизайни, защото на печалби в точност (виж техническо допълнение).

Като цяло, дизайнът и резултатите от Schultz et al. (2007) показват, стойността на движещи се извън прости експерименти. За щастие, не е нужно да бъде гений, за да се създаде експерименти като този. Социалните учени са разработили три понятия, които ще ви водят към по-богати и по-творчески експерименти: 1) валидност, 2) хетерогенността на ефекти от лечението, и 3) механизми. Това означава, че ако се запазят тези три идеи в ума, докато проектирането на вашия експеримент, вие естествено ще създаде по-интересни и полезни експерименти. За да илюстрираме тези три понятия в действие, ще опише редица последващи частично цифрови полеви експерименти, които изградени на елегантен дизайн и вълнуващи резултати Schultz et al. (2007) . Както ще видите, чрез по-внимателно проектиране, изпълнение, анализ и интерпретация, вие също може да премине отвъд простите експерименти.