4.4 Преминаване отвъд простите експерименти

Нека да преминем отвъд обикновените експерименти. Три концепции са полезни за богатите експерименти: валидност, хетерогенност на ефектите от лечението и механизми.

Изследователите, които са нови за експерименти, често се съсредоточават върху един много специфичен, тесен въпрос: Дали това лечение "работи"? Например, телефонният разговор от доброволец насърчава някой да гласува? Променя ли бутонът за уеб сайт от синьо на зелено, за да увеличи процентът на кликване? За съжаление, свободните формулировки за това, което "работи", затъмняват факта, че тясно фокусираните експерименти не ви казват наистина дали дадено лечение "работи" в общ смисъл. По-скоро тясно фокусираните експерименти отговарят на много по-конкретен въпрос: Какъв е средният ефект от това специфично третиране с това конкретно изпълнение за тази популация от участници по това време? Ще се обадя на експерименти, които се съсредоточават върху този тесен въпрос - обикновени експерименти .

Простите експерименти могат да предоставят ценна информация, но те не отговарят на много важни и интересни въпроси, като например дали има хора, за които лечението е имало по-голям или по-малък ефект; дали има друго лечение, което би било по-ефективно; и дали този експеримент се отнася до по-широки социални теории.

За да покажем стойността на преминаването отвъд обикновените експерименти, нека разгледаме аналоговия експеримент от P. Wesley Schultz и колегите относно връзката между социалните норми и консумацията на енергия (Schultz et al. 2007) . Шулц и колегите си задържаха вратари на 300 домакинства в Сан Маркос, Калифорния, и тези вратари предоставиха различни послания, предназначени да насърчат запазването на енергията. Тогава Шулц и колегите измерват ефекта от тези послания върху потреблението на електроенергия, както след една седмица, така и след три седмици; вижте фигура 4.3 за по-подробно описание на експерименталния дизайн.

Фигура 4.3: Схема на експерименталния дизайн от Schultz et al. (2007) . Теренният експеримент включва посещение на около 300 домакинства в Сан Маркос, Калифорния пет пъти за период от осем седмици. При всяко посещение изследователите ръчно извадиха от електромера на къщата. На две от посещенията те поставиха вратари на всяка къща, предоставяйки информация за енергийното потребление на домакинството. Въпросът за изследването беше как съдържанието на тези послания би повлияло на използването на енергия.

Експериментът има две условия. На първо място, домакинствата получават общи съвети за пестене на енергия (например, използвайте вентилатори вместо климатици) и информация за тяхното използване на енергия в сравнение със средното потребление на енергия в квартала. Шулц и колегите нарекоха това описателно нормативно условие, защото информацията за енергийната употреба в квартала предостави информация за типично поведение (т.е. дескриптивна норма). Когато Schultz и колегите разглеждат произтичащата от това потребление на енергия в тази група, лечението изглежда няма ефект нито в краткосрочен, нито в дългосрочен план; с други думи, лечението изглежда не "работи" (фигура 4.4).

За щастие, Шулц и колегите не се съгласиха с този опростен анализ. Преди началото на експеримента те разсъждаваха, че тежките потребители на електроенергия - хора над средното - биха могли да намалят потреблението си и че леките потребители на електроенергия - хората под средната стойност - всъщност биха могли да увеличат потреблението си. Когато погледнаха данните, точно това откриха (фигура 4.4). По този начин, това, което приличаше на лечение, което нямаше ефект, всъщност беше лечение, което имаше два компенсиращи ефекта. Това контрапродуктивно увеличение сред светлите потребители е пример за ефекта на бумеранга , при който лечението може да има противоположен ефект от това, което е предназначено.

Фигура 4.4: Резултати от Schultz et al. (2007) . Панел (а) показва, че описателното нормално третиране има прогнозен нулев среден ефект на лечение. Панелът (б) обаче показва, че този среден ефект на лечение действително се състои от два компенсиращи ефекта. За тежки потребители лечението е намалило употребата, но за леките потребители, лечението е увеличило употребата. Накрая, панел (c) показва, че второто лечение, което използва описателни и подзаконови норми, има почти същия ефект върху тежките потребители, но смекчава ефекта на бумеранга върху леките потребители. Адаптирано от Schultz et al. (2007) .

Едновременно с първото заболяване, Schultz и колегите също изпълняват второ условие. Домакините във второто състояние получават същите съвети - общи съвети за енергоспестяване и информация за потреблението на енергия в домакинството в сравнение със средната стойност за квартала - с едно малко допълнение: за хората с по-нисък разход на енергия изследователите добавиха: ), а за хората с по-голямо потребление те добавиха :( Тези емотикони бяха предназначени да задействат това, което изследователите нарекоха injunctive норми.Injungective норми се отнасят до възприятията на това, което е общо одобрено (и неодобрение), докато описателните норми се отнасят до възприятията на това, което обикновено се прави (Reno, Cialdini, and Kallgren 1993) .

С добавянето на този малък емотикон изследователите драматично намалиха ефекта на бумеранга (фигура 4.4). По този начин, като направи тази проста промяна - промяна, която беше мотивирана от абстрактна социална психологическа теория (Cialdini, Kallgren, and Reno 1991) - изследователите успяха да превърнат програма, която изглежда не работи в една, която работи, и същевременно те са способни да допринесат за общото разбиране за това как социалните норми влияят на човешкото поведение.

В този момент обаче може да забележите, че нещо е малко по-различно от този експеримент. По-специално, експериментът на Schultz и колегите всъщност няма контролна група по същия начин, както правят рандомизираните контролирани експерименти. Сравнението между този дизайн и този на Restivo и van de Rijt илюстрира разликите между два основни експериментални дизайна. В дизайни между предметите , като тези на Restivo и van de Rijt, има група за лечение и контролна група. При проектирането на отделните лица , от друга страна, поведението на участниците се сравнява преди и след лечението (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . В експеримент в рамките на темата, всеки участник действа като собствена контролна група. Якостта на проектите между отделните лица е, че те осигуряват защита срещу обърквания (както описах по-рано), докато силата на вътрешните експерименти е повишена прецизност на оценките. И накрая, за да предложим идея, която ще дойде по-късно, когато предлагам съвети за проектиране на дигитални експерименти, смесеният design_combines подобрява прецизността на дизайна на отделните обекти и предпазва от объркване на дизайна между отделните обекти (фигура 4.5).

Фигура 4.5: Три експериментални конструкции. Стандартните рандомизирани контролирани експерименти използват дизайни между отделните лица . Пример за дизайн между отделните теми е Restivo и експериментът на van de Rijt (2012) за "barnstars" и приноса към Уикипедия: изследователите случайно разделят участниците в групи за лечение и контрол, дават на участниците в лечебната група "barnstar" и сравняват резултатите за две групи. Вторият вид дизайн е вътрешно- дизайн. Двата експеримента в изследването на Schultz and colleagues (2007) относно социалните норми и употребата на енергия илюстрират дизайна в рамките на темите: изследователите сравняват употребата на електроенергия от участниците преди и след получаването на лечението. Дизайнът на отделните обекти предлага подобрена статистическа точност, но те са отворени за възможни обърквания (напр. Промени в метеорологичните условия между периодите преди лечението и лечението) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Дизайнът в рамките на даден обект се нарича понякога и дизайн на многократни мерки. Накрая, смесените дизайни съчетават подобрената точност на дизайна на отделните обекти и защитата от объркване на дизайна между отделните лица. При смесен дизайн изследователят сравнява промяната в резултатите за хората в лечебните и контролните групи. Когато изследователите вече разполагат с информация преди лечението, какъвто е случаят при много дигитални експерименти, смесените дизайни обикновено са за предпочитане пред проектите между отделните обекти, защото те водят до подобрена точност на оценките.

Като цяло, дизайнът и резултатите от проучването на Schultz и колеги (2007) показват стойността на преминаването отвъд обикновените експерименти. За щастие, не е нужно да сте креативен гений, за да проектирате такива експерименти. Социалните учени разработиха три концепции, които ще ви насочат към по-богати експерименти: (1) валидност, (2) хетерогенност на ефектите от лечението и (3) механизми. Това означава, че ако имате предвид тези три идеи, докато проектирате експеримента си, естествено ще създадете по-интересен и полезен експеримент. За да илюстрирам тези три понятия в действие, ще опиша редица последващи частични дигитални експерименти, основаващи се на елегантния дизайн и вълнуващите резултати на Schultz и колеги (2007) . Както ще видите, чрез по-внимателен дизайн, внедряване, анализ и интерпретация, вие също можете да преминете отвъд обикновените експерименти.