4.4 Мовинг ван једноставних експеримената

Идемо даље од једноставних експеримената. Три концепта су корисне за богате експерименте: валидност, хетерогеност ефеката третмана и механизми.

Истраживачи који су нови у експериментима често се фокусирају на врло специфично, уско питање: Да ли овај третман функционише? На пример, да ли телефонски позив добровољца подстиче некога да гласује? Да ли промена дугмета са веб локације од плаве до зелене повећава стопу проласка кликова? Нажалост, лабаве фразе о томе шта "ради" замагљује чињеницу да уско фокусирани експерименти заиста не говоре да ли третман "ради" у општем смислу. Уместо тога, уско фокусирани експерименти одговарају на много специфичније питање: Какав је просечан ефекат овог специфичног третмана са овом специфичном примјеном за ову популацију учесника у овом тренутку? Зваћу експерименте који се фокусирају на ово уско питање једноставним експериментима .

Једноставни експерименти могу пружити вриједне информације, али не успевају да одговоре на многа питања која су важна и занимљива, као што су, да ли постоје неки људи за које је третман имао већи или мањи ефекат; да ли постоји још један третман који би био ефикаснији; и да ли се овај експеримент односи на шире друштвене теорије.

Да би се показала вредност кретања изван једноставних експеримената, размотримо аналогни теренски експеримент од П. Веслеи Сцхултз-а и колега о односу између друштвених норми и потрошње енергије (Schultz et al. 2007) . Сцхултз и колеге су окачили врата на 300 домаћинстава у Сан Марцосу, Калифорнија, а ти ови врата су доставили различите поруке дизајниране да подстичу конзервацију енергије. Затим су Сцхултз и колеге мерили ефекат ових порука на потрошњу електричне енергије, како након једне недеље, тако и након три недеље; видети слику 4.3 за детаљнији опис експерименталног дизајна.

Слика 4.3: Схема експерименталног дизајна од Schultz et al. (2007) . Теренски експеримент укључује посету око 300 домаћинстава у Сан Марцосу, Калифорнија пет пута током осмогодишњег периода. На свакој посјети, истраживачи ручно су читали из мерача снаге куће. У двије посете, поставили су врата у сваку кућу, пружајући неке информације о потрошњи енергије у домаћинству. Истраживачко питање је било како би садржај ових порука утицало на коришћење енергије.

Експеримент је имао два услова. У првом, домаћинства су примила савјете за уштеду енергије (нпр. Користити фанове уместо клима уређаја) и информације о њиховој употреби енергије у поређењу са просјечном потрошњом енергије у свом сусједству. Сцхултз и колеге су ово назвали описно нормативно стање, јер су информације о коришћењу енергије у суседству пружале информације о типичном понашању (тј. Дескриптивној норми). Када су Сцхултз и колеге погледали резултирајућу потрошњу енергије у овој групи, чини се да третман нема ефекта, било краткорочно или дугорочно; другим ријечима, изгледа да третман није "радио" (слика 4.4).

Срећом, Сцхултз и колеге нису се суочили са овом једноставном анализом. Пре почетка експеримента, они су сматрали да ће тешки корисници електричне енергије изнад средине можда смањити потрошњу и да ће корисници електричне енергије испод средине можда повећати потрошњу. Када су погледали податке, то је управо оно што су нашли (слика 4.4). Дакле, оно што је изгледало као третман који није имао ефекта био је заправо третман који је имао два ефекта померања. Ово контрапродуктивно повећање међу корисницима светлости је пример ефекта боомеранга , где третман може имати супротан ефекат од онога што је било намеравано.

Слика 4.4: Резултати Schultz et al. (2007) . Панел (а) показује да третман дескриптивне норме има процијењени ефекат нултог просјека. Међутим, панел (б) показује да је овај просечни ефекат третмана заправо састављен од два ефекта офсетирања. За тешке кориснике, третман је смањио употребу, али за лаке кориснике, третман је повећао употребу. Коначно, панел (ц) показује да је други третман, који је користио описне и одредбене норме, имао приближно исти ефекат на тешке кориснике, али је ублажио ефекат бумеранга на лахке кориснике. Адаптирано од Schultz et al. (2007) .

Истовремено са првим условима, Сцхултз и колеге су такође имали други услов. Домаћини у другом стању добивали су исте савете о уштеду енергије и информације о потрошњи енергије у домаћинствима у поређењу са просјеком у свом сусједству - са једним ситним додатком: за људе са испод просјечне потрошње, истраживачи су додали: ) и за особе са горе просечне потрошње додали су :(. Ови емотицонс су пројектовани за активирање које су истраживачи називају ослобађајуће норме. ослобађајуће норме односе на перцепције што се обично одобрава (и одобрени), док описне норме односе на перцепције оно што се обично ради (Reno, Cialdini, and Kallgren 1993) .

Додавањем овог малог емотикона, истраживачи су драматично смањили ефекат бумеранга (слика 4.4). Стога, постизањем једне једноставне промене - промене која је мотивисана апстрактном социјалном психолошком теоријом (Cialdini, Kallgren, and Reno 1991) - истраживачи су могли да претворе програм који изгледа није функциониран у оном који је радио, и истовремено, они су могли да допринесу општем разумевању како друштвене норме утичу на људско понашање.

Међутим, у овом тренутку можете приметити да се нешто мало разликује од овог експеримента. Посебно, експеримент Сцхултз-а и колега нема стварно контролну групу на исти начин на који раде рандомизирани контролисани експерименти. Поређење између овог дизајна и модела Рестиво и ван де Ријт илуструје разлике између два главна експериментална дизајна. У дизајну између предмета , као што су Рестиво и ван де Ријт, постоји група за третман и контролна група. Са дизајном унутар предмета , с друге стране, понашање учесника се упоређује пре и после третмана (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . У експерименту унутар субјекта, као да сваки учесник делује као сопствена контролна група. Снага дизајна између предмета је да пружају заштиту од конфоундера (као што сам раније описао), док је јачина експеримената унутар предмета повећана прецизност процена. На крају, да би се представила идеја која ће се појавити касније када понудим савете о дизајнирању дигиталних експеримената, _мишани дизајн комбинује побољшану прецизност дизајна унутар предмета и заштиту од конфузије дизајна између предмета (слика 4.5).

Слика 4.5: Три експериментална дизајна. Стандардно рандомизовани контролисани експерименти користе дизајн између предмета . Пример дизајна између предмета је Рестиво и ван де Ријт (2012) експеримент на барнстарсу и допринос на Википедиа: истраживачи су насумично поделили учеснике у лечење и контролне групе, дали учесницима у групи за лечење барнстар и упоређивали резултате за две групе. Друга врста дизајна је дизајн унутар предмета . Два експеримента у студији Сцхултз и колега (2007) о социјалним нормама и коришћењу енергије илуструју дизајн унутар предмета: истраживачи су упоређивали кориштење електричне енергије учесника прије и након примјене лечења. Дизајн унутар предмета нуде побољшану статистичку прецизност, али су отворени за могуће конфоундере (нпр. Промене временских услова између предтретмана и периода лечења) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Дизајн унутар предмета се понекад назива и дизајнираним поновљеним мерама. Коначно, мешани дизајн комбинује побољшану прецизност дизајна унутар предмета и заштиту од конфузије дизајна између предмета. У мешовитом дизајну, истраживач упоређује промену исхода за људе у лечењу и контролним групама. Када истраживачи већ имају информације о претходном третману, као што је то случај у многим дигиталним експериментима, мешани дизајни су углавном пожељнији за дизајн између предмета, јер они резултирају побољшаном прецизношћу процена.

Све у свему, дизајн и резултати студије Сцхултза и колега (2007) показују вредност померања изван једноставних експеримената. Срећом, не морате бити креативни геније за дизајнирање оваквих експеримената. Социјални научници су развили три концепата који ће вас водити ка богатијим експериментима: (1) валидност, (2) хетерогеност ефеката третмана, и (3) механизми. То јест, ако држите ове три идеје на уму док дизајнирате свој експеримент, природно ћете створити занимљивији и кориснији експеримент. Да бисмо илустровали ове три концепте у акцији, описаћу низ праћених делимично дигиталних теренских експеримената који су засновани на елегантном дизајну и узбудљивим резултатима Сцхултза и колега (2007) . Као што ћете видети, кроз пажљивији дизајн, имплементацију, анализу и тумачење, ви такође можете да пређете преко једноставних експеримената.