4.4 Мовинг ван једноставних експеримената

Идемо даље једноставних експеримената. Три концепти су корисни за богате експеримената: важења, хетерогеност ефеката лечења, и механизам.

Истраживачи који су нови у експериментима често фокусирају на веома специфичан, уског питања: да ли овакав третман "рад"? На пример, да ли телефонски позив од волонтера подстакне некога да гласа? Да ли промена на дугме веб од плаве до зелене клик-кроз стопа раста? На жалост, лабава формулација о томе шта "ради" замагљује чињеницу да је уско фокусиране експерименти не да вам кажем да ли је третман "ради" у општем смислу. Уместо тога, уско фокусирана експерименти одговорити на много прецизнији питање: шта је просечна ефекат овог специфичног третмана са овом специфичном имплементација за ову популацију учесника у том тренутку? Зваћу експерименте који се фокусирају на овог уског питања једноставних експеримената.

Симпле експерименти могу пружити драгоцене информације, али не успевају да одговоре на многа питања која су и важно и занимљиво, као што су: да ли постоје неки људи за које је третман имао већи или мањи ефекат ?; постоји ли неки други третман да би био ефикаснији ?; а како се овај експеримент односи на шире друштвене теорије?

Да би се приказала вредност креће изнад једноставних експеримената, размотримо један од мојих омиљених аналогних пољским огледима, студија П. Веслеи Сцхултз и колегама на однос између друштвених норми и потрошње енергије (Schultz et al. 2007) . Сцхултз и колеге висио доорхангерс на 300 домаћинстава у Сан Марцос, Цалифорниа, а ови доорхангерс испоручују различите поруке који ће подстицати очување енергије. Затим, Сцхултз и његове колеге мерили су ефекат ових порука на потрошњу електричне енергије, и након недељу дана и три недеље; види Слику 4.3 за детаљнији опис експерименталног дизајна.

Слика 4.3: Шема дизајна од Schultz et al. (2007) . Поље Експеримент се састојао у посети око 300 домаћинстава у Сан Марцос, Цалифорниа пет пута више од осам недеља. На свакој посети истраживачи ручно је читање из струјне мерила куће. На два посета истраживачи постављен доорхангерс на кућу која пружа неке информације о њиховом коришћењу енергије. Истраживање питање је како ће садржај тих порука утиче на потрошњу енергије.

Експеримент је имао два услова. У првом стању, домаћинства добила савете за уштеду енергије уопште (на пример, користе навијачи уместо клима уређаја) и информације о коришћењу енергије у домаћинствима у поређењу са просеком коришћења енергије у њиховом суседству. Сцхултз и колеге назвали описне нормативни услов, јер су информације о коришћењу енергије у њиховом суседству пружио информације о типичном понашању (тј, описни норми). Када Сцхултз и колеге погледао резултат потрошње енергије у овој групи, третман изгледа да немају ефекта, или у кратком року или на дуги рок; Другим речима, третман као да није "рад" (слика 4.4).

Али, срећом, Schultz et al. (2007) задовољили ове поједностављено анализу. Пре него што је експеримент почео да је сматрао да тешки корисници електричне енергије људима изнад просека-би могла да смање потрошњу, и та светлост корисници електричне енергије-људи испод просека-би заправо повећати њихову потрошњу. Када су погледали податке, то је управо оно што су нашли (слика 4.4). Тако, што је изгледало као третман који је имао никакав ефекат био заправо третман који је имао два неутрализираве ефекте. Истраживачи су звали ову контра-продуктивно повећање међу лаких корисника бумеранг ефекат.

Слика 4.4: Резултати Schultz et al. (2007) . Први панел показује да је описни третман норма има око нула просечну ефекат лечења. Међутим, други панел показује да ова просечна Ефекат третмана се заправо састоји од два компензују ефеката. За тешке кориснике, третман смањио потрошњу већ и за лаке корисницима, третман повећана употреба. Коначно, трећи панел показује да је други третман, који се користи описне и доношење привремене норме, имали приближно исти ефекат на тешким корисницима, али ублажило ефекат бумеранга лаких корисника.

Даље, Сцхултз и колеге предвидео ову могућност, а у другом стању су распоређени нешто другачији третман, један експлицитно дизајниран да елиминише ефекат бумеранга. Домаћинства у другом стању добили тачне исти третман генерални савете за уштеду енергије и информације о коришћењу енергије у домаћинствима у односу на њихово суседство-са један мали додатак: за особе са испод просечном потрошњом, истраживачи су додали :) и за људи са горе просечне потрошње су додали :(. Ови емотикони су дизајнирани да изазове оно што су истраживачи називају доношење привремене норме. доношење привремене норме се односе на перцепцију онога што се обично одобри (и одобрена), док описне норме се односе на перцепцију онога што се обично врши (Reno, Cialdini, and Kallgren 1993) .

Додавањем ту једну малу смајли, истраживачи су драматично смањен ефекат бумеранга (слика 4.4). Тако, тако што ће ову једну просту Цханге-промену која је мотивисана апстрактне друштвене психолошке теорије (Cialdini, Kallgren, and Reno 1991) -Тхе истраживачи су успели да претворе програм од оног који није изгледало да раде у онај који радио, и, истовремено, били су у стању да допринесу општем разумевању како социјалне норме утичу на људско понашање.

У овом тренутку, међутим, можда ћете приметити да је нешто мало другачије о овом експерименту. Конкретно, експеримент Шулц и колега заправо нема контролну групу на исти начин на који насумично контролисано експерименти до. Поређење између овог дизајна и дизајна Рестиво и ван де Ријт илуструје разлике између два главна дизајна користе истраживача. Између-субјеката дизајна, као што су Рестиво и ван де Ријт, постоји група третман и контролна група, а у оквиру-предмета пројектује понашање учесника је у односу пре и после третмана (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . У оквиру-предмет експеримента је као да сваки учесник делује као свог контролну групу. Снага између-подвргава дизајн је да пружа заштиту од цонфоундерс (као што сам раније описано), а снага унутар-предмета експеримената је повећана прецизност у проценама. Када сваки учесник делује као своју контролу, између-учесника варијација је елиминисана (види Технички Додатак). Да Наговијестити да ће доћи касније, када сам дају савете о пројектовању дигиталних експеримената, постоји главни пројекат, под називом мешовити дизајн, који комбинује побољшану прецизност у-субјеката дизајна и заштиту од мешовити од између-субјеката дизајна.

Слика 4.5: Три експерименталних дизајна. Стандард насумично контролисани експерименти користе између-субјецтс дизајна. Пример између-субјеката дизајн је Рестиво и ван де Ријт је (2012) на барнстарс и допринос Википедиа: истраживачи насумично подељени учесницима на третман и контролне групе, дао учесницима у групи третмана Барнстар, а у односу резултате за два групе. Друга врста дизајна је унутар-предмета дизајн. Ова два експеримента у Шулц и колега (2007) о друштвеним нормама и коришћења енергије илуструју унутар-субјеката дизајн: истраживачи су упоредили коришћење електричне енергије учесника пре и после примања третмана. У оквиру-субјеката дизајн нуде побољшану статистичку прецизност елиминацијом између субјекта варијансе (види Технички Додатак), али су отворени за евентуалне цонфоундерс (нпр, промене у времену између пред-третман и третман периода) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . У оквиру предмета-дизајн су такође понекад назива и поновљеним мерењима дизајна. На крају, мешовити дизајн комбинује побољшану прецизност у-подвргава дизајна и заштиту од мешовити од између-субјеката дизајна. У мешовитом дизајну, истраживач пореди промену резултата за људе у лечењу и контролне групе. Када су истраживачи већ имају информације пре лечења, као што је то случај у многим дигиталним експериментима, мешовити дизајни су боље у распону од-субјеката дизајна због добитака у прецизности (видети Технички Додатак).

Све у свему, дизајн и резултати Schultz et al. (2007) вредност креће изнад једноставних експеримената. Срећом, не треба бити геније да се створи експерименте као што је овај. Социолози су развили три концепта који ће вас водити ка богатијим и више креативних експеримената: 1) рок важења, 2) хетерогеност ефеката лечења, и 3 механизме). То је, ако се те три идеје у виду док сте дизајнирање експеримент, природно ћете створити више занимљивих и корисних експерименте. Да би илустровао ова три концепта у акцији, ја ћу описати низ пропратних делимично дигиталних пољским огледима да граде на елегантног дизајна и узбудљиве резултате у Schultz et al. (2007) . Као што ћете видети, кроз пажљивије дизајна, имплементације, анализу и интерпретацију, и ви можете ићи даље од једноставних експеримената.