4.4 Posun za hranice jednoduchých experimentov

Poďme prejsť od jednoduchých experimentov. Tri koncepty sú užitočné pre bohaté experimentov: platnosťou, heterogenity účinkov liečby a mechanizmu.

Výskumní pracovníci, ktorí sú na experimentoch sa často zameriavajú na veľmi konkrétne, úzke otázku: robí túto liečbu "prácu"? Napríklad sa zavolať z dobrovoľník podporovať niekoho, kto by voliť? Má meniace sa tlačidlá webové stránky z modrej na zelenú zvýšenie miery prekliknutia? Bohužiaľ, voľné formulácie o tom, čo "funguje" zakrýva skutočnosť, že úzko zamerané experimenty nie je naozaj povedať, či liečba "funguje" vo všeobecnom zmysle. Skôr úzko zamerané pokusy zodpovedať oveľa konkrétnejší otázku: aká je priemerná efekt tohto osobitného zaobchádzania s týmto špecifickým zavedenie pre túto skupinu účastníkov v tejto dobe? Zavolám experimenty, ktoré sa zameriavajú na tento úzky otázka jednoduchých experimentov.

Jednoduché experimenty môžu poskytnúť cenné informácie, ale oni nedokážu odpovedať na množstvo otázok, ktoré sú dôležité a zaujímavé, ako sú: Existujú niektorí ľudia, pre ktorých je liečba mala väčší či menší vplyv?; Je tu ďalšia liečba, ktorá by bola účinnejšia?; a ako to experiment sa týkajú širších spoločenských teórií?

S cieľom ukázať hodnotu pohybujúce sa nad rámec jednoduchých experimentov, uvažujme jeden z mojich najobľúbenejších pokusov analógových poľa, štúdiu P. Wesley Schultz a jeho kolegovia o vzťahu medzi sociálnymi normami a spotreby energie (Schultz et al. 2007) . Schultz a jeho kolegovia visel doorhangers na 300 domácností v San Marcos, Kalifornia, a tieto doorhangers dodávané rôzne správy, ktorých cieľom je podporiť zachovanie energie. Potom, Schultz et al meria účinok týchto správ o spotrebe elektrickej energie, a to ako po jednom týždni a tri týždne; viď obrázok 4.3 pre podrobnejší opis experimentálneho prevedenia.

Obrázok 4.3: Schéma konštrukcie z Schultz et al. (2007) . Pole experiment zahŕňal návštevu asi 300 domácností v San Marcos, Kalifornia päťkrát na obdobie ôsmich týždňov. Na každej návšteve vedci ručne trvalo čítanie z wattmetra domu. Na dvoch z týchto návštev výskumníci umiestnená doorhangers na dom poskytovať nejaké informácie o ich spotrebe energie. Výskum Otázkou bolo, ako je obsah týchto správ by ovplyvniť spotrebu energie.

Tento experiment mal dve podmienky. V prvom stave, domácnosti dostal tipy na úsporu energií všeobecne (napr obsluhovať fanúšikovia miesto klimatizačných jednotiek) a informácie o spotrebe energie ich domácnosti v porovnaní s priemerom využitia energie v ich susedstve. Schultz a jeho kolegovia nazývajú tento opisný normatívne podmienku, pretože informácie o využívaní energie v ich susedstve poskytla informácie o typického správania (tj popisné normy). Keď Schultz a jeho kolegovia sa pozrel na výslednej spotrebe energie v tejto skupine sa zdalo, že liečba nemá žiadny vplyv, a to buď v krátkodobom horizonte alebo dlhodobom horizonte; inými slovami, liečba nezdalo sa, že "práca" (obrázok 4.4).

Ale, našťastie, Schultz et al. (2007) nemal uspokojiť s touto zjednodušujúce analýzu. Pred tým, ako začal experiment by vyvodzoval, že vo veľkej miere využívajú elektrinu ľudí nad priemerom, by mohla znížiť spotrebu, a že svetlo užívatelia elektrinu ľudí pod priemerom, v skutočnosti môže zvýšiť ich spotrebu. Keď sa pozrel na dáta, to je presne to, čo našli (obrázok 4.4). To, čo vyzeralo ako ošetrenie, ktoré sa má žiadny účinok bol vlastne liečba, ktorá mala dve súvzťažné efekty. Vedci nazývajú tento kontraproduktívne nárast medzi ľahké užívateľa bumerang efekt.

Obrázok 4.4: Výsledky Schultz et al. (2007) . Prvý panel ukazuje, že popisná liečba norma má odhadovanú priemernú nulový účinok liečby. Avšak, druhý panel ukazuje, že tento priemerný liečebný účinok je v skutočnosti skladá z dvoch vzájomnej kompenzácie účinkov. Pre náročných užívateľov, liečba znížila spotrebu, ale pre ľahké užívateľa, liečba zvýšené využitie. Konečne tretí panel ukazuje, že druhá liečba, ktorá používa popisné a zdržanie normy, mala zhruba rovnaký účinok na náročných užívateľov, ale zmiernilo bumerang efekt na svetelnej užívateľov.

Ďalej, Schultz a jeho kolegovia očakávalo túto možnosť, a v druhom stave, v akom nasadené mierne odlišné zaobchádzanie, jeden výslovne navrhnutý tak, aby odstránila bumerang efekt. Domácnosti v druhom stave dostal presne rovnaké zaobchádzanie generálny energeticky úsporných tipy a informácie o spotrebe energie ich domácnosti je v porovnaní s ich susedstve, s jednou malou navyše: pre ľudí s podpriemernou spotrebou, výskumníci pridal :) a pre ľudia s nadpriemerným spotreby oni pridali :(. Tieto emotikony boli navrhnuté tak, aby vyvolať to, čo vedci nazývajú zdržanie normy. zdržanie sa normy vzťahujú k vnímaniu toho, čo je bežne schválený (a zamietnuté), zatiaľ čo popisná normy odkazovať na vnímanie toho, čo sa bežne vykonáva (Reno, Cialdini, and Kallgren 1993) .

Pridaním tejto jeden malý emotikon, výskumníci výrazne znížila bumerang efekt (obr 4.4). Tak, tým, že tento jednu jednoduchú zmenou zmenu, ktorá bola motivovaná abstraktným sociálne psychologické teórie (Cialdini, Kallgren, and Reno 1991) -The výskumníci boli schopní otočiť program z jedného ktoré sa nezdalo pracovať do jednej, ktorá pracoval, a súčasne boli schopní prispieť k všeobecnému pochopeniu toho, ako sociálne normy vplyv na ľudské správanie.

Na tomto mieste je však možno ste si všimli, že niečo je trochu iný o tomto experimente. Najmä experiment Schultz a jeho kolegovia nie je naozaj mať kontrolnú skupinu rovnakým spôsobom, že randomizovanej kontrolovanej experimenty robiť. Porovnanie tejto konštrukcie a dizajnu Restivo a van de Rijt ilustruje rozdiely medzi dvoma hlavnými vzormi používané výskumníkmi. V medzi-subjektmi vzory, ako je napríklad Restivo a van de Rijt, existuje skupina ošetrenie a kontrolnej skupiny, a v rámci jedného predmetov vzorov správania účastníkov je v porovnaní pred a po liečbe (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . V rámci jedného predmetu experimentu je to, ako keby každý účastník sa chová ako jej vlastné kontrolnou skupinou. Sila medzi predmetmi-vzory je to, že poskytuje ochranu proti confounders (I, ako je popísané vyššie), a sila pokusov v rámci-jedincov sa zvyšuje presnosť pri odhade. Keď každý účastník sa chová ako ich vlastné ovládanie, medzi účastníkom-variant je eliminovaný (pozri technickú prílohu). Načrtnúť, že príde neskôr, keď som sa poradia o navrhovaní digitálnych experimentov, tam je konečný návrh, nazvaný zmiešanej konštrukcie, ktorá kombinuje vylepšenú presnosť v rámci predmetov, návrhy a ochranu proti mätúcich v rozmedzí-subjekty vzorov.

Obrázok 4.5: Tri experimentálne designy. Štandardné randomizovanej kontrolovanej experimenty iba medzi-predmetmi vzormi. Príklad prevedenia medzi-jedincov je Restivo a van de Rijt je (2012) pokus o barnstars a príspevkov na Wikipédii: výskumníci náhodne rozdelení účastníkov do testovaných skupín, dal účastníkom v skupine ošetrenie barnstar a porovnanie výsledkov pre dvoch skupiny. Druhý typ konštrukcie je konštrukcia v-predmetov. Oba experimenty v Schultz a kolegami (2007) štúdie o sociálnych noriem a využívanie energie ilustrujú vnútri-predmetov dizajnu: Vedci porovnali využitie elektriny účastníkov pred a po podstupovať liečbu. Vnútri-jedincov koncepcia majú zlepšenú štatistickú presnosť elimináciou medzi predmetom rozptylu (pozri technickú prílohu), ale sú otvorené možným confounders (napr zmeny v počasí medzi pre-ošetrenie pleti i obdobie) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Vnútri-jedincov návrhy sú tiež niekedy nazývaný opakované merania vzory. A konečne, zmiešané vzory kombinovať zlepšenú presnosť rámci jedného vystavuje návrhy a ochranu proti mätúcich v rozmedzí-subjekty vzorov. V kombinovanom prevedení, výskumník porovnáva zmenu výsledky u ľudí v experimentálnych a kontrolných skupín. Keď vedci už majú informácie predčistenia, ako je tomu v mnohých digitálnych experimentov, zmiešané vzory sú vhodnejšie medzi-subjektmi návrhov, pretože zisky v presnosti (pozri technickú prílohu).

Celkovo je dizajn a výsledky Schultz et al. (2007) sa uvádza hodnota pohybuje nad jednoduchých experimentov. Našťastie nemusíte byť génius, aby vytvoriť experimenty ako je táto. Sociálna vedci vyvinuli tri koncepty, ktoré vás dovedie k bohatšie a tvorivých experimentov: 1) Platnosť, 2) heterogenita účinkov liečby a 3) mechanizmov. To znamená, že ak budete mať tieto tri myšlienky na mysli, keď ste navrhovaní experimentu, budete samozrejme vytvoriť viac zaujímavých a užitočných experimenty. Pre ilustráciu tieto tri pojmy v akcii, budem popisovať radu nadväzujúcich čiastočne digitálnych poľných pokusov, ktoré postavené na elegantným dizajnom a zaujímavých výsledkov v Schultz et al. (2007) . Ako uvidíte, prostredníctvom viac starostlivým návrhom, implementáciu, analýzu a interpretáciu, aj vy môžete prejsť od jednoduchých experimentov.