4.4 Kretanje izvan jednostavnih eksperimenata
Krenimo dalje od jednostavnih eksperimenata. Tri koncepta su korisni za bogate eksperimenata: valjanost, heterogenosti učinaka liječenja i mehanizam.
Istraživači koji su novi u pokusima često usredotočuju na vrlo specifičan, uskom pitanje: Da li je taj postupak "posao"? Na primjer, da li jedan telefonski poziv iz dragovoljac potaknuti nekoga da glasa? Da li mijenjanje gumb website od plave do zelene Povećanje Kliknite postotkom? Nažalost, labav fraza o tome što "radi" zamagljuje činjenicu da je usko usmjereni eksperimenti stvarno ne reći da li je tretman "radi" u općem smislu. Umjesto toga, usko usmjerena eksperimenti odgovoriti na mnogo konkretnije pitanje: Što je prosječni učinak ovog specifičnog liječenja s ovim specifične primjene za ovu populaciju sudionika u ovom trenutku? Nazvat ću pokuse koji se fokusiraju na ovaj uski pitanje jednostavnih eksperimenata.
Jednostavni eksperimenti mogu pružiti vrijedne informacije, no oni ne uspijevaju odgovoriti na mnoga pitanja koja su i zanimljive i važne, kao što su: postoje neki ljudi kojima je tretman imala veći ili manji utjecaj ?; postoji još jedan tretman koji će biti učinkovitiji ?; i kako se ovaj eksperiment odnose na širim društvenim teorijama?
Kako bi se pokazala vrijednost kreće izvan jednostavnih pokusa, razmotrimo jedan od mojih omiljenih pokusa analogni terenu, studija P. Wesley Schultz i kolege na odnos između društvenih normi i potrošnje energije (Schultz et al. 2007) . Schultz i kolege visio doorhangers na 300 kućanstava u San Marcos u Kaliforniji, i ove doorhangers isporučuju različite poruke koje potiču štednju energije. Zatim, Schultz i kolege mjeriti učinak tih poruka o potrošnji električne energije, i nakon tjedan dana i tri tjedna; vidi Sliku 4.3 za detaljniji opis pokusa.
Slika 4.3: Shematski dizajnu iz Schultz et al. (2007) . Eksperiment polje uključeni posjeti oko 300 kućanstava u San Marcos, California pet puta više od osam tjedana razdoblju. Na svakoj posjeti istraživači ručno je čitanje iz kuće je mjerač snage. Na dva posjeta istraživači su smješteni doorhangers na kući pruža neke informacije o njihovoj uporabi energije. Istraživanje Pitanje je kako je sadržaj tih poruka će utjecati na potrošnju energije.
Eksperiment je imao dva uvjeta. U prvom stanju, kućanstva dobila opća uštede energije savjete (primjerice, korištenje navijači umjesto klima uređaja) i informacije o korištenju energije njihovog kućanstva u odnosu na prosjek potrošnje energije u njihovom susjedstvu. Schultz i kolege to zove opisni normativno stanje, jer su podaci o korištenju energije u njihovom susjedstvu daje informacije o tipičnom ponašanju (odnosno, opisni norma). Kad Schultz i kolege pogledao nastalog potrošnjom energije u ovoj skupini, tretman čini se da nemaju učinka, bilo kratkoročno ili dugoročno; drugim riječima, tretman čini se, nije "posao" (slika 4.4).
No, na sreću, Schultz et al. (2007) nisu podmiriti za ovaj pojednostavljenom analizu. Prije početka eksperimenta su zamišljeni da teški korisnici koriste električnu energiju, osobe iznad prosjeka-moglo smanjiti potrošnju, a to svjetlo korisnici električne energije-ljudi ispod prosjeka-zapravo može povećati njihovu potrošnju. Kad su pogledali podatke, to je upravo ono što su pronašli (slika 4.4). Dakle, ono što je izgledalo kao tretman koji nije imala utjecaja je zapravo tretman koji je imao dvije prijeboja efekata. Istraživači su ovo kontraproduktivno rast među svjetlosnim korisnika bumerang efekt.
Slika 4.4: Rezultati Schultz et al. (2007) . Prvi panel pokazuje da je opisno norma tretman ima oko nula prosječni učinak liječenja. Međutim, druga ploča pokazuje da ovaj opći učinak liječenja je zapravo sastoji od dva offsetting učinaka. Za teški korisnici, tretman smanjio potrošnju, ali za svjetlo korisnika, liječenje povećane uporabe. Konačno, treći panel pokazuje da je drugi tretman, koji koristi opisne i zabranu norme, imala otprilike jednak utjecaj na teški korisnici, ali i blaže bumerang efekt na svijetlim korisnicima.
Nadalje, Schultz i kolege predviđa tu mogućnost, te u drugom stanju su razmještene malo drugačiji tretman, jedan izričito osmišljen kako bi se uklonili bumerang efekt. Kućanstva u drugom stanju dobila isti tretman generalni štedne savjete i informacije o korištenju energije njihovog kućanstva u odnosu na njihovo susjedstvo-u jedan mali dodatak: za osobe s ispod prosječne potrošnje, znanstvenici su dodali :) i za ljudi s natprosječnom potrošnje dodali su :(. Ti su emotikoni su dizajnirani da se aktiviraju ono što istraživači zovu zabranu norme. zabranu norme odnose se na percepciju onoga što se obično odobren (i odbijena), dok su opisni norme odnose se na percepciju onoga što se obično radi (Reno, Cialdini, and Kallgren 1993) .
Dodajući ovu jednu malu emotikon, istraživači su dramatično smanjio bumerang efekt (slika 4.4). Na taj način, što ovu jednostavnu promjenu-promjenu koja je motiviran apstraktne društvene psihološke teorije (Cialdini, Kallgren, and Reno 1991) -U istraživači su uspjeli okrenuti program od one koja se nije činilo da rade u jednom da radio, a, istovremeno, oni su mogli doprinijeti općem razumijevanju kako se društvene norme utječu na ljudsko ponašanje.
U ovom trenutku, međutim, možda ćete primijetiti da je nešto malo drugačije o ovom eksperimentu. Konkretno, eksperiment Schultz i kolege zapravo ne imati kontrolnu skupinu na isti način na koji randomiziranih kontroliranih pokusa napraviti. Usporedba između ovog dizajna i dizajna Restivo i van de Rijtkroz ilustrira razlike između dviju velikih projekata koji se koriste od strane istraživača. U među-subjekata dizajna, kao što Restivo i van de Rijtkroz, postoji grupa tretmana i kontrolna skupina, te u roku-predmeta dizajna na ponašanje sudionika u usporedbi prije i nakon liječenja (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . U sklopu-subjekta eksperimenta je kao da je svaki sudionik djeluje kao vlastitu kontrolnoj skupini. Snaga izme subjekata dizajna je da pruža zaštitu od Ëimbenike (kao što sam opisao ranije), a snaga unutar-subjekata eksperimenata je povećana preciznost u procjeni. Kad je svaki sudionik djeluje kao vlastitu kontrolu, između-sudionika varijanta otkloniti (vidi tehničke dodatak). Da bi nagovijestiti koji će doći kasnije, kad sam ponuditi savjete o projektiranju digitalnih pokuse, tu je i glavni projekt, nazvan mješoviti dizajn, koji kombinira poboljšanu preciznost unutar-subjekata dizajna i zaštitu od zbrka između-subjekata dizajna.
Slika 4.5: Tri eksperimentalni dizajn. Standardna randomizirani kontrolirani pokusi koriste izme subjekata dizajna. Primjer između-subjekata dizajn je Restivo i van de Rijtkroz-a (2012) pokus na barnstars i doprinose Wikipediji: istraživači su nasumično podijeljeni sudionicima na liječenje i kontrolne skupine, dali sudionici u liječenju skupine za barnstar, au odnosu rezultate za dvoje grupa. Druga vrsta dizajna je unutar-subjekata dizajn. Dva eksperimenti u Schultz i kolege (2007) studije o društvenim normama i korištenja energije prikazuju unutar-predmeta dizajn: istraživači su usporedili potrošnju električne energije sudionika prije i nakon primanja terapije. Unutar-subjekata dizajna nude poboljšanu statističku preciznost eliminacijom između subjekta varijance (vidi tehničke dodatak), ali su otvoreni za eventualne Ëimbenike (npr promjene u vremenu između predobrade i liječenje razdoblju) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Unutar-predmeta dizajni su također ponekad naziva ponovljena mjerenja dizajna. Konačno, mješoviti dizajna kombinirati poboljšanu preciznost u-podvrgava dizajna i zaštitu od zbrka između-subjekata dizajna. U mješovitim dizajn, istraživač uspoređuje promjenu rezultata za ljude u liječenju i kontrolnih skupina. Kad su istraživači već imaju informacije prije tretmana, kao što je slučaj u mnogim digitalnim eksperimentima, mješoviti dizajni su poželjno da među-subjekata dizajna zbog dobitaka u preciznošću (vidi tehničke dodatak).
Sve u svemu, dizajn i rezultati Schultz et al. (2007) pokazuju vrijednost kreće izvan jednostavnih eksperimenata. Srećom, ne morate biti genije za stvaranje eksperimente kao što je ovaj. Socijalni znanstvenici su razvili tri koncepta koji će vas voditi prema bogatijim i kreativnih eksperimenata: 1) Valjanost, 2) heterogenost učinaka tretmana i 3) mehanizmima. To jest, ako bi se ove tri ideje na umu dok ste projektiranje eksperiment, što će, naravno, stvoriti više zanimljive i korisne eksperimente. Radi ilustracije ova tri koncepta u akciji, ja ću opisati niz popratnih eksperimenata dijelom digitalnog polja koja izgrađen na elegantnim dizajnom i uzbudljive rezultate u Schultz et al. (2007) . Kao što ćete vidjeti, kroz više pažljivog projektiranja, implementacije, analizu i interpretaciju, i vi možete premjestiti izvan jednostavnih eksperimenata.
