4.4 Kretanje izvan jednostavnih eksperimenata
Krenimo dalje od jednostavnih eksperimenata. Tri su koncepta korisna za bogate eksperimente: valjanost, heterogenost učinaka liječenja i mehanizme.
Istraživači koji su novi u eksperimentima često se usredotočuju na vrlo specifično, usko pitanje: radi li ovaj tretman "posao"? Na primjer, da telefonski poziv volontera potiče nekoga da glasuje? Mijenja li gumb web stranice od plave do zelene povećava stopu klikanja? Nažalost, loose fraziranje o tome što "radi" zamagljuje činjenicu da usko fokusirani eksperimenti zapravo ne govore da li liječenje "radi" u općem smislu. Umjesto toga, usko fokusirani eksperimenti odgovaraju na mnogo konkretnije pitanje: Koji je prosječni učinak ovog specifičnog tretmana s ovom specifičnom implementacijom za ovu populaciju sudionika u ovom trenutku? Nazvat ću pokuse koji se usredotočuju na ovo usko pitanje jednostavnih pokusa .
Jednostavni eksperimenti mogu pružiti vrijedne informacije, ali ne odgovaraju mnogim važnim i zanimljivim pitanjima, kao što su, primjerice, postoje li neki ljudi za koje je liječenje imalo veći ili manji učinak; postoji li još jedan tretman koji bi bio učinkovitiji; i da li se ovaj eksperiment odnosi na šire društvene teorije.
Da bismo pokazali vrijednost premještanja izvan jednostavnih eksperimenata, razmotrimo analogni terenski eksperiment P. Wesley Schultz i suradnika o odnosu društvenih normi i potrošnje energije (Schultz et al. 2007) . Schultz i njegovi kolege objesili su vrata na 300 kućanstava u San Marcosu u Kaliforniji, a ti vratnici su isporučili različite poruke namijenjene za poticanje očuvanja energije. Zatim su Schultz i njegovi kolege mjerili učinak ovih poruka na potrošnju električne energije, i nakon tjedan dana i nakon tri tjedna; vidi sliku 4.3 za detaljniji opis eksperimentalnog dizajna.
Slika 4.3: shema eksperimentalnog dizajna tvrtke Schultz et al. (2007) . Eksperiment je uključivao oko 300 kućanstava u San Marcosu u Kaliforniji pet puta tijekom osam tjedana. Na svakom posjetu istraživači su ručno prešli čitanje iz mjerača snage kuće. U dva posjeta stavili su kućna vrata na svaku kuću pružajući informacije o potrošnji energije kućanstva. Istraživačko pitanje je kako sadržaj tih poruka utječe na korištenje energije.
Eksperiment je imao dva uvjeta. U prvom su slučaju kućanstva dobili opće savjete za uštedu energije (npr., Koristite obožavatelje umjesto klima uređaja) i informacije o njihovoj potrošnji energije u usporedbi s prosječnom potrošnjom energije u njihovom susjedstvu. Schultz i njegovi kolege nazivali su to deskriptivno normativno stanje jer su informacije o korištenju energije u susjedstvu pružale informacije o tipičnom ponašanju (tj. Opisnoj normi). Kada Schultz i njegovi kolege gledaju na dobivenu potrošnju energije u toj skupini, čini se da liječenje nema nikakvog učinka, ni u kratkom niti u dugom roku; Drugim riječima, liječenje se nije činilo "djelotvornim" (slika 4.4).
Srećom, Schultz i njegovi kolege nisu se riješili za ovu jednostavnu analizu. Prije početka eksperimenta, oni su zaključili da bi teški korisnici električne energije - ljudi iznad srednje vrijednosti - mogli smanjiti potrošnju energije i da bi lakši korisnici električne energije - ljudi ispod prosjeka - zapravo mogli povećati potrošnju. Kad su pogledali podatke, to je točno ono što su pronašli (slika 4.4). Dakle, ono što je izgledalo kao tretman koji je imao nikakav učinak zapravo bio tretman koji je imao dva učinka kompenzacije. Ovo kontraproduktivno povećanje među svjetlosnim korisnicima je primjer efekta bumeranga , pri čemu liječenje može imati suprotan učinak od onoga što je bilo namjerno.
Slika 4.4: Rezultati Schultz et al. (2007) . Ploča (a) pokazuje da tretman opisne norme ima procijenjeni nula prosječni učinak liječenja. Međutim, ploča (b) pokazuje da se ovaj prosječni učinak liječenja zapravo sastoji od dva učinka kompenzacije. Za teške korisnike tretman je smanjio uporabu, ali za lakše korisnike, liječenje je povećalo korištenje. Konačno, ploča (c) pokazuje da je drugo postupanje, koje je koristilo deskriptivne i injunktivne norme, imalo otprilike isti učinak na teške korisnike, ali je ublažio učinak bumeranga na svjetlosne korisnike. Prilagođena od Schultz et al. (2007) .
Istodobno s prvim uvjetom, Schultz i njegovi kolege također su proveli drugi uvjet. Kućanstva u drugom stanju dobili su isti tretman - opće savjete za uštedu energije i informacije o potrošnji energije kućanstva u usporedbi s prosjekom njihovog susjedstva - s malim dodatkom: za osobe s nižom prosječnom potrošnjom, istraživači su dodali: ) i za ljude s iznadprosječnom potrošnjom dodali su: (.) Ovi emotikoni bili su dizajnirani tako da potiču ono što su istraživači nazvali injunktivnim normama . Injunktivne norme odnose se na percepciju onoga što je obično odobreno (i neodobreno), dok se deskriptivne norme odnose na percepciju što se obično radi (Reno, Cialdini, and Kallgren 1993) .
Dodavanjem ovog malog emotikona, istraživači su dramatično smanjili učinak bumeranga (slika 4.4). Stoga je ova jednostavna promjena - promjena koju je motivirala apstraktna socijalna psihološka teorija (Cialdini, Kallgren, and Reno 1991) - istraživači su uspjeli pretvoriti program koji se ne čini da radi u onom koji je radio, i istodobno su bili u mogućnosti pridonijeti općem razumijevanju kako društvene norme utječu na ljudsko ponašanje.
U ovom trenutku, međutim, možete primijetiti da je nešto malo drugačije u ovom eksperimentu. Konkretno, eksperiment Schultza i njegovih kolega zapravo nema kontrolnu skupinu na isti način kao i randomizirani kontrolirani eksperimenti. Usporedba ovog dizajna s onim iz Restiva i van de Rijta ilustrira razlike između dva glavna eksperimentalna dizajna. U dizajnu između subjekata , kao što je Restivo i van de Rijt, postoji skupina liječenja i kontrolna skupina. U dizajnu unutar subjekta , s druge strane, ponašanje sudionika uspoređuje se prije i poslije tretmana (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . U eksperimentu unutar subjekta kao da svaki sudionik djeluje kao svoju kontrolnu skupinu. Snaga dizajna između subjekata je da oni pružaju zaštitu od zbunjivanja (kao što sam ranije opisao), dok je snaga eksperimenata unutar subjekata povećana preciznost procjena. Konačno, predskazati ideju koja će doći kasnije kad ponudim savjete o projektiranju digitalnih eksperimenata, mješoviti dizajn (design mix) poboljšava preciznost dizajna unutar predmeta i zaštitu od zbunjivanja dizajna između pojedinaca (slika 4.5).
Slika 4.5: Tri eksperimentalna dizajna. Standardni randomizirani kontrolirani pokusi koriste nacrte između ispitanika . Primjer dizajna između ispitanika je eksperiment Restivo i van de Rijt (2012) o barnstarsima i doprinosima Wikipediji: istraživači slučajno podijelili sudionike u tretmane i kontrolne skupine, dali sudionicima u liječničkoj skupini barnstar i uspoređivali ishode za dvije grupe. Druga vrsta dizajna je dizajn unutar subjekata . Dva pokusa u Schultzovoj i suradničkoj (2007) studiji o društvenim normama i korištenju energije ilustriraju dizajn unutar subjekata: istraživači su uspoređivali uporabu električne energije sudionika prije i nakon primanja tretmana. Dizajn unutar subjekata nudi bolju statističku preciznost, ali su otvoreni za moguće zbunjake (npr. Promjene vremenskih uvjeta između predtretmana i razdoblja liječenja) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Dizajn unutar subjekata također se ponekad naziva dizajna ponovljenih mjera. Konačno, mješoviti projekti kombiniraju poboljšanu preciznost dizajna unutar subjekata i zaštitu od zbunjivanja dizajna između subjekata. U mješovitom dizajnu, istraživač uspoređuje promjenu ishoda kod ljudi u liječenju i kontrolnim skupinama. Kada istraživači već imaju informacije o pretkripciji, kao što je to slučaj u mnogim digitalnim eksperimentima, mješoviti projekti općenito su prednost dizajnu između pojedinaca jer rezultiraju poboljšanom preciznošću procjena.
Sveukupno, dizajn i rezultati istraživanja Schultza i suradnika (2007) pokazuju vrijednost premještanja izvan jednostavnih eksperimenata. Srećom, ne morate biti kreativni genije za dizajniranje ovakvih eksperimenata. Društveni znanstvenici razvili su tri koncepta koji će vas voditi prema bogatijim eksperimentima: (1) valjanosti, (2) heterogenosti učinaka liječenja i (3) mehanizama. Naime, ako u obzir uzmete ove tri ideje dok izrađujete svoj eksperiment, prirodno ćete stvoriti zanimljiviji i korisniji eksperiment. Kako bi ilustrirali ova tri koncepta u akciji, opisujem niz praćenih djelomično digitalnih eksperimenata na terenu koji su izgrađeni na elegantnom dizajnu i uzbudljivim rezultatima Schultz i suradnika (2007) . Kao što ćete vidjeti, kroz više pažljivog dizajna, implementacije, analize i interpretacije, i vi možete premjestiti dalje od jednostavnih eksperimenata.
