4.4 Kretanje izvan jednostavnih eksperimenata
Idemo dalje od jednostavnih eksperimenata. Tri koncepta su korisni za bogate eksperimente: validnost, heterogenost efekata tretmana i mehanizmi.
Istraživači koji su novi u eksperimentima često se fokusiraju na veoma specifično, usko pitanje: Da li ovaj tretman "radi"? Na primer, da li telefonski poziv dobrovoljca podstiče nekoga da glasuje? Da li promena dugmeta veb lokacije od plave do zelene povećava stopu proširivanja klikova? Nažalost, labave fraze o tome šta "radi" zatamnjuje činjenicu da su usko fokusirani eksperimenti zaista ne kažu da li tretman "radi" u opštem smislu. Umesto toga, usko fokusirani eksperimenti odgovaraju na mnogo specifičnije pitanje: Kakav je prosečan efekat ovog specifičnog tretmana sa ovom specifičnom primjenom za ovu populaciju učesnika u ovom trenutku? Zvaću eksperimente koji se fokusiraju na ovo usko pitanje jednostavnim eksperimentima .
Jednostavni eksperimenti mogu pružiti vrijedne informacije, ali ne uspevaju da odgovore na mnoga pitanja koja su važna i interesantna, kao što su da li postoje neki ljudi za koje je tretman imao veći ili manji efekat; da li postoji još jedan tretman koji bi bio efikasniji; i da li se ovaj eksperiment odnosi na šire društvene teorije.
Kako bi se pokazala vrijednost kretanja izvan jednostavnih eksperimenata, razmotrimo analogni eksperiment na terenu od P. Wesleya Schultza i kolega o odnosu između društvenih normi i potrošnje energije (Schultz et al. 2007) . Schultz i kolege su obešli vrata na 300 domaćinstava u San Marcosu u Kaliforniji, a ovi vratari su dostavili različite poruke dizajnirane da podstiču konzervaciju energije. Zatim su Schultz i kolege merili uticaj ovih poruka na potrošnju električne energije, kako nakon jedne sedmice, tako i nakon tri tjedna; pogledajte sliku 4.3 za detaljniji opis eksperimentalnog dizajna.
Slika 4.3: Shema eksperimentalnog dizajna od Schultz et al. (2007) . Terenski eksperiment uključuje posetu oko 300 domaćinstava u San Marcosu, Kalifornija pet puta tokom osmogodišnjeg perioda. Na svakoj posjeti, istraživači ručno su čitali iz merača snage kuće. U dvije posete, postavili su vrata svake kuće, pružajući neke informacije o potrošnji energije u domaćinstvu. Istraživačko pitanje je bilo kako bi sadržaj ovih poruka uticalo na korišćenje energije.
Eksperiment je imao dva uslova. U prvom dijelu, domaćinstva su dobili savjete za uštedu energije (npr. Koristiti ventilatore umesto klima uređaja) i informacije o njihovoj upotrebi energije u poređenju sa prosječnom potrošnjom energije u svom susjedstvu. Schultz i kolege nazivali su to opisno normativno stanje jer su informacije o korišćenju energije u susedstvu pružale informacije o tipičnom ponašanju (tj. Deskriptivnoj normi). Kada su Schultz i kolege pogledali rezultirajuću potrošnju energije u ovoj grupi, čini se da tretman nema efekta, bilo kratkoročno ili dugoročno; drugim riječima, izgleda da tretman nije "radio" (slika 4.4).
Srećom, Schultz i kolege nisu se zadovoljili ovom jednostavnom analizom. Pre početka eksperimenta, oni su smatrali da će teški korisnici električne energije iznad sredine možda smanjiti potrošnju i da će korisnici električne energije ispod sredine možda povećati potrošnju. Kada su pogledali podatke, to je upravo ono što su pronašli (slika 4.4). Stoga, ono što je izgledalo kao tretman koji nije imao efekta, zapravo je bio tretman koji je imao dva efekta pomeranja. Ovo kontraproduktivno povećanje među korisnicima svetlosti je primer efekta boomeranga , gde tretman može imati suprotan efekat od onoga što je bio namijenjen.
Slika 4.4: Rezultati Schultz et al. (2007) . Panel (a) pokazuje da tretman deskriptivne norme ima procijenjeni efekat nultog prosjeka. Međutim, panel (b) pokazuje da je ovaj prosečni efekat tretmana zapravo sastavljen od dva efekta pomeranja. Za teške korisnike, tretman je smanjio upotrebu, ali za lake korisnike, tretman je povećao upotrebu. Na kraju, panel (c) pokazuje da je drugi tretman, koji je koristio deskriptivne i sudske norme, imao otprilike isti efekat na teške korisnike, ali je ublažio efekat boomeranga na lake korisnike. Adaptirano od Schultz et al. (2007) .
Istovremeno sa prvim uslovima, Schultz i kolege takođe su imali drugi uslov. Domaćini u drugom stanju dobivali su upravo iste savete o uštedu energije i informacije o potrošnji energije u domaćinstvima u poređenju sa prosjekom u svom susjedstvu - sa jednim sitnim dodatkom: za ljude sa ispod prosječne potrošnje, istraživači su dodali: ) i za ljude sa nadpovprečnom potrošnjom dodali su :( Ovi emotikoni su dizajnirani da pokrenu ono što su istraživači nazvali odredbe o zabrani .Njunjktivne norme odnose se na percepcije onoga što je uobičajeno odobreno (i neodobreno), dok se deskriptivne norme odnose na percepcije o ono što se obično radi (Reno, Cialdini, and Kallgren 1993) .
Dodavanjem ovog malog emotikona, istraživači su dramatično smanjili efekat boomeranga (slika 4.4). Stoga, postizanjem jedne jednostavne promene - promene koja je motivisana apstraktnom socijalnom psihološkom teorijom (Cialdini, Kallgren, and Reno 1991) - istraživači su mogli da pretvore program koji izgleda nije funkcioniran u onom koji je radio, i, istovremeno, uspeli su da doprinesu opštem razumevanju kako društvene norme utiču na ljudsko ponašanje.
Međutim, u ovom trenutku možete primetiti da se nešto malo razlikuje od ovog eksperimenta. Naročito, eksperiment Šulca i kolega nema stvarno kontrolnu grupu na isti način na koji rade randomizirani kontrolisani eksperimenti. Poređenje između ovog dizajna i modela Restivo i van de Rijt ilustruje razlike između dva glavna eksperimentalna dizajna. U dizajnu između predmeta , kao što su Restivo i van de Rijt, postoji grupa za tretman i kontrolna grupa. Sa dizajnom unutar predmeta , s druge strane, ponašanje učesnika se upoređuje pre i posle lečenja (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . U eksperimentu u okviru predmeta to je kao da svaki učesnik deluje kao sopstvena kontrolna grupa. Snaga dizajna izmedju predmeta je da pružaju zaštitu od konfoundera (kao što sam ranije opisao), dok je jačina eksperimenata unutar predmeta povećana preciznost procjena. Konačno, da predvide ideju koja će se pojaviti kasnije kada ponudim savjete o dizajniranju digitalnih eksperimenata, _mixed design_kombira poboljšanu preciznost dizajna unutar predmeta i zaštitu od konfuzije dizajna između predmeta (slika 4.5).
Slika 4.5: Tri eksperimentalna dizajna. Standardno randomizirani kontrolisani eksperimenti koriste dizajn između predmeta . Primer dizajna između predmeta je Restivo i van de Rijt (2012) eksperiment na barnstarsu i doprinos na Wikipedia: istraživači su nasumično podelili učesnike u lečenje i kontrolne grupe, dali učesnicima u grupi za liječenje barnstar i upoređivali rezultate za dve grupe. Druga vrsta dizajna je dizajn unutar predmeta . Dva eksperimenta u studiji Schultza i kolega (2007) o socijalnim normama i korišćenju energije ilustruju dizajn unutar predmeta: istraživači su upoređivali korištenje električne energije učesnika prije i nakon prijema liječenja. Dizajn unutar predmeta nude poboljšanu statističku preciznost, ali su otvoreni za moguće konfuzionere (npr. Promene vremenskih uslova između predtretmana i perioda lečenja) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Dizajn unutar predmeta se ponekad naziva i dizajniranim ponovljenim merama. Konačno, mešani dizajn kombinuje poboljšanu preciznost dizajna unutar predmeta i zaštitu od konfuzije dizajna između predmeta. U mešovitom dizajnu, istraživač upoređuje promjenu ishoda za ljude u lečenju i kontrolnim grupama. Kada istraživači već imaju informacije o prethodnom tretmanu, kao što je to slučaj u mnogim digitalnim eksperimentima, mješoviti dizajni su uglavnom poželjniji za dizajn između predmeta, jer rezultiraju poboljšanom preciznošću procjena.
Sve u svemu, dizajn i rezultati studije Schultza i kolega (2007) pokazuju vrijednost pomeranja izvan jednostavnih eksperimenata. Srećom, ne morate biti kreativni genije za dizajniranje ovakvih eksperimenata. Socijalni naučnici su razvili tri koncepta koji će vas voditi ka bogatijim eksperimentima: (1) validnost, (2) heterogenost efekata tretmana i (3) mehanizmi. To jest, ukoliko zadržite ove tri ideje na umu dok dizajnirate svoj eksperiment, prirodno ćete stvoriti zanimljiviji i korisniji eksperiment. Da bih ilustrovao ove tri koncepte u akciji, opisao ću niz praćenih delimično digitalnih terenskih eksperimenata koji su zasnovani na elegantnom dizajnu i uzbudljivim rezultatima Schultza i kolega (2007) . Kao što ćete videti, kroz pažljiviji dizajn, implementaciju, analizu i tumačenje, vi takođe možete da pređete preko jednostavnih eksperimenata.
