4.4 Odmik od enostavnih eksperimentov
Gremo dlje preprostimi eksperimenti. Trije koncepti so koristni za bogate poskusov: veljavnost, heterogenosti neželenih učinkov, in mehanizem.
Raziskovalci, ki so novi v poskusih pogosto osredotočajo na zelo poseben, ozek vprašanje: pa to zdravljenje "delo"? Na primer, ali telefonski klic od prostovoljca spodbuditi koga voliti? Ali spreminjanje gumb spletno stran iz modre v zeleno povečanje kliki? Na žalost, mehko fraz o tem, kaj "dela" zamegli dejstvo, da se ozko usmerjeni poskusi ni res povedati, ali je ravnanje "dela" v splošnem pomenu. Namesto, ozko usmerjen poskusi odgovoriti na veliko bolj specifično vprašanje: kaj je povprečni učinek tega specifičnega zdravljenja s tem konkretnem izvajanju za to populacijo udeležencev v tem trenutku? Poklical bom poskuse, ki se osredotočajo na tej ozki vprašanje preprostimi eksperimenti.
Preprosti poskusi lahko poda dragocene informacije, vendar pa ne morejo odgovoriti na številna vprašanja, ki so tako pomembna in zanimiva, kot so: obstajajo nekateri ljudje, za katere je bilo zdravljenje večji ali manjši vpliv ?; obstaja drugačno ravnanje, ki bi bilo bolj učinkovito ?; in kako se ta poskus se nanašajo na širše družbene teorije?
Da bi pokazali vrednost giblje onkraj enostavnih poskusov, kaj je menila, da ena od mojih najljubših analognih poljskih poskusov, s študijo P. Wesley Schultz in kolegi o odnosu med družbenimi normami in porabe energije (Schultz et al. 2007) . Schultz in kolegi obesili doorhangers na 300 gospodinjstev v San Marcos v Kaliforniji, in te doorhangers podal različna sporočila so namenjeni spodbujanju ohranjanja energije. Potem, Schultz in kolegi izmeriti učinek teh sporočil o porabi električne energije, in sicer po enem tednu in tri tedne; glej sliko 4.3 za podrobnejši opis zasnove poskusa.
Slika 4.3: Shematski prikaz oblikovanja iz Schultz et al. (2007) . Poljski poskus je vključevala obisk okoli 300 gospodinjstev v San Marcos v Kaliforniji petkrat več kot v obdobju osmih tednov. Na vsakem obisku raziskovalci ročno vzel branje od moči meter v zgradbi. Na dveh obiskih raziskovalci dajejo doorhangers v hiši zagotavlja nekatere informacije o svoji porabi energije. Raziskava vprašanje je bilo, kako bi bila vsebina teh sporočil vplivajo na rabo energije.
Poskus je imel dva pogoja. V prvi pogoj, gospodinjstva prejela nasvetov za varčevanje splošno energije (na primer, uporaba ventilatorji namesto klimatske naprave) in informacije o porabi energije svojega gospodinjstva v primerjavi s povprečjem porabe energije v njihovi soseščini. Schultz in kolegi to imenuje opisno normativno stanje, saj so informacije o porabi energije v njihovi okolici, če podatke o značilnem obnašanju (tj, opisno normo). Ko Schultz in kolegi pogledal posledica rabe energije v tej skupini, zdravljenje je zdelo, da nima vpliva, bodisi kratkoročno ali dolgoročno; z drugimi besedami, zdravljenje ni videti, da "delo" (slika 4.4).
Ampak, na srečo, Schultz et al. (2007) , ni rešitev za to preprosto analizo. Pred poskus začel se je menil, da bi povprečnemu-težki uporabniki električne energije med ljudmi nad zmanjšajo svojo porabo, in da lahka uporabniki električne energije-ljudi pod povprečjem, bi lahko dejansko poveča njihovo porabo. Ko so gledali podatkov, to je točno to, kar so ugotovili (slika 4.4). Tako Izgledalo je zdravljenje, ki je bilo nikakršne učinek je bil dejansko za zdravljenje, ki je imela dva učinka izravnave. Raziskovalci imenuje ta neproduktivno povečanje med lahkimi uporabnikov bumerang učinek.
Slika 4.4: Rezultati Schultz et al. (2007) . Prva plošča kaže, da je opisna norma zdravljenje ocenjen povprečni učinek zdravljenja nič. Vendar pa je druga plošča kaže, da je to povprečje učinek zdravljenja pravzaprav sestavljena iz dveh učinkov kompenzacijo. Za težke uporabnike, zdravljenje zmanjšalo porabo, ampak za lahke uporabnike, zdravljenje poveča porabo. Tretja plošča kaže, da je druga obravnava, ki se uporablja opisne in pravne norme, približno enak učinek na težke uporabnike, vendar blažila bumeranga vpliva na lahkih uporabnikov.
Nadalje, Schultz in kolegi pričakovati to možnost, in v drugem stanju, so razporejeni nekoliko drugačno obravnavo, eno izrecno namenjen za odpravo bumerang učinek. Za gospodinjstva v drugem stanju prejeli natančno iste zdravljenjem splošne nasvete za varčevanje z energijo in informacije o porabi energije svojega gospodinjstva v primerjavi z njihovo okolico, z eno majhen Poleg: za ljudi s podpovprečno porabo, so raziskovalci dodali :) in za ljudje z nadpovprečno porabo so dodali :(. Te emoticons so bili zasnovani, da sproži, kar so raziskovalci imenovane pravne norme. pravne norme se nanašajo na dojemanje, kar je splošno sprejet (in zavrnjeni), medtem ko opisni norme se nanašajo na dojemanje, kaj je običajno narejeno (Reno, Cialdini, and Kallgren 1993) .
Z dodajanjem to en majhen pretres, so raziskovalci drastično zmanjšala bumeranga učinek (slika 4.4). Tako, tako, da to eno preprosto prestavljanje spremembo, ki je izzvalo abstrakten socialno psihološke teorije (Cialdini, Kallgren, and Reno 1991) -da raziskovalci uspeli obrniti program od tistega, ki ni videti, da delo v eno, da delal, in hkrati, so bili sposobni prispevati k splošnemu razumevanju, kako socialne norme vplivajo na vedenje ljudi.
Na tej točki, pa ste morda opazili, da je nekaj malo drugačnega tem eksperimentu. Še posebej, poskus Schultz in kolegov sploh nima kontrolne skupine na enak način, da randomizirano kontrolirano poskusi narediti. Primerjava med to zasnovo in oblikovanje Restivo in van de Rijt prikazuje razlike med dvema večjih modelov, ki jih raziskovalci uporabljajo. V med-osebah modelov, kot Restivo in van de Rijt, obstaja skupina zdravljenje in kontrolno skupino, in v okviru-osebah oblikuje obnašanje udeležencev primerja pred in po zdravljenju (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . V roku, ob poskusu je tako, kot če bi vsak udeleženec deluje kot lastno kontrolno skupino. Moč med-podredi modelov je, da zagotavlja zaščito pred confounders (kot sem opisal prej), in moč v-predmetov eksperimentov se poveča natančnost pri ocenah. Ko vsak udeleženec deluje kot njihova lastna kontrola, ki je med-udeleženca razlike odpravljene (glej Tehnično prilogo). Za Nagovijestiti, da bo prišel kasneje, ko sem svetujejo o načrtovanju digitalne poskusov, je končni načrt, ki se imenuje mešano obliko, ki združuje izboljšano natančnost v-predmetov modelov in zaščito pred zavajajočih modelov med-predmetov.
Slika 4.5: Tri eksperimentalnih modelov. Standardna randomizirani nadzorovani poskusi uporabljati med-podredi modelov. Primer modela med-predmetov je Restivo in van de Rijt je (2012) poskusi na barnstars in prispevke k Wikipediji: raziskovalci naključno razdelili udeležence v skupine zdravljenja in nadzora, je udeležence v skupini zdravljenja s barnstar, in primerjali rezultate za dva skupine. Druga vrsta oblikovanja je v-predmetov dizajn. Dva poskusi Schultz in kolega je (2007) študijo o socialnih norm in rabe energije ponazarjajo obliko v-predmetov: raziskovalci primerjali uporabo električne energije udeležencev pred in po prejemu zdravljenje. Znotraj-subjektov modeli ponujajo izboljšano statistično natančnostjo z odpravo med predmeta variance (glej Tehnično prilogo), vendar so odprti za morebitne confounders (npr, spremembe v vremenu med predobdelave in obdelave obdobju) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Znotraj-predmetov, so modeli včasih imenuje ponavljajoče ukrepi modelov. Končno, mešani modeli združujejo izboljšano natančnost v-podreja modelov in zaščito pred zavajajočih modelov med-predmetov. V mešanem zasnovo, raziskovalec primerja spremembo v rezultatih za ljudi v skupinah zdravljenja in nadzora. Ko raziskovalci že imajo informacije predobdelavo, kot je to primer v mnogih digitalnih poskusih, mešani modeli so bolje med-predmetov modelov zaradi dobičkov v natančnosti (glej Tehnično prilogo).
Na splošno, oblikovanje in rezultati Schultz et al. (2007) kažejo, vrednost giblje izven preprostimi eksperimenti. Na srečo, vam ni treba biti genij, da ustvarite eksperimente, kot je ta. Družboslovci so razvili tri pojme, ki vas bo vodil k bogatejši in še več ustvarjalnih poskusov: 1) veljavnost, 2) heterogenost učinkov zdravljenja, in 3) mehanizme. To je, če boste obdržali te tri ideje v mislih, medtem ko oblikovanje preizkus, boste seveda ustvarili več zanimivih in koristnih poskusov. Za ponazoritev te tri koncepte v akciji, bom opisati vrsto nadaljnjih delno digitalnih poljskih poskusov, ki so zgradile na elegantno obliko in zanimivih rezultatov v Schultz et al. (2007) . Kot boste videli, z bolj skrbno načrtovanje, izvedbo, analizo in interpretacijo, lahko tudi preseči preprostimi eksperimenti.
