4.4 Odmik od enostavnih eksperimentov
Prestavimo se preko preprostih poskusov. Trije koncepti so koristni za bogate eksperimente: veljavnost, heterogenost učinkov zdravljenja in mehanizmi.
Raziskovalci, ki so novi pri poskusih, se pogosto osredotočajo na zelo specifično in ozko vprašanje: Ali to zdravljenje deluje? Ali telefonski klic prostovoljca na primer spodbuja nekoga, da glasuje? Ali spreminjanje gumba spletnega mesta iz modre v zeleno poveča stopnjo klikov? Na žalost, ohlapna beseda o tem, kaj dela ", zakrije" dejstvo, da ozko osredotočeni poskusi res ne kažejo, ali zdravljenje "deluje" v splošnem smislu. Namesto, ozko osredotočeni poskusi odgovarjajo na veliko bolj specifično vprašanje: Kakšen je povprečni učinek tega posebnega obravnavanja s to specifično izvedbo za to populacijo udeležencev v tem trenutku? Klical bom poskuse, ki se osredotočajo na to ozko vprašanje preprostih poskusov .
Enostavni poskusi lahko zagotovijo dragocene informacije, vendar ne morejo odgovoriti na številna pomembna in zanimiva vprašanja, na primer, ali obstajajo nekateri ljudje, za katere je zdravljenje imelo večji ali manjši učinek; ali obstaja druga obravnava, ki bi bila učinkovitejša; in ali se ta preizkus nanaša na širše družbene teorije.
Da bi pokazali vrednost preseganja preprostih poskusov, razmislimo o analognem poljskem poskusu P. Wesleyja Schultza in sodelavcev o odnosu med družbenimi normami in porabo energije (Schultz et al. 2007) . Schultz in njegovi kolegi so obesili vratarja na 300 gospodinjstev v San Marcosju, Kalifornija, in ti vratarji so dostavili različna sporočila, namenjena spodbujanju varčevanja z energijo. Nato sta Schultz in sodelavci merila učinek teh sporočil na porabo električne energije po enem tednu in po treh tednih; glej sliko 4.3 za podrobnejši opis eksperimentalne zasnove.
Slika 4.3: Shema eksperimentalne zasnove iz Schultz et al. (2007) . Poskus na terenu je vplival na obisk okoli 300 gospodinjstev v San Marcosu v Kaliforniji petkrat v obdobju osmih tednov. Na vsakem obisku so raziskovalci ročno prebrali iz merilnika moči hiše. Na dveh obiskih so v vsaki hiši dali vratarje, ki so dali nekaj informacij o rabi energije v gospodinjstvu. Raziskovalno vprašanje je bilo, kako bi vsebina teh sporočil vplivala na porabo energije.
Poskus je imel dva pogoja. V prvem so gospodinjstva prejela splošne nasvete za varčevanje z energijo (npr. Ventilatorji namesto klimatskih naprav) in informacije o njihovi porabi energije v primerjavi s povprečno porabo energije v svoji soseščini. Schultz in kolegi so to imenovali opisno normativno stanje, ker so informacije o porabi energije v soseščini priskrbele informacije o značilnem vedenju (tj opisna norma). Ko sta Schultz in kolegi preučevali porabo energije v tej skupini, zdravljenje ni imelo učinka kratkoročno ali dolgoročno; z drugimi besedami, zdravljenje ni delovalo (slika 4.4).
Na srečo se Schultz in kolegi niso strinjali s to poenostavljeno analizo. Pred začetkom eksperimenta so utemeljili, da lahko težki uporabniki električne energije, ki presegajo srednjo vrednost, zmanjšajo porabo energije in da lahko uporabniki lahkih električnih naprav pod srednjo vrednostjo dejansko povečajo svojo porabo. Ko so pogledali podatke, je ravno tisto, kar so našli (slika 4.4). Torej, tisto, kar je izgledalo kot zdravljenje, ki ni imelo učinka, je bilo dejansko zdravljenje, ki je imelo dva izravnava učinka. To kontraproduktivno povečanje med lahkimi uporabniki je primer učinka bumeranga , kjer lahko zdravljenje nasprotno vpliva na tisto, kar je bilo predvideno.
Slika 4.4: Rezultati Schultz et al. (2007) . Panel (a) kaže, da ima opisno normativno zdravljenje ocenjen ničelni učinek zdravljenja. Vendar panel (b) kaže, da je ta povprečni učinek zdravljenja dejansko sestavljen iz dveh kompenzacijskih učinkov. Za težke uporabnike je zdravljenje zmanjšalo uporabo, vendar za lahke uporabnike zdravljenje povečalo uporabo. Nazadnje, panel (c) kaže, da je druga obravnava, ki je uporabila opisne in sodne norme, imela približno enak učinek na težke uporabnike, vendar je ublažila vpliv bumeranga na lahke uporabnike. Prilagojeno od Schultz et al. (2007) .
Istočasno s prvim pogojem sta Schultz in kolegi opravila tudi drugi pogoj. Gospodinjstva v drugem pogoju so prejela enake splošne načine varčevanja z energijo in informacije o porabi energije v gospodinjstvu v primerjavi s povprečjem v svoji soseski - z enim majhnim dodatkom: za ljudi s prikupno porabo so raziskovalci dodali: ) in za ljudi z nadpovprečno porabo so dodali :( Te emotikone so bile oblikovane tako, da sprožijo raziskovalce, ki so imenovale prepovedne norme . Nujne norme se nanašajo na dojemanje, kaj je splošno odobrilo (in neodobreno), medtem ko opisne norme nanašajo na dojemanja kar je običajno storjeno (Reno, Cialdini, and Kallgren 1993) .
Z dodajanjem tega drobnega čustvenega simptoma so raziskovalci dramatično zmanjšali učinek bumeranga (slika 4.4). Tako je bila ta preprosta sprememba - sprememba, ki je bila motivirana z abstraktno socialno psihološko teorijo (Cialdini, Kallgren, and Reno 1991) - raziskovalci so lahko spremenili program, ki ni delal v tisti, ki je deloval, in hkrati so lahko prispevali k splošnemu razumevanju, kako socialne norme vplivajo na človeško vedenje.
V tem trenutku pa boste morda opazili, da se nekaj nekaj razlikuje glede tega preizkusa. Še posebej eksperiment Schultza in kolegov v resnici nima kontrolne skupine na enak način, kot to opravljajo randomizirani kontrolirani poskusi. Primerjava med tem modelom in modeloma Restiva in van de Rijt ponazarja razlike med dvema glavnima eksperimentalnima modeloma. Pri modelih med predmeti , kot je model Restiv in van de Rijt, obstaja skupina za zdravljenje in kontrolna skupina. V modelih , ki se nanašajo na predmete , pa se na primer ravnanje udeležencev primerja pred in po zdravljenju (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . V preizkusu znotraj predmeta je enako, kot da vsak udeleženec deluje kot njena lastna kontrolna skupina. Moč konstrukcij med predmeti je, da zagotavljajo zaščito pred zlagatelji (kot sem opisal prej), medtem ko je moč preizkusov znotraj subjektov povečana natančnost ocen. Na koncu, da bi predstavili zamisel, ki bo prišla kasneje, ko ponudim nasvete o oblikovanju digitalnih eksperimentov, je _mixed design_ združena izboljšana natančnost modelov znotraj posameznih predmetov in zaščita pred zmedenostjo modelov med predmeti (slika 4.5).
Slika 4.5: trije poskusni vzorci. Standardni randomizirani kontrolirani posegi uporabljajo vzorce med predmeti . Primer zasnove med tema osebama je preizkus Restiv in van de Rijt (2012) o barnstarjih in prispevkih v Wikipedijo: raziskovalci so naključno razdelili udeležence v skupine za zdravljenje in nadzor, udeležence v skupini za zdravljenje dali barnstar in primerjali izide za dve skupini. Druga oblika oblikovanja je zasnova znotraj subjektov . Dva preizkusa v študiji Schultz in sodelavcev (2007) o družbenih normah in uporabi energije ponazarjata zasnovo znotraj predmeta: raziskovalci so primerjali porabo električne energije udeležencev pred in po prejemu zdravljenja. Znotraj predmeta načrti ponujajo boljšo statistično natančnost, vendar so odprti za morebitne konfoundere (npr. Spremembe v vremenu med predhodnim zdravljenjem in obdobjem zdravljenja) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Oblikovanje v okviru predmetov se včasih imenuje ponovitev meritev. Končno, mešani modeli združujejo izboljšano natančnost konstrukcij znotraj posameznih predmetov in zaščito pred zmedenostjo med modeli predmetov. V mešani obliki raziskovalec primerja spremembo rezultatov z ljudmi v skupinah za zdravljenje in nadzor. Kadar raziskovalci že imajo informacije o predobdelavi, tako kot pri mnogih digitalnih eksperimentih, so mešani modeli na splošno bolj primerni za modele med predmeti, ker imajo za posledico boljšo natančnost ocen.
Na splošno je zasnova in rezultati študije Schultza in kolegov (2007) pokazali, kako vrednost presega preproste poskuse. Na srečo vam ni treba biti ustvarjalni genij za oblikovanje takšnih poskusov. Družbeni znanstveniki so razvili tri koncepte, ki vas bodo vodili do bogatejših eksperimentov: (1) veljavnost, (2) heterogenost učinkov zdravljenja in (3) mehanizmi. To pomeni, da če med tem načrtujete eksperiment, upoštevajte te tri zamisli, seveda boste ustvarili bolj zanimiv in uporaben eksperiment. Za ponazoritev teh treh konceptov v akciji bom opisal številne naknadne delno digitalne poljske poskuse, ki so temeljili na elegantnih oblikovnih in vznemirljivih rezultatih Schultza in kolegov (2007) . Kot boste videli, s skrbnejšim načrtovanjem, izvajanjem, analizo in tolmačenjem boste tudi vi lahko presegli preproste preizkuse.
