4.3 Dvije dimenzije eksperimenata: laboratorijske terenu i analogno-digitalni

Laboratorijski eksperimenti nude kontrolu, poljskim pokusima ponuditi realizam, a eksperimenti digitalne terenske kombinirati kontrolu i realizam na ljestvici.

Eksperimenti dolaze u mnogo različitih oblika i veličina. U prošlosti su istraživači našli korisnu organizaciju eksperimenata uz kontinuitet između eksperimenata u laboratoriju i eksperimenata na terenu . Sada, međutim, istraživači bi također trebali organizirati eksperimente uz drugi kontinuum između analognih eksperimenata i digitalnih eksperimenata . Ovaj dvodimenzionalni dizajn prostor će vam pomoći razumjeti snage i slabosti različitih pristupa i istaknuti područja najveće mogućnosti (slika 4.1).

Slika 4.1: shema dizajna prostora za eksperimente. U prošlosti se eksperimenti mijenjaju uz dimenziju laboratorijskog polja. Sada se također razlikuju od analogno-digitalne dimenzije. Ovaj dvodimenzionalni dizajn prostor prikazan je u četiri pokusa koji opisujem u ovom poglavlju. Po mom mišljenju, područje najveće mogućnosti je eksperiment na digitalnom polju.

Jedna dimenzija uz koju se mogu organizirati eksperimenti jest dimenzija laboratorija. Mnogi eksperimenti u društvenim znanostima su laboratorijski eksperimenti gdje studenti dodiplomskog studija izvode čudne zadatke u laboratoriju za kreditiranje kolegija. Ova vrsta eksperimenta dominira istraživanjima u psihologiji jer omogućuje istraživačima stvaranje visoko kontroliranih postavki za precizno izoliranje i testiranje specifičnih teorija o društvenom ponašanju. Za određene probleme, međutim, nešto se čini pomalo čudnim zbog iznošenja čvrstih zaključaka o ljudskom ponašanju od takvih neobičnih ljudi koji obavljaju takve neobične zadatke u tako neobičnom okruženju. Te su zabrinutosti dovele do kretanja prema pokusima na terenu . Terenski pokusi kombiniraju snažan dizajn randomiziranih kontrolnih eksperimenata s reprezentativnijim skupinama sudionika koji obavljaju uobičajene zadatke u prirodnijim okruženjima.

Iako neki ljudi misle o laboratorijskim i terenskim eksperimentima kao konkurentskim metodama, najbolje je razmisliti o njima kao komplementarnim, s različitim snagama i slabostima. Na primjer, Correll, Benard, and Paik (2007) koristili su i laboratorijski eksperiment i terenski eksperiment u pokušaju pronalaženja izvora "kazne za majčinstvo". U Sjedinjenim Državama majke zarađuju manje novca nego žene bez djece, čak i kada uspoređujući žene sa sličnim vještinama koje rade na sličnim poslovima. Postoji mnogo mogućih objašnjenja za ovaj uzorak, od kojih je jedan od njih da su poslodavci pristrani prema majkama. (Zanimljivo je, čini se, suprotno od otaca: oni imaju tendenciju da zarađuju više od usporedivih muškaraca bez djece.) Da bi se procijenila moguća pristranost prema majkama, Correll i njegovi kolege vodili su dva eksperimenta: jedan u laboratoriju i jedan na terenu.

Prvo, u laboratorijskom eksperimentu rekli su sudionicima, koji su bili kolegijalni studenti, da je tvrtka provodila posao u potrazi za osobom koja je vodila svoj novi odjel marketinga Istočne obale. Učenicima je rečeno da je tvrtka željela svoju pomoć u procesu zapošljavanja, a od njih je zatraženo da pregledaju životopise nekoliko potencijalnih kandidata i da ocjenjuju kandidate na brojnim dimenzijama, kao što su njihova inteligencija, toplina i predanost radu. Nadalje, polaznici su upitani žele li preporučiti unajmljivanje podnositelja zahtjeva i ono što bi preporučili kao polaznu plaću. Nepoznato učenicima, međutim, životopisi su bili posebno konstruirani da budu slični, osim za jednu stvar: neki od njih su signalizirali materinstvo (navodeći uključenost u udrugu roditelja i nastavnika), a neki nisu. Correll i njegovi kolege otkrili su da su studenti manje vjerojatno da će preporučiti unajmljivanje majki i da im nude nižu početnu plaću. Nadalje, kroz statističku analizu ocjena i odluka vezanih za zapošljavanje, Correll i njegovi kolege otkrili su da su nedostaci majki uglavnom objašnjene činjenicom da su ocijenjene niže u smislu sposobnosti i predanosti. Dakle, ovaj laboratorijski eksperiment dopušta Corrella i kolegama da mjere kauzalni učinak i daju moguće objašnjenje za taj učinak.

Naravno, moglo bi biti skeptično pri izradi zaključaka o cijelom američkom tržištu rada na temelju odluka nekoliko stotina preddiplana koji vjerojatno nikad nisu imali puno radno vrijeme, a kamoli da unajmljuju nekoga. Stoga Correll i njegovi kolege također su proveli komplementarni eksperiment na terenu. Odgovori na stotine oglašavanih radnih mjesta s lažnim pokrovnim pismima i životopisima. Slično materijalima koji su prikazani preddiplomcima, neki nastavnici signaliziraju majčinstvo, a neki nisu. Correll i njegovi kolege otkrili su da su majke manje vjerojatno da će se nazvati za intervjue nego jednako kvalificirane žene bez djece. Drugim riječima, pravi poslodavci koji donose posljedične odluke u prirodnom okruženju ponašali su se slično kao preddiplomci. Jesu li donesene slične odluke iz istog razloga? Nažalost, ne znamo. Istraživači nisu mogli tražiti poslodavce da ocjenjuju kandidate ili objasne svoje odluke.

Ovaj par eksperimenata otkriva puno o laboratorijskim i terenskim eksperimentima općenito. Eksperimenti u laboratoriju nude istraživačima gotovo potpunu kontrolu okoline u kojoj sudionici donose odluke. Tako, na primjer, u laboratorijskom eksperimentu, Correll i njegovi kolege uspjeli su osigurati da su svi životopisi pročitani u mirnom okruženju; u eksperimentu na terenu, neki od životopisa možda nisu ni pročitani. Nadalje, budući da sudionici u laboratorijskoj postavi znaju da se proučavaju, istraživači često mogu prikupljati dodatne podatke koji mogu objasniti zašto sudionici daju svoje odluke. Na primjer, Correll i njegovi kolege zatražili su sudionike u laboratorijskom eksperimentu ocijeniti kandidate različitih dimenzija. Ovakvi procesni podaci mogli bi pomoći istraživačima razumjeti mehanizme razlike u načinu na koji sudionici postupaju s životopisima.

S druge strane, te iste značajke koje sam upravo opisao kao prednosti također se ponekad smatraju nedostacima. Istraživači koji preferiraju terenske eksperimente tvrde da sudionici u laboratorijskim eksperimentima mogu djelovati vrlo različito, jer znaju da ih se proučava. Na primjer, u laboratorijskom eksperimentu sudionici su mogli pogoditi cilj istraživanja i mijenjati njihovo ponašanje kako ne bi izgledali pristrano. Nadalje, istraživači koji preferiraju terenske eksperimente mogu tvrditi da se male razlike u životopisu mogu izdvojiti samo u vrlo čistom, sterilnom laboratorijskom okruženju, pa će laboratorijski eksperiment precijeniti učinak majčinstva na stvarne odluke o zapošljavanju. Konačno, mnogi zagovornici eksperimenata na terenu kritiziraju oslanjanje laboratorija na sudionike WEIRD-a: uglavnom učenike zapadnih, obrazovanih, industrijaliziranih, bogatih i demokratskih zemalja (Henrich, Heine, and Norenzayan 2010a) . Pokusi Correll i suradnici (2007) ilustriraju dvije krajnosti na kontinuumu laboratorijskog polja. Između ove dvije krajnosti postoje i razni hibridni dizajni, uključujući pristupe kao što su dolazak ne-studenata u laboratorij ili ulaska u teren, ali još uvijek imaju sudionike koji izvode neuobičajenu zadaću.

Osim dimenzije laboratorijskog polja koje je postojalo u prošlosti, digitalno doba znači da istraživači sada imaju drugu glavnu dimenziju uz koju se eksperimenti mogu razlikovati: analogno-digitalni. Baš kao što postoje čisti laboratorijski eksperimenti, čisti eksperimenti na terenu i različiti hibridi između njih, postoje čisti analogni eksperimenti, čisti digitalni eksperimenti i razni hibridi. Teško je ponuditi formalnu definiciju ove dimenzije, ali je korisna definicija rada da su potpuno digitalni eksperimenti eksperimenti koji koriste digitalnu infrastrukturu za zapošljavanje sudionika, nasumično raspoređivanje, isporuku tretmana i mjerenje ishoda. Na primjer, studija Barnstarsa ​​i Wikipedije Restivo i van de Rijt (2012) bila je potpuno digitalni eksperiment jer je koristio digitalne sustave za sva četiri koraka. Isto tako, potpuno analogni eksperimenti ne koriste digitalnu infrastrukturu za bilo koji od ovih četiri koraka. Mnogi klasični eksperimenti u psihologiji potpuno su analogni pokusi. Između ove dvije krajnosti postoje djelomično digitalni eksperimenti koji koriste kombinaciju analognih i digitalnih sustava.

Kada neki ljudi misle o digitalnim eksperimentima, odmah razmišljaju o eksperimentima na mreži. To je nesretno jer prilike za pokretanje digitalnih eksperimenata nisu samo na mreži. Istraživači mogu pokrenuti djelomično digitalne eksperimente pomoću digitalnih uređaja u fizičkom svijetu kako bi pružili tretmane ili mjerili ishode. Na primjer, istraživači bi mogli koristiti pametne telefone za isporuku tretmana ili senzora u izgrađenom okolišu za mjerenje ishoda. Zapravo, kao što ćemo vidjeti kasnije u ovom poglavlju, znanstvenici su već koristili mjerače kućne energije za mjerenje ishoda u eksperimentima o potrošnji energije koji uključuju 8,5 milijuna kućanstava (Allcott 2015) . Kako se digitalni uređaji sve više integriraju u živote ljudi, a senzori postaju integrirani u izgrađeni okoliš, ove će se prilike dramatično povećati mogućnosti za djelomično digitalne eksperimente u fizičkom svijetu. Drugim riječima, digitalni eksperimenti nisu samo eksperimenti na mreži.

Digitalni sustavi stvaraju nove mogućnosti eksperimentima posvuda po kontinuumu laboratorijskog polja. U čistim laboratorijskim eksperimentima, na primjer, istraživači mogu koristiti digitalne sustave za finije mjerenje ponašanja sudionika; jedan primjer takvog poboljšanog mjerenja je oprema za praćenje oka koja pruža precizne i kontinuirane mjere gledanja. Digitalno doba također stvara mogućnost pokretanja laboratorijskih eksperimenata na mreži. Na primjer, istraživači su brzo usvojili Amazon Mechanical Turk (MTurk) za regrutiranje sudionika za online eksperimente (slika 4.2). MTurk odgovara "poslodavcima" koji imaju zadatke koji moraju biti završeni s "radnicima" koji žele dovršiti te zadatke za novac. Za razliku od tradicionalnih tržišta rada, zadaci koji su uključeni obično traju samo nekoliko minuta za dovršetak, a cjelokupna interakcija između poslodavca i radnika je na mreži. Budući da MTurk oponaša aspekte tradicionalnih laboratorijskih eksperimenata - plaćanje ljudi za obavljanje zadataka koje ne bi učinili besplatno - to je prirodno prikladno za određene vrste eksperimenata. U osnovi, MTurk je stvorio infrastrukturu za upravljanje bazenom sudionika - regrutiranje i plaćanje ljudi - a istraživači su iskoristili tu infrastrukturu kako bi iskoristili uvijek dostupan bazen sudionika.

Slika 4.2: Radovi objavljeni korištenjem podataka iz Amazon Mechanical Turk (MTurk). MTurk i ostala mrežna tržišta rada nude istraživačima praktičan način za regrutiranje sudionika za eksperimente. Prilagođeno iz Bohannon (2016) .

Digitalni sustavi stvaraju još više mogućnosti za eksperimente poput polja. Konkretno, omogućuju istraživačima da kombiniraju zbijeno upravljanje i podatke o procesima koji su povezani s laboratorijskim eksperimentima s raznolikijim sudionicima i prirodnijim postavkama koje su povezane s laboratorijskim eksperimentima. Nadalje, eksperimenti na digitalnom polju nude i tri mogućnosti koje su bile teške u analognim eksperimentima.

Prvo, dok većina analognih laboratorijskih i terenskih eksperimenata ima stotine sudionika, eksperimenti na digitalnom polju mogu imati milijune sudionika. Ova je promjena u skali jer neki digitalni eksperimenti mogu proizvesti podatke s nula varijabilnih troškova. To znači da, nakon što su istraživači stvorili eksperimentalnu infrastrukturu, povećanje broja sudionika obično ne povećava troškove. Povećanje broja sudionika faktorom 100 ili više nije samo kvantitativna promjena; to je kvalitativna promjena, jer omogućuje istraživačima da nauče različite stvari iz eksperimenata (npr. heterogenost učinaka liječenja) i da pokreće sasvim drugačije eksperimentalne projekte (npr. eksperimenti velikih skupina). Ta je točka toliko važna da ću se vratiti do kraja poglavlja kad vam ponudim savjete o izradi digitalnih eksperimenata.

Drugo, dok većina analognih laboratorija i terenskih eksperimenata tretiraju sudionike kao neodlučivog člana, eksperimenti na digitalnom polju često koriste pozadinske informacije o sudionicima u fazama dizajna i analize istraživanja. Ova pozadinska informacija, koja se naziva informacija o pretkripciji , često je dostupna u digitalnim eksperimentima jer se pokreću na vrhu uvijek mjernih sustava (vidi poglavlje 2). Na primjer, istraživač na Facebooku ima mnogo više informacija o prethodnoj obradi o ljudima u svom eksperimentu na digitalnom polju, nego što sveučilišni istraživači imaju o ljudima u svom eksperimentu analognog polja. Ova predobrada omogućuje učinkovitije eksperimentalne projekte - kao što je blokiranje (Higgins, Sävje, and Sekhon 2016) i ciljanu regrutiranje sudionika (Eckles, Kizilcec, and Bakshy 2016) - i detaljniju analizu - kao što je procjena heterogenosti učinaka liječenja (Athey and Imbens 2016a) i prilagodbu kovarijata za poboljšanu preciznost (Bloniarz et al. 2016) .

Treće, dok mnogi analogni laboratorijski i terenski pokusi isporučuju tretmane i mjere ishode u relativno komprimiranoj količini vremena, neki eksperimenti na digitalnom polju događaju se tijekom mnogo duže vremenske skale. Primjerice, eksperiment Restivo i van de Rijta imao je ishod dnevno mjereno 90 dana, a jedan od eksperimenata koje ću vam reći o kasnijim poglavljima (Ferraro, Miranda, and Price 2011) pratili su ishode tijekom tri godine u osnovi ne trošak. Ove tri mogućnosti - veličina, podaci o pretkripciji i longitudinalni podaci o liječenju i ishodu - najčešće nastaju kada se pokusi pokreću na vrhu uvijek mjernih sustava (vidi poglavlje 2 za više o mjernim sustavima).

Dok eksperimenti na digitalnom polju nude brojne mogućnosti, dijele i neke slabosti s oba analiza laboratorijskih i analognih terenskih eksperimenata. Na primjer, eksperimenti se ne mogu koristiti za proučavanje prošlosti i mogu procijeniti učinke tretmana koji se mogu manipulirati. Također, iako su eksperimenti nedvojbeno korisni za vođenje politike, točne smjernice koje mogu ponuditi donekle su ograničene zbog komplikacija kao što su ekološka ovisnost, problemi s usklađenosti i ravnotežni učinci (Banerjee and Duflo 2009; Deaton 2010) . Eksperimenti na digitalnom polju također povećavaju etičku zabrinutost stvorena eksperimentima na terenu - temu koju ću obrađivati ​​kasnije u ovom poglavlju iu 6. poglavlju.