4.3 dvije dimenzije eksperimenata: Lab-polje i analogno-digitalni

Lab eksperimenti nude kontrolu, eksperimenti na terenu nude realizam, i digitalni eksperimenti na terenu kombinuju kontrolu i realizam na skali.

Eksperimenti dolaze u različitim oblicima i veličinama. U prošlosti istraživači su smatrali korisnim da organizuju eksperimente duž kontinuuma između laboratorijskih eksperimenata i terenskih eksperimenata . Sada, međutim, istraživači treba da organizuju eksperimente uz drugi kontinuum između analognih eksperimenata i digitalnih eksperimenata . Ovaj dvodimenzionalni prostor dizajna pomoći će vam da razumete snage i slabosti različitih pristupa i istaknete oblasti najveće mogućnosti (slika 4.1).

Slika 4.1: Shema prostora dizajna za eksperimente. U prošlosti eksperimenti variraju duž dimenzije lab-polja. Sada se takođe razlikuju i na analogno-digitalnoj dimenziji. Ovaj dvodimenzionalni prostor dizajna ilustrovan je četiri eksperimenta koji sam opisao u ovom poglavlju. Po mom mišljenju, područje najveće mogućnosti je digitalni eksperiment na terenu.

Jedna dimenzija uz koju se mogu organizovati eksperimenti je dimenzija lab-polja. Mnogi eksperimenti u društvenim naukama su laboratorijski eksperimenti gde studenti na dodiplomskim studijama obavljaju čudne zadatke u laboratoriji za kreditni kurs. Ovakav tip eksperimenta dominira istraživanjem u psihologiji jer omogućava istraživačima da stvaraju visoko kontrolisane postavke da precizno izoluju i testiraju specifične teorije o društvenom ponašanju. Za određene probleme, međutim, nešto se čini malo čudno u vezi sa crtanjem snažnih zaključaka o ljudskom ponašanju od takvih neobičnih ljudi koji obavljaju takve neobične zadatke u tako neobičnom okruženju. Ove zabrinutosti dovele su do kretanja ka terenskim eksperimentima . Terenski eksperimenti kombinuju jak dizajn randomizovanih kontrolnih eksperimenata sa više reprezentativnih grupa učesnika koji obavljaju više običnih zadataka u prirodnijim postavkama.

Iako neki ljudi razmišljaju o laboratorijskim i terenskim eksperimentima kao konkurentnim metodama, najbolje je razmišljati o njima kao komplementarnim, sa različitim prednostima i slabostima. Na primer, Correll, Benard, and Paik (2007) koristili laboratorijski eksperiment i terenski eksperiment u pokušaju da pronađu izvore "majčinske kazne". U Sjedinjenim Državama, majke zarađuju manje novca nego žene bez djece, čak i kada upoređujući žene s sličnim veštinama koje rade na sličnim poslovima. Postoji mnogo mogućih objašnjenja za ovaj obrazac, od čega je jedan od razloga što su poslodavci pristrasni prema majkama. (Zanimljivo je da suprotno izgleda da je istina za očeve: oni imaju tendenciju da zarađuju više od uporedivih muškaraca bez dece). Da bi se procijenila moguća pristrasnost prema majkama, Correll i kolege su vodili dva eksperimenta: jedan u laboratoriji i jedan na terenu.

Prvo, u laboratorijskom eksperimentu rekli su učesnicima, koji su bili koledžki studenti, da kompanija sprovodi posao za potragu za osobom koja će voditi svoj novi marketinški odjel istočne obale. Učenicima je rečeno da kompanija traži njihovu pomoć u procesu zapošljavanja, a od njih je traženo da pregledaju rezime nekoliko potencijalnih kandidata i da ocjenjuju kandidate po brojnim dimenzijama, kao što su njihova inteligencija, toplota i posvećenost radu. Dalje, studenti su bili pitani da li će preporučiti zapošljavanje podnosioca zahtjeva i šta bi oni preporučili kao početnu platu. Bez obzira na studente, međutim, rezime su posebno konstruisani da budu slični, osim jedne stvari: neki od njih su signalizirali majčinstvo (uključivanjem učešća u udruženju roditelja-nastavnika), a neke nisu. Correll i kolege su otkrili da je manje vjerovatno da će učenici preporučiti zapošljavanje majki i da im ponudi nižu početnu platu. Nadalje, kroz statističku analizu kako ocenjivanja tako i odluka vezanih za zapošljavanje, Correll i kolege su otkrili da su nedostatke majki u velikoj meri objašnjene činjenicom da su ocijenjene niže u smislu kompetencije i posvećenosti. Tako je ovaj laboratorijski eksperiment dozvolio Correllu i kolegama da izmeru uzročni efekat i pruže moguće objašnjenje za taj efekat.

Naravno, možda bi bilo skeptično u vezi sa donošenjem zaključaka o celokupnom tržištu rada u SAD-u na osnovu odluka nekoliko stotina studenata koji verovatno nikada nisu imali puno radno vreme, a kamoli angažovali nekoga. Zbog toga su Correll i kolege sproveli dodatni terenski eksperiment. Oni su odgovorili na stotine oglašivanih otvaranja radnih mjesta sa lažnim maskama i novinama. Slično materijalima prikazanim studentima, neki se nastavljaju signalizirali majčinstvo, a neki nisu. Correll i kolege su otkrili da su manje majke vraćene na intervjue nego jednako kvalifikovane žene bez djeteta. Drugim rečima, stvarni poslodavci koji donose posledične odluke u prirodnom okruženju ponašali su se slično kao i studenti. Jesu li donosili slične odluke iz istog razloga? Nažalost, ne znamo. Istraživači nisu bili u stanju da od poslodavaca zatraže da ocjenjuju kandidate ili objasne svoje odluke.

Ovaj par eksperimenata otkriva puno o laboratorijskim i terenskim eksperimentima uopšte. Laboratorijski eksperimenti nude istraživačima potpunu kontrolu okoline u kojoj učesnici donose odluke. Tako, na primjer, u laboratorijskom eksperimentu, Correll i kolege su uspjeli osigurati da se svi rezimei čitaju u tihom okruženju; u eksperimentu na terenu, neke od nastavaka možda nisu ni čitane. Dalje, zbog toga što učesnici u laboratoriji znaju da se oni proučavaju, istraživači često mogu prikupiti dodatne podatke koji mogu pomoći da se objasni zašto učesnici donose svoje odluke. Na primer, Correll i kolege su pitali učesnike u laboratorijskom eksperimentu da ocjenjuju kandidate u različitim dimenzijama. Ovakvi podaci o procesu mogu pomoći istraživačima da razumeju mehanizme koji stoje iza razlika u tome kako učesnici tretiraju rezimee.

Sa druge strane, ove iste karakteristike, koje sam upravo opisao kao prednosti, ponekad se smatraju i nedostacima. Istraživači koji vole eksperimente na terenu, tvrde da učesnici u laboratorijskim eksperimentima mogu djelovati veoma drugačije jer znaju da se oni proučavaju. Na primjer, u laboratorijskom eksperimentu, učesnici su možda pogodili cilj istraživanja i promijenili svoje ponašanje kako ne bi izgledali pristrasno. Osim toga, istraživači koji vole eksperimente na terenu, mogu tvrditi da male razlike u rezimu mogu da se ističu samo u vrlo čistom, sterilnom laboratorijskom okruženju, pa će labar eksperiment preceniti efekat materinstva na odluke o stvarnom zapošljavanju. Konačno, mnogi zagovornici eksperimenata na terenu kritikuju oslanjanje laboratorijskih eksperimenata na učesnike WEIRD-a: uglavnom učenike iz zapadnih, obrazovanih, industrijalizovanih, bogatih i demokratskih zemalja (Henrich, Heine, and Norenzayan 2010a) . Eksperimenti Correll-a i kolega (2007) ilustruju dva ekstrema na kontinuumu laboratorijskih polja. Između ove dve krajnosti postoje i različiti hibridni dizajni, uključujući pristupe kao što su dovršavanje ne-učenika u laboratoriju ili odlazak na teren, ali i dalje učesnici obavljaju neobičan zadatak.

Pored laboratorijske dimenzije koja je postojala u prošlosti, digitalno doba znači da istraživači sada imaju drugu glavnu dimenziju na kojoj eksperimenti mogu varirati: analogno-digitalni. Baš kao što postoje čisti lab eksperimenti, eksperimenti sa čistim terenima i niz hibrida između, postoje čisti analogni eksperimenti, čisti digitalni eksperimenti i razni hibridi. Teško je ponuditi formalno definisanje ove dimenzije, ali korisna definicija rada je da su u potpunosti digitalni eksperimenti eksperimenti koji koriste digitalnu infrastrukturu za regrutovanje učesnika, randomizuju, isporučuju tretmane i mere rezultate. Na primer, studija Restiv i van de Rijta (2012) o barnstarsima i Wikipediau je bio potpuno digitalni eksperiment jer je koristio digitalne sisteme za sva četiri koraka. Isto tako, potpuno analogni eksperimenti ne koriste digitalnu infrastrukturu za bilo koji od ovih četiri koraka. Mnogi od klasičnih eksperimenata u psihologiji su potpuno analogni eksperimenti. Između ove dve krajnosti, postoje delimično digitalni eksperimenti koji koriste kombinaciju analognih i digitalnih sistema.

Kada neki ljudi misle o digitalnim eksperimentima, oni odmah razmišljaju o online eksperimentima. Ovo je nesrećno jer mogućnosti za vođenje digitalnih eksperimenata nisu samo online. Istraživači mogu raditi delimično digitalne eksperimente pomoću digitalnih uređaja u fizičkom svetu kako bi pružili tretmane ili izmerili rezultate. Na primjer, istraživači mogu koristiti pametne telefone kako bi isporučili tretmane ili senzore u izgrađenom okruženju za merenje ishoda. Zapravo, kako ćemo videti kasnije u ovom poglavlju, istraživači su već koristili domaće brojilo za merenje rezultata u eksperimentima u vezi sa potrošnjom energije koja uključuje 8,5 miliona domaćinstava (Allcott 2015) . Pošto digitalni uređaji postaju sve više integrirani u život ljudi i senzori postaju integrisani u izgrađeno okruženje, ove mogućnosti za rad delimično digitalnih eksperimenata u fizičkom svijetu dramatično će se povećati. Drugim rečima, digitalni eksperimenti nisu samo online eksperimenti.

Digitalni sistemi stvaraju nove mogućnosti za eksperimente svuda po kontinuumu lab-polja. U čistim laboratorijskim eksperimentima, na primjer, istraživači mogu koristiti digitalne sisteme za bolje merenje ponašanja učesnika; jedan primer ovakvog poboljšanog merenja je oprema za očuvanje očiju koja pruža precizne i kontinuirane mere u pogledu pogleda. Digitalno doba takođe stvara mogućnost korišćenja online laboratorijskih eksperimenata. Na primjer, istraživači su brzo usvojili Amazon Mechanical Turk (MTurk) da regrutiraju učesnike za online eksperimente (slika 4.2). MTurk poklapa se sa "poslodavcima" koji imaju zadatke koji moraju biti dovršeni sa "radnicima" koji žele da završe te zadatke za novac. Međutim, za razliku od tradicionalnih tržišta rada, za obavljene zadatke obično je potrebno samo nekoliko minuta da se završi, a cjelokupna interakcija između poslodavca i radnika je na mreži. Zato što MTurk oponaša aspekte tradicionalnih laboratorijskih eksperimenata - plaćajući ljude da završe zadatke koje ne bi mogli učiniti besplatno - prirodno je pogodan za određene tipove eksperimenata. U suštini, MTurk je stvorio infrastrukturu za upravljanje bazom učesnika - zapošljavanje i plaćanje ljudi - a istraživači su iskoristili tu infrastrukturu kako bi ušli u uvek dostupni bazen učesnika.

Slika 4.2: Radovi objavljeni korišćenjem podataka Amazon Mechanical Turk (MTurk). MTurk i druga tržišta rada na tržištu nude istraživačima prikladan način regrutiranja učesnika za eksperimente. Prilagođeno od Bohannon (2016) .

Digitalni sistemi stvaraju još više mogućnosti za eksperimente poput polja. Konkretno, oni omogućavaju istraživačima da kombinuju čvrste podatke o kontroli i procesu koji su povezani sa laboratorijskim eksperimentima sa različitim učesnicima i prirodnijim podešavanjima koja su povezana sa laboratorijskim eksperimentima. Pored toga, digitalni eksperimenti na terenu takođe nude tri mogućnosti koje su u analognim eksperimentima težile.

Prvo, dok većina analognih laboratorijskih i terenskih eksperimenata ima stotine učesnika, eksperimenti na digitalnim poljima mogu imati milione učesnika. Ova promjena u skali je zato što neki digitalni eksperimenti mogu proizvesti podatke pri nultoj varijabilnoj cijeni. To jest, kada su istraživači stvorili eksperimentalnu infrastrukturu, povećanje broja učesnika obično ne povećava troškove. Povećanje broja učesnika za faktor od 100 ili više nije samo kvantitativna promjena; to je kvalitativna promena, jer omogućava istraživačima da uče različite stvari od eksperimenata (npr. heterogenost efekata tretmana) i da imaju potpuno različite eksperimentalne dizajne (npr. eksperimente velike grupe). Ova tačka je toliko važna, vraticu se na kraj poglavlja kada ponudim savjete o kreiranju digitalnih eksperimenata.

Drugo, dok većina analognih laboratorijskih i terenskih eksperimenata tretira učesnike kao nejednačive vidžete, digitalni eksperimenti na polju često koriste osnovne podatke o učesnicima u fazama projektovanja i analize istraživanja. Te osnovne informacije, koje se zovu informacije o prethodnom tretiranju , često su dostupne u digitalnim eksperimentima, jer se one vode na vrh sistema za merenje vremena (vidi poglavlje 2). Na primer, istraživač na Fejsbuku ima mnogo više podataka o prethodnom tretmanu ljudi u svom eksperimentu na digitalnom polju od univerzitetskog istraživača o ljudima u svom analognom eksperimentu na terenu. Ovaj pred-tretman omogućava efikasnije eksperimentalne projekte - kao što je blokiranje (Higgins, Sävje, and Sekhon 2016) i ciljano zapošljavanje učesnika (Eckles, Kizilcec, and Bakshy 2016) - i još intenzivnijih analiza - kao što je procjena heterogenosti efekata liječenja (Athey and Imbens 2016a) i (Athey and Imbens 2016a) prilagođavanje za poboljšanu preciznost (Bloniarz et al. 2016) .

Treće, dok mnogi analogni laboratorijski i terenski eksperimenti pružaju tretmane i mjeravaju ishode u relativno komprimovanom vremenskom periodu, neki eksperimenti na digitalnom polju se dešavaju tokom mnogo dužih vremenskih rokova. Na primer, Restiv i van de Rijtov eksperiment su ishod merili dnevno tokom 90 dana, a jedan od eksperimenata koje ću vam reći kasnije u poglavlju (Ferraro, Miranda, and Price 2011) pratio je rezultate tokom tri godine u osnovi ne trošak. Ove tri veličine mogućnosti, informacije o prethodnom tretmanu i podaci o longitudinalnom tretmanu i ishodu najčešće se pojavljuju kada se eksperimenti pokreću iznad sistema za merenje vremena (pogledajte poglavlje 2 za više o sistemima za merenje umereno).

Dok digitalni eksperimenti na polju pružaju mnoge mogućnosti, oni takođe dele neke slabosti sa analognom laboratorijom i analognim eksperimentima na terenu. Na primjer, eksperimenti se ne mogu koristiti za proučavanje prošlosti, a oni mogu samo procijeniti efekte tretmana koji se mogu manipulirati. Takođe, iako su eksperimenti nesumnjivo korisni za vođenje politike, tačno uputstvo koje oni mogu ponuditi je donekle ograničeno zbog komplikacija kao što su ekološka zavisnost, problemi sa usklađenošću i ravnotežni efekti (Banerjee and Duflo 2009; Deaton 2010) . Digitalni eksperimenti na terenu takođe povećavaju etičke probleme stvorene eksperimentima na terenu - tema koju ću pozvati kasnije u ovom poglavlju iu poglavlju 6.