4.3 dvije dimenzije eksperimenata: Lab-polje i analogno-digitalni

Lab eksperimenti nude kontrolu, eksperimenti na terenu nude realizam, i digitalni eksperimenti na terenu kombinuju kontrolu i realizam na skali.

Eksperimenti dolaze u različitim oblicima i veličinama. Ali, bez obzira na ove razlike, istraživači su otkrili da je korisno da se organizuje eksperimenata duž kontinuuma između laboratoriju eksperimente i eksperimente na terenu. Sada, međutim, istraživači bi trebalo da organizuje eksperimente duž kontinuuma između analognog eksperimenata i digitalni eksperimente. Ovaj dvodimenzionalni dizajn prostora pomoći će vam razumjeti prednosti i nedostatke različitih pristupa i ukazuju na područjima najveća šansa (Slika 4.1).

Slika 4.1: Shematski dizajna prostora za eksperimente. U prošlosti, eksperimenata varira duž Lab-polje dimenziju. Sada, oni se razlikuju na analogno-digitalni dimenziju. Po mom mišljenju, na području najveća šansa je digitalni eksperimenti polje.

U prošlosti, glavni način da su istraživači u organizaciji eksperimenata je duž laboratorija polja dimenziju. Većina eksperimenata u društvenim naukama su laboratorijski eksperimenti u kojima studenata obavljaju čudne poslove u laboratoriju za kurs kredit. Ova vrsta eksperimenta dominira istraživanja u psihologiji, jer omogućava istraživačima da stvore vrlo specifične tretmane dizajniran za testiranje vrlo specifične teorije o socijalno ponašanje. Za određene probleme, međutim, nešto osjeća pomalo čudno o izradi jake zaključke o ljudskom ponašanju od takvih neobično ljudi obavljaju takve neobične poslove u takvom neobičnom ambijentu. Ovi problemi doveli su do kretanja prema eksperimente na terenu. eksperimenti polje kombinuju snažan dizajn randomiziranih eksperimenata kontrole s više predstavnik grupe učesnika, obavljanje više uobičajene zadatke, u više prirodnom okruženju.

Iako neki ljudi misle o laboratoriju i na terenu eksperimente kao konkurentskih metoda, to je najbolje da mislim o njima kao komplementarne metode s različitim prednosti i slabosti. Na primjer, Correll, Benard, and Paik (2007) koristiti i laboratoriji eksperiment i polje eksperiment u pokušaju da pronađu izvore "majčinstva kazna." U Sjedinjenim Američkim Državama, majke zarađuju manje novca nego bez dece žena, čak i kada u odnosu žene sa sličnim vještinama koji rade na sličnim poslovima. Postoji mnogo mogućih objašnjenja za ovaj obrazac, a jedan je da poslodavci su predrasude protiv majke. (Zanimljivo je, suprotno čini da bi bilo istinito za očeve: oni imaju tendenciju da zarađuju više od sličnih ljudi bez dece). U cilju procjene moguće pristranosti protiv majke, Correll i kolege ran dva eksperimenta: jedan u laboratoriji i jedan na terenu.

Prvo, u laboratoriju eksperiment Correll i kolega rekao učesnicima, koji su bili koledž studenata, da je start-up komunikacije kompanija sa sjedištem u Kaliforniji je vodio potragu za zapošljavanje za osobu da vodi svoju novu East Coast odjela za marketing. Učenici su nam rekli da je kompanija želi njihovu pomoć u procesu zapošljavanja i oni su zamoljeni da komentar biografije nekoliko potencijalnih kandidata i ocijeniti kandidate na broj dimenzija, kao što su njihove inteligencije, toplina, i posvećenost poslu. Nadalje, studenti su pitali da li bih preporučio zapošljavanje podnosioca i ono što bih preporučio kao početnu plaću. Bez znanja studenata, međutim, nastavlja su posebno izgrađeni biti slična, osim za jednu stvar: neke od biografija signalizirao materinstvo (navođenjem učešće u udruženju roditelja i nastavnika), a neki nisu. Correll otkrili da učenici su manje šanse da preporuči zapošljavanje majki i ponudio im niže početne plaće. Nadalje, kroz statističke analize i rejtinga i odluka zapošljavanja u vezi, Correll otkrili da nedostaci majke "su u velikoj mjeri objasniti činjenicom da su majke ocijenio niže u pogledu nadležnosti i obaveza. Drugim riječima, Correll tvrdi da su ove osobine su mehanizam kojim majke su u nepovoljnom položaju. Stoga, ovaj laboratoriju eksperiment dozvoljeno Correll i kolege za mjerenje efekat kauzalni i pružaju moguće objašnjenje za tu svrhu.

Naravno, moglo bi biti skeptični donošenje zaključaka o čitavom američkom tržištu rada na osnovu odluka od nekoliko stotina studenata koji su se vjerojatno nikada nije imao stalni posao, a kamoli zaposlio ljude. Stoga, Correll i kolege i sproveli komplementarni polje eksperiment. Istraživači su odgovorili na stotine oglašenih radnih mesta slanjem lažnih popratna pisma i biografije. Slično kao i materijale pokaže studentima, neke biografije signalizirao majčinstvo, a neki nisu. Correll i kolege otkrili su da su majke bile manje šanse da se javio za intervjue od jednako kvalificiranih bez dece žena. Drugim riječima, pravi poslodavci donošenja posljedični odluke u prirodnom ambijentu ponašao isto kao i studente. Da li su se slične odluke iz istog razloga? Na žalost, ne znamo. Istraživači nisu mogli da traže poslodavci ocijeniti kandidate ili objasni svoje odluke.

Ovaj par eksperimenata otkriva mnogo o laboratoriju i na terenu eksperimente u cjelini. Lab eksperimenti nude istraživači u potpunu kontrolu nad okruženje u kojem učesnici donošenju odluka. Tako, na primjer, u laboratoriju eksperimenta, Correll je bio u mogućnosti kako bi se osiguralo da su sve biografije su pročitali u mirnom okruženju; u oglednom polju, neke biografije možda nije ni pročitana. Nadalje, jer učesnici u postavku laboratoriju znaju da su se proučava, istraživači su često u stanju da prikupi dodatne podatke koji im mogu pomoći da razumiju zašto učesnici donose svoje odluke. Na primjer, Correll pitao učesnika u laboratoriju eksperiment ocijeniti kandidate na različite dimenzije. Ova vrsta procesnih podataka može pomoći istraživačima razumiju mehanizme iza razlike u načinu na koji učesnici tretiraju se nastavlja.

S druge strane, upravo ove iste karakteristike koje sam upravo opisao kao prednosti su također ponekad smatraju nedostatke. Istraživači koji vole eksperimente na terenu tvrde da su učesnici u laboratoriji eksperimentima mogla djelovati drugačije kada se pažljivo pratiti. Na primjer, u laboratoriji učesnici eksperiment se može pretpostaviti da je cilj istraživanja i mijenjati svoje ponašanje tako da ne izgledaju pristrasni. Nadalje, istraživači koji vole eksperimente polje može tvrditi da male razlike u biografijama samo da se ističu u vrlo čist, sterilan laboratorijskom okruženju, i na taj način u laboratoriju eksperiment će preko-procijeniti efekt majčinstva na pravi zapošljavanja odluke. Konačno, mnogi zagovornici eksperimenata polje kritikuju laboratorijske eksperimente oslanjanje na WEIRD učesnika: uglavnom studenti iz zapadne, obrazovani, Industrijalizovane, Rich, i demokratskim zemljama (Henrich, Heine, and Norenzayan 2010) . Eksperimenti po Correll i kolege (2007) ilustriraju dva ekstrema na laboratorijskim polje kontinuum. Između ova dva ekstrema postoji niz hibridnih dizajna, uključujući pristupe kao što su dovođenje ne-studenti u laboratoriju ili odlazak na teren, ali i dalje imaju učesnici obavljaju neobičan zadatak.

Osim u laboratoriju terenu dimenzija koja je postojala u prošlosti, digitalno doba znači da su istraživači sada imaju drugi veliki dimenziju uz koju eksperimenti mogu varirati: analogno-digitalni. Kao što postoje čisti laboratorijski eksperimenti, eksperimenti čisto polje, i raznih hibrida između, postoje čisti analogni eksperimenti, čisti digitalni eksperimente, i raznih hibrida. To je nezgodno da ponudi formalnu definiciju ove dimenzije, ali korisna radna definicija je da u potpunosti digitalni eksperimenti su eksperimenti koji koriste digitalne infrastrukture za zapošljavanje učesnika, pomiješate, isporučuju tretmane, i mjerenje ishoda. Na primjer, Restivo i van de Rijt a (2012) studija barnstars i Wikipedia je potpuno digitalni eksperiment jer se koriste digitalne sisteme za sve četiri od tih koraka. Isto tako u potpunosti analogni eksperimenti su eksperimenti koji ne koriste digitalnu infrastrukturu za bilo koji od ova četiri koraka. Mnogi od klasičnih eksperimenata u psihologiji su analogni eksperimenti. Između ova dva ekstrema postoji djelomično digitalni eksperimenti koji koriste kombinaciju analognih i digitalnih sistema za četiri koraka.

Kritički, mogućnosti za pokretanje digitalni eksperimenti nisu samo online. Istraživači mogu pokrenuti djelomično digitalni eksperimente pomoću digitalnih uređaja u fizičkom svijetu, kako bi se isporučiti tretmane ili mjerenje ishoda. Na primjer, istraživači mogu koristiti pametne telefone za pružanje tretmana ili senzora u izgrađenom okruženju za mjerenje ishoda. U stvari, kao što ćemo vidjeti kasnije u ovom poglavlju, istraživači su već koristili metara kući snage za mjerenje ishoda u eksperimentima o društvenim normama i potrošnje energije uključuju 8,5 miliona domaćinstava (Allcott 2015) . Kao digitalnih uređaja postaje sve integrirati u živote ljudi i senzori postaju integrirana u izgrađenom okruženju, te mogućnosti za pokretanje djelomično digitalne eksperimente u fizičkom svijetu će dramatično povećati. Drugim riječima, digitalni eksperimenti nisu samo online eksperimente.

Digitalni sistemi stvaraju nove mogućnosti za eksperimente svuda duž Lab-polje kontinuum. U čistom laboratoriju eksperimentima, na primjer, istraživači mogu koristiti digitalne sisteme za mjerenje finije ponašanja učesnika; jedan primjer ove vrste poboljšanih mjerenja je oku-praćenje opreme koja omogućava precizno i ​​kontinuirano mjere pogleda lokacije. Digitalno doba i stvara mogućnost za pokretanje eksperimente Lab-poput online. Na primjer, istraživači su brzo usvojili Amazon Mechanical Turk (MTurk) za zapošljavanje polaznika za online eksperimente (Slika 4.2). MTurk utakmice "poslodavci" koji imaju zadatke koje je potrebno da se završi sa "radnicima" koji žele da završe one zadatke za novac. Za razliku od tradicionalnih tržišta rada, međutim, zadaci su uključeni obično zahtijevaju samo nekoliko minuta da završi i ceo interakcija između poslodavca i radnika je virtuelni. Jer MTurk oponaša aspekte tradicionalne Lab eksperimenata plaćaju ljude da završe zadatke koje oni ne bi uradili za besplatno-to je prirodno odgovara za određene vrste eksperimenata. U suštini, MTurk je stvorio infrastrukturu za upravljanje bazen učesnika-zapošljavanje i plaćanje ljudi-i istraživači su iskoristili te infrastrukture da iskoriste jedan uvek na raspolaganju bazen učesnika.

Slika 4.2: Radovi objavljeni na osnovu podataka iz Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk i drugih online tržišta rada nude istraživači zgodan način da regrutuje učesnika za eksperimente.

Digitalni eksperimentima stvoriti još više mogućnosti za eksperimente na terenu kao što je. Digitalni eksperimenti na terenu može ponuditi strogu kontrolu i obradu podataka da shvate mogućih mehanizama (poput laboratorija eksperimenti) i raznovrsniji učesnika donošenje realne odluke u prirodnom okruženju (kao što su eksperimenti na terenu). Uz ovu kombinaciju dobre karakteristike ranijih eksperimenata, digitalni eksperimenti na terenu i nude tri mogućnosti koje je bilo teško u analognom laboratoriju i na terenu eksperimente.

Prvo, dok većina analognih laboratoriju i na terenu Eksperimenti su stotine učesnika, digitalni eksperimenti polje može imati milione učesnika. Ova promjena u razini je zato što neki digitalni eksperimenti mogu proizvesti podataka na nuli varijabilni trošak. To je, kada istraživači su stvorili eksperimentalni infrastrukture, povećanje broja učesnika obično ne povećava troškove. Povećanje broja učesnika za faktor 100 ili više nije samo kvantitativna promjena, to je kvalitativna promjena, jer omogućava istraživačima da nauče različite stvari od eksperimenata (npr heterogenost efekata tretmana) i pokrenite potpuno drugačiji eksperimentalni dizajn ( npr, velika grupa eksperimenata). Ova tačka je toliko važno, ja ću se vratiti da ga na kraju poglavlja, kada sam ponuditi savjet o stvaranju digitalnih eksperimentima.

Drugo, dok većina analognih laboratoriju i na terenu eksperimenti tretiraju učesnika kao razlikovati widgeta, digitalni eksperimenti na terenu često koriste osnovne informacije o učesnicima u dizajn i analizu fazama istraživanja. Ova informacija pozadini, koji se zove informacija predtretman, često dostupan u digitalnom eksperimentima, jer se odvijaju u potpunosti mjeriti sredinama. Na primjer, istraživač na Facebook ima mnogo više informacija pred-tretman nego istraživač dizajniranje standardni laboratorijski eksperiment sa studentima. Ova informacija predtretman omogućava istraživačima da krenu dalje tretira polaznika kao razlikovati widgeta. Konkretnije, informacija predtretman omogućava efikasnije eksperimentalnih dizajna kao što su blokiranje (Higgins, Sävje, and Sekhon 2016) i ciljano zapošljavanje učesnika (Eckles, Kizilcec, and Bakshy 2016) -i više pronicljiva analiza kao što su procjene heterogenosti efekata tretmana (Athey and Imbens 2016a) i kovarijantne podešavanje za poboljšanu preciznost (Bloniarz et al. 2016) .

Treće, dok mnogi analogni laboratoriju i na terenu eksperimente isporučuju tretmane i rezultata mjera u relativno komprimirani količinu vremena, neki digitalni eksperimenti na terenu uključuju tretmane koji mogu biti isporučeni tokom vremena i efekti mogu se mjeriti vremenom. Na primjer, Restivo i van de Rijt eksperiment ima ishod mjeriti dnevno 90 dana, a jedan od eksperimenata ću vam reći o kasnije u poglavlju (Ferraro, Miranda, and Price 2011) prati ishode preko 3 godine na osnovi nema troškova. Ove tri mogućnosti veličine, informacija predtretman, i uzdužne liječenje i ishod podataka su najčešće kada eksperimenti imaju na vrhu uvijek na mjerenja sistema (pogledajte Poglavlje 2 za više informacija o uvijek-na mjerenje sistema).

Dok digitalni eksperimenti polje nude mnoge mogućnosti, oni također imaju neke slabosti i sa analognim laboratoriju i eksperimente na terenu. Na primjer, eksperimenti se ne može koristiti za proučavanje prošlosti, i oni mogu procijeniti samo efekte tretmana koji se može manipulisati. Također, iako su eksperimenti su nesumnjivo korisni za vođenje politike, precizno vođenje mogu ponuditi je donekle ograničen zbog komplikacija, kao što su ovisnost okoliša, problemi poštovanje, i efekti ravnoteže (Banerjee and Duflo 2009; Deaton 2010) . Konačno, digitalni eksperimenti polje uvećali etička pitanja stvorio eksperimentima na terenu. Zagovornici eksperimenata polje truba njihovu sposobnost da se nenametljivo i nasumično intervenirati u posljedične odluke koje donose milione ljudi. Ove karakteristike nude određene naučne prednosti, ali mogu napraviti eksperimente polje etički kompleks (mislim o tome kao istraživači tretiranje ljudi kao "zamorci" na masovno). Nadalje, pored moguće štete učesnicima, digitalni eksperimenti na terenu, zbog obima, može izazvati zabrinutost zbog ometanja rada društvenih sistema (npr zabrinutost zbog narušavanja Wikipedije sistem nagrađivanja ako Restivo i van der Rijt dao previše barnstars) .