4.3 Dvije dimenzije eksperimenata: laboratorijske terenu i analogno-digitalni

Laboratorijski eksperimenti nude kontrolu, poljskim pokusima ponuditi realizam, a eksperimenti digitalne terenske kombinirati kontrolu i realizam na ljestvici.

Eksperimenti dolaze u mnogo različitih oblika i veličina. No, unatoč tim razlikama, istraživači su otkrili da je korisno organizirati eksperimente na kontinuumu između laboratorijskih pokusa i eksperimenata na terenu. Sada, međutim, istraživači bi trebali organizirati i eksperimente duž kontinuuma između analognih pokusa i digitalnih eksperimenata. Ovaj dvodimenzionalni dizajn prostora pomoći će vam razumjeti prednosti i nedostatke pojedinih pristupa i predložiti područja najvećih mogućnosti (slika 4.1).

Slika 4.1: Shematski dizajn prostora za eksperimente. U prošlosti, eksperimenti varirala po dimenziji laboratorijske polja. Sada, oni se također razlikuju na analogno-digitalne dimenziji. Po mom mišljenju, na području najvećeg prilika je eksperimenti digitalni terenu.

U prošlosti, glavni način na koji znanstvenici u organizaciji eksperimenata bio uz dimenzije laboratorijske polja. Većina eksperimenata u društvenim znanostima su laboratorijski eksperimenti, u kojima dodiplomski studenti obavljaju neobične poslove u laboratoriju za kredit naravno. Ova vrsta eksperimenta dominira istraživanja u psihologiji jer omogućuje istraživačima stvaranje vrlo specifične tretmane namijenjene za testiranje vrlo specifične teorije o društvenom ponašanju. Za određene probleme, međutim, nešto osjeća malo čudno crtanje čvrste zaključke o ljudskom ponašanju od takvih neobičnih ljudi koji obavljaju takve neobične poslove u takvom neobičnom ambijentu. Ovi problemi doveli su do pokreta prema poljskih pokusa. pokusima kombinirati snažan dizajn eksperimenata randomiziranih kontrolnih s više reprezentativne skupine sudionika, obavljanje uobičajenih zadataka, u više prirodnih vrijednosti.

Iako neki ljudi misle laboratorijskih i terenskih pokusa kao natječu metode, najbolje je razmišljati o njima kao komplementarne metode s različitim snagama i slabostima. Na primjer, Correll, Benard, and Paik (2007) koristi i lab eksperiment i Terenski eksperiment u pokušaju da nađu izvore "majčinstva kazne". U SAD-u, majke zarađuju manje novca nego bez djece žena, čak i kada Usporedba žene sa sličnim vještinama rade na sličnim poslovima. Postoji mnogo mogućih objašnjenja za ovaj uzorak, a jedan je da su poslodavci imaju predrasude prema majkama. (Zanimljivo je, suprotno čini se da je istina za oci: oni imaju tendenciju da se zaraditi više od usporedivih bez djece muškaraca). Da bi se procijenila moguća pristranost protiv majke, Correll i kolege nakon dva pokusa: jedan u laboratoriju, a jedan na terenu.

Prvo, u laboratorijskom eksperimentu Correll i kolege rekli sudionika, koji su bili koledž studenti, koji Kalifornija-temeljen start-up komunikacije tvrtka je provođenje traženja posla za osobu da vodi svoju novu East Coast marketinški odjel. Studenti su rekli da je tvrtka željela njihovu pomoć u procesu zapošljavanja, a oni su pitali za pregled biografije nekoliko potencijalnih kandidata i ocijeniti kandidata na različitim dimenzijama kao što su njihove inteligencije, topline, i da će raditi. Nadalje, studenti su pitali jesu li bi preporučili zapošljavanje podnositelja prijave i što bi preporučili kao polazni plaće. Bez znanja studenata, međutim, nastavlja se posebno konstruirana da bude sličan, osim za jednu stvar: neke od biografije signalizirao majčinstvo (uz navođenje uključivanje u udruge roditelja i nastavnika), a neki nisu. Correll otkrili da su studenti bili su manje vjerojatno da će preporučiti angažiranje majke i ponudio im niže početne plaće. Nadalje, kroz statističku analizu oba ocjenama i odlukama zapošljavanje vezane, Correll otkrili da nedostaci majke su uglavnom objasniti činjenicom da su majke ocijenjeno niža u smislu stručnosti i predanosti. Drugim riječima, Correll tvrdi da ove osobine su mehanizam kojim majke su u nepovoljnom položaju. Dakle, ovaj laboratorij eksperiment dozvoljeno Correll i kolege za mjerenje uzročno djelovanje i pružaju moguće objašnjenje za tu svrhu.

Naravno, moglo bi biti skeptični izvlačiti zaključke o cijelom američkom tržištu rada se temelji na odlukama nekoliko stotina dodiplomskog koji su vjerojatno nikada nisu imali puno radno vrijeme, a kamoli zaposlili ljude. Dakle, Correll i kolege su također održali komplementarnu eksperiment na terenu. Istraživači su odgovorili na stotine oglašenih radnih mjesta slanjem lažnih pokriti slova i nastavlja. Slično materijala prikazanih u dodiplomskog studija, neki nastavlja signalizirao majčinstvo, a neki nisu. Correll i kolege otkrili su da su majke manje vjerojatno da će dobiti pozvao natrag na razgovor nego jednako kvalificiranih bez djece žena. Drugim riječima, pravi poslodavci čine posljedične odluke u prirodnom ambijentu ponašala slično kao dodiplomskog studija. Jesu li oni čine slične odluke iz istog razloga? Nažalost, mi ne znamo. Istraživači nisu mogli pitati poslodavce ocijeniti kandidate ili objasniti svoje odluke.

Ovaj par eksperimenata otkriva puno o laboratorijskim i terenskim pokusima u cjelini. Laboratorijski eksperimenti nude istraživačima blizu totalne kontrole okruženja u kojem su sudionici donošenja odluka. Tako, na primjer, u laboratoriju eksperimenta, Correll bio u mogućnosti kako bi se osiguralo da su sve biografije pročitao u mirnom okruženju; u polju eksperimentu, neki od biografije možda nisu ni pročitali. Nadalje, budući sudionici u okruženju laboratoriju znaju da su se proučavali, istraživači su često u mogućnosti prikupiti dodatne podatke koje im mogu pomoći shvatiti zašto su sudionici čine svoje odluke. Na primjer, Correll pitao sudionike u laboratoriju eksperiment ocijeniti kandidate na različitim dimenzijama. Ova vrsta procesnih podataka može pomoći znanstvenicima razumjeti mehanizme koji stoje iza razlike u načinu na koji su sudionici liječenje nastavlja.

S druge strane, ovi potpuno iste karakteristike koje sam upravo opisao kao prednosti su također ponekad smatra nedostatke. Istraživači koji vole eksperimente na terenu tvrde da sudionici u laboratorijskim pokusima može djelovati vrlo različito kada su se pomno pratiti. Na primjer, u laboratoriju sudionici eksperimenta možda pogađate cilj istraživanja i mijenjati svoje ponašanje kako ne bi izgledati pristran. Nadalje, istraživači koji vole eksperimente na terenu moglo tvrditi da male razlike na biografije može samo ističu u vrlo čistom i sterilnom laboratoriju okoliš, a time i laboratorijski eksperiment će precjenjuju utjecaj majčinstva na stvarnom odluke o zapošljavanju. Konačno, mnogi zagovornici poljskih pokusa kritizirati laboratorijskih eksperimenata oslanjanje na čudan sudionika: uglavnom studenti iz zapadne, obrazovan, industrijaliziranim, bogat i demokratskih zemalja (Henrich, Heine, and Norenzayan 2010) . Eksperimenti po Correll i kolege (2007) ilustriraju dvije krajnosti na laboratorijske polju kontinuumu. Između ove dvije krajnosti postoji niz hibridnih dizajna, uključujući pristupe kao što su dovođenje ne-studenti u laboratoriju ili ide u polje, ali još uvijek ima sudionici izvode neobičan zadatak.

Osim dimenzije laboratorijske terenu koji je postojao u prošlosti, digitalno doba znači da znanstvenici sada imaju drugu važnu dimenziju uz koju eksperimenti mogu varirati: analogno-digitalni. Baš kao što postoje čisti laboratorijski eksperimenti, eksperimenti čistih polja, i raznih hibrida između njih, tu su čisti analogni eksperimenti, čisti digitalni eksperimenti, kao i razne hibride. To je lukav ponuditi formalnu definiciju ovoj dimenziji, ali korisna radna definicija je da je potpuno digitalni eksperimenti su eksperimenti koje čine korištenje digitalne infrastrukture za zapošljavanje sudionika, miješaj, pružanje tretmana, i mjerenje ishoda. Na primjer, Restivo i van de Rijt-a (2012) Proučavanje barnstars i Wikipedia je bila potpuno digitalni eksperiment jer se koriste digitalne sustave za sve četiri od tih koraka. Isto tako u potpunosti analogni eksperimenti su eksperimenti koji ne čine korištenje digitalne infrastrukture za bilo koji od ova četiri koraka. Mnogi od klasičnih eksperimenata u psihologiji su analogni eksperimenti. Između ove dvije krajnosti postoje djelomično digitalni eksperimenti koji koriste kombinaciju analognih i digitalnih sustava za četiri koraka.

Kritički, mogućnosti za pokretanje digitalni eksperimenti nisu samo online. Istraživači mogu izvoditi djelomično digitalne pokuse pomoću digitalnih uređaja u fizičkom svijetu, kako bi se isporučiti tretmane ili mjerenje rezultata. Na primjer, istraživači su mogli koristiti pametne telefone za pružanje tretmana ili senzora u izgrađenog okoliša za mjerenje rezultata. U stvari, kao što ćemo vidjeti kasnije u ovom poglavlju, znanstvenici su već koristili kod kuće brojila za mjerenje rezultata u pokusima o društvenim normama i potrošnje energije koji uključuje 8,5 milijuna kućanstava (Allcott 2015) . Kao digitalni uređaji postaju sve integrirati u živote ljudi i senzori postati integrirana u izgrađenom okolišu, te prilike za pokretanje djelomično digitalne eksperimente u fizičkom svijetu dramatično će se povećati. Drugim riječima, digitalni eksperimenti nisu samo online eksperimenti.

Digitalni sustavi stvaraju nove mogućnosti za eksperimente posvuda duž laboratorijske polju kontinuumu. U čistih laboratorijskih pokusa, na primjer, istraživači mogu koristiti digitalne sustave za mjerenje finije ponašanja sudionika; jedan od primjera ove vrste poboljšane mjerenja je oku-praćenje opreme koji osigurava precizno i ​​kontinuirano mjere pogled mjestu. Digitalno doba i stvara mogućnost za pokretanje laboratorijske nalik eksperimente na internetu. Na primjer, znanstvenici su vrlo brzo usvojio Amazon Mechanical Turk (MTurk) regrutirati sudionike za online pokusa (Slika 4.2). MTurk odgovara "poslodavci" koji imaju zadatke koji trebaju biti završeni "radnika" koji žele ispuniti one zadatke za novac. Za razliku od tradicionalnih tržišta rada, međutim, zadaci su uključeni obično zahtijevaju samo nekoliko minuta za dovršetak i cijela interakcija između poslodavca i radnika je virtualna. Zbog MTurk oponaša aspekte tradicionalne laboratorijskih eksperimenata plaćati ljude za dovršenje zadataka da neće učiniti za free-to, naravno, pogodna za određene vrste pokusa. U osnovi, MTurk stvorila infrastrukturu za upravljanje bazen sudionika-zapošljavanje i plaćanje ljudi-i istraživači su iskoristili tu infrastrukturu iskoristiti u uvijek na raspolaganju bazen sudionika.

Slika 4.2: Radovi objavljeni na temelju podataka iz Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk i drugih online tržište rada ponuditi istraživačima zgodan način za zapošljavanje sudionika za eksperimente.

Digitalni eksperimenti stvoriti još više mogućnosti za eksperimente na terenu slično. Eksperimenti Digitalni polje može ponuditi široka kontrolnih podataka i procesa za razumijevanje mogućih mehanizama (poput laboratorijskih pokusa) i više različitih sudionika stvaranje prave odluke u prirodnom okruženju (kao što poljskih pokusa). Uz ovu kombinaciju dobrih karakteristika ranijih eksperimenata, eksperimenti digitalne terenske također nude tri mogućnosti koje su bile teško u analogni laboratorijskih i terenskih pokusa.

Prvo, dok većina analognih laboratorijski i terenski pokusi imaju stotine sudionika, eksperimenti digitalnom polju može imati milijune sudionika. Ova promjena u mjerilu, jer neki digitalni eksperimenti mogu proizvesti podatke na nula varijabilnog troška. To je, nakon što su znanstvenici stvorili eksperimentalni infrastrukture, povećanje broja sudionika u pravilu ne povećava troškove. Povećanje broja sudionika za faktor 100 ili više nije samo kvantitativna promjena, to je kvalitativna promjena, jer omogućuje istraživačima da uče različite stvari iz pokusa (npr heterogenost učinaka liječenja) i izvoditi u cijelosti različite eksperimentalne dizajne ( npr, veliki eksperimenti grupe). Ova točka je tako važno, ja ću se vratiti na to prema kraju poglavlja kad sam ponuditi savjet o stvaranju digitalnih eksperimente.

Drugo, dok većina analognih laboratorijski i terenski pokusi tretirati sudionika kao ne razlikuju widgeti, eksperimenti digitalnom polju često koriste osnovne informacije o sudionicima u projektiranje i analizu stadijima istraživanja. Ova pozadina informacije, koji se zove informacije predtretman, često je dostupna u digitalnom eksperimentima, jer se događaju u potpunosti izmjerenih okruženjima. Na primjer, istraživač na Facebooku ima puno više informacija prije liječenja od istraživača projektiranje standardnu ​​laboratorijsku eksperiment s dodiplomskog studija. Ova informacija predobrada omogućuje istraživačima da se presele izvan liječenje sudionicima kako se ne mogu razlikovati widgete. Točnije, informacije predobrada omogućuje učinkovitije eksperimentalni dizajn-kao što su blokiranje (Higgins, Sävje, and Sekhon 2016) i ciljano zapošljavanje sudionika (Eckles, Kizilcec, and Bakshy 2016) -I informativnijom analizom, kao što su procjene heterogenosti efekta tretmana (Athey and Imbens 2016a) i kovarijan prilagodbe za poboljšanu preciznost (Bloniarz et al. 2016) .

Treće, dok mnogi analogni laboratorijski i terenski pokusi isporučiti tretmane i ishode mjera u relativno komprimiranog vremena, neki eksperimenti digitalne terenske uključuju tretmani koji mogu biti isporučeni tijekom vremena, a posljedice mogu biti izmjerene tijekom vremena. Na primjer, Restivo i Van de Rijtkroz eksperiment ima ishod mjerena dnevno za 90 dana, a jedan od eksperimenata ja ću ti reći o tome kasnije u poglavlju (Ferraro, Miranda, and Price 2011) prati ishode više od 3 godine na osnovi nema trošak. Ove tri mogućnosti veličine, informacije predtretman i uzdužni postupak i rezultat podataka su najčešće kada se eksperimenti izvode na vrhu uvijek na mjerenja sustava (pogledajte Poglavlje 2 za više o uvijek-na mjernim sustavima).

Iako su pokusi digitalne terenske nude mnoge mogućnosti, oni također dijele neke nedostatke s obje analogni laboratoriju i pokusa na terenu. Na primjer, pokusi se ne može koristiti za proučavanje prošlost i mogu procijeniti samo učinke tretmana kojima se može rukovati. Također, iako su pokusi su nesumnjivo korisno voditi politiku, točan smjernice koje mogu ponuditi nešto ograničen zbog komplikacija kao što su ovisnosti okoliša, problemi usklađenost i ravnoteže utjecaja (Banerjee and Duflo 2009; Deaton 2010) . Konačno, eksperimenti digitalne terenske uvećati etičke probleme stvorene od strane poljskih pokusa. Zagovornici poljskih pokusa truba njihovu sposobnost da se nenametljivo i nasumično intervenirati u posljedičnih odluka koje su milijuni ljudi. Te značajke nude određene znanstvene prednosti, ali i oni mogu napraviti pokusima etički kompleks (mislim o tome kao znanstvenici liječenju ljudi kao što je "laboratorijskih štakora" masovno). Nadalje, osim mogućih šteta sudionicima, eksperimenti digitalni terenu, zbog razmjera, također može podići zabrinutost zbog prekida rada socijalne sustave (npr zabrinutost zbog narušavanja Wikipedia o nagrađivanje ako Restivo i van der Rijt dao previše barnstars) ,