4.3 Du dimensioj de eksperimentoj: laboratorio-kampo kaj analoga-cifereca

Laboratorio eksperimentoj proponi kontrolo, kampo eksperimentoj proponi realismo, kaj cifereca kampo eksperimentoj kombini kontrolo kaj realismo en skalo.

Eksperimentoj venas en multaj malsamaj formoj kaj grandecoj. En la pasinteco, esploristoj trovis ĝin utila organizi eksperimentojn laŭ kontinua inter labortaj eksperimentoj kaj kampaj eksperimentoj . Nun, tamen, esploristoj ankaŭ devus organizi eksperimentojn laŭ dua kontinua inter analogaj eksperimentoj kaj ciferecaj eksperimentoj . Ĉi tiu dudimensia dezajno spaco helpos vin kompreni la fortojn kaj malfortojn de malsamaj aliroj kaj reliefigi la areojn de plej granda ŝanco (figuro 4.1).

Figuro 4.1: Skemo de dezajno-spaco por eksperimentoj. En la pasinteco, eksperimentoj variis laŭ la labortekla dimensio. Nun ili ankaŭ varias laŭ la analoga-cifereca dimensio. Ĉi tiu dudimensia dezajno-spaco estas ilustrita per kvar eksperimentoj, kiujn mi priskribas en ĉi tiu ĉapitro. En mia opinio, la areo de plej granda okazo estas ciferecaj kampoj eksperimentoj.

Unu dimensio, laŭ kiu la eksperimentoj povas esti organizita, estas la laborda kampo. Multaj eksperimentoj en la sociaj sciencoj estas laboratoriaj eksperimentoj, kie studentaj studentoj realigas strangajn taskojn en laboratorio laŭ kurzo. Ĉi tiu speco de eksperimento regas esploradon en psikologio ĉar ĝi ebligas esploristojn krei tre kontrolitajn agordojn por precize izoli kaj provi specifajn teoriojn pri socia konduto. Por iuj problemoj, tamen, io sentas iom stranga pri desegni fortajn konkludojn pri homaj kondutoj de tiaj nekutimaj homoj plenumantaj tiajn nekutimajn taskojn en tia nekutima agordo. Ĉi tiuj zorgoj kondukis al movado al kampo eksperimentoj . Kampoj eksperimentoj kombinas la fortan dezajnon de hazardigitaj kontrolaj eksperimentoj kun pli reprezentaj grupoj de partoprenantoj realigante pli oftajn taskojn en pli naturaj agordoj.

Kvankam iuj homoj pensas pri laboratorio kaj kampo-eksperimentoj kiel konkurantaj metodoj, plej bone pensas pri ili kiel plaj, kun malsamaj fortoj kaj malfortoj. Ekzemple, Correll, Benard, and Paik (2007) uzis kaj eksperimentan laboratorion kaj eksperimenton en provo trovi la fontojn de "patrineco". En Usono, patrinoj gajnas malpli da mono ol seninfanaj virinoj, eĉ kiam komparante virinojn kun similaj kapabloj laborante en similaj laborpostenoj. Ekzistas multaj eblaj klarigoj por ĉi tiu ŝablono, unu el kiuj estas, ke dungantoj malpacas kontraŭ patrinoj. (Interesa, la malo ŝajnas esti vera por patroj: ili inklinas gajni pli ol kompareblaj senkulpaj homoj). Por taksi eblajn antaŭjuĝojn kontraŭ patrinoj, Correll kaj kolegoj kuris du eksperimentojn: unu en la laboratorio kaj unu en la kampo.

Unue, en laborema eksperimento, ili diris al partoprenantoj, kiuj estis altlernejaj studentoj, ke firmao serĉis dungadon por persono konduki sian novan marbordan departementon. La lernantoj rakontis, ke la kompanio volis helpi en la kontraktado, kaj oni petis ilin revizii rekomencojn de pluraj eblaj kandidatoj kaj taksi la kandidatojn en diversaj dimensioj, kiel ilia inteligenteco, varmo kaj devontigo labori. Plue, la studentoj demandis, ĉu ili rekomendus kontrakti la demandanton kaj kion ili rekomendus kiel komencanta salajro. Nekonataj al la studentoj, tamen, la rekomencoj estis specife konstruitaj por esti similaj krom unu afero: kelkaj el ili markis patrinecon (per enlistigo de asocio de gepatra instruisto) kaj aliaj ne. Correll kaj kolegoj trovis, ke la studentoj estis malpli verŝajne rekomendi kontrakti la patrinojn kaj ke ili proponis al ili pli malaltan salajron. Plie, per statistika analizo de ambaŭ taksadoj kaj kontraktantaj decidoj, Correll kaj kolegoj trovis, ke la malavantaĝoj de la patrinoj estis plejparte klarigitaj per la fakto, ke ili estis taksitaj pli malaltaj laŭ kompetenteco kaj devontigo. Tiel, ĉi tiu sperto de laboratorio permesis al Correll kaj kolegoj mezuri efikan kaŭzon kaj provizi ebla klarigo por tiu efiko.

Kompreneble, unu povus esti skeptika pri desegnado de konkludoj pri la tuta usona labora merkato bazita laŭ la decidoj de kelkcent studentoj, kiuj verŝajne neniam havis plentempan laboron, malhelpu dungi iun. Sekve, Correll kaj kolegoj ankaŭ realigis kompletan eksperimenton. Ili respondis al centoj da reklamitaj laborpostenoj kun falsaj kovrilaj literoj kaj rekomencoj. Simila al la materialoj montritaj al la lernantoj, iuj rekomencoj signis patrinon kaj iujn ne. Correll kaj kolegoj trovis, ke patrinoj estis malpli verŝajne vokitaj por intervjuoj ol same kvalifikitaj seninfanaj virinoj. Alivorte, realaj dungantoj farante konsekvencajn decidojn en natura agado kondutis tre al la subgraduloj. Ĉu ili faris similajn decidojn por la sama kialo? Bedaŭrinde, ni ne scias. La esploristoj ne povis peti al la dungantoj taksi la kandidatojn aŭ klarigi iliajn decidojn.

Ĉi tiu paro de eksperimentoj malkaŝas multon pri labortempoj kaj kampoj eksperimentoj ĝenerale. Labaj eksperimentoj proponas esploristojn proksime-tutan kontrolon de la medio, en kiu partoprenantoj decidas. Do, ekzemple, en la laboratorio, Correll kaj kolegoj povis certigi, ke ĉiuj rekomencoj estis legataj en trankvila fikso; En la kampo eksperimento, iuj el la rekomencoj eble eĉ ne estis legitaj. Plie, ĉar partoprenantoj en laborejo scias, ke ili estas studataj, esploristoj ofte povas kolekti pliajn informojn, kiuj povas helpi klarigi kial partoprenantoj decidas. Ekzemple, Correll kaj kolegoj petis partoprenantojn en la laborema eksperimento por taksi la kandidatojn sur malsamaj dimensioj. Ĉi tiu speco de procezaj datumoj povus helpi esploristojn kompreni la mekanismojn malantaŭ diferencoj en kiel partoprenantoj traktas la rekomencojn.

Aliflanke, ĉi tiuj ĝustaj samaj trajtoj, kiujn mi ĵus priskribis kiel avantaĝoj, estas ankaŭ kelkfoje konsideritaj malavantaĝoj. Esploristoj, kiuj preferas kampojn eksperimentojn, argumentas, ke partoprenantoj en laboratoriaj eksperimentoj povus agi tre malsame ĉar ili scias, ke ili estas studataj. Ekzemple, en la sperto de la laboratorio, la partoprenantoj eble divenis la celon de la esplorado kaj ŝanĝis ilian konduton por ne apliki. Plie, esploristoj, kiuj preferas kampojn eksperimentojn, povus argumenti, ke malgrandaj diferencoj en rekomencoj nur povas elstari en tre pura kaj senfrukta labortempo, kaj tiel la eksperimenta laboratorio superstatigos la efekton de patrineco pri realaj kontraktoj. Fine, multaj proponantoj de kampo-eksperimentoj kritikas la eksperimentojn de labortempoj al la partoprenantoj de la SEIRD: ĉefe studentoj de okcidentaj, edukitaj, industriigitaj, riĉaj kaj demokratiaj landoj (Henrich, Heine, and Norenzayan 2010a) . La eksperimentoj de Correll kaj kolegoj (2007) ilustras la du ekstremojn sur la laboreja kontinuo. Inter ĉi tiuj du ekstremoj ankaŭ ekzistas vario de hibridaj dezajnoj, inkluzive de alproksimiĝoj kiel ekzemple alportado de ne-studentoj en laboratorion aŭ eniri en la kampon, sed ankoraŭ partoprenantoj faras nekutiman taskon.

Krom la laborema dimensio, kiu ekzistis en la pasinteco, la cifereca aĝo signifas, ke esploristoj nun havas duan gravan dimension laŭ kiu eksperimentoj povas varii: analog-ciferecaj. Same kiel ekzistas eksperimentoj de puraj laboratorioj, eksperimentoj de puraj kampoj kaj vario de hibridoj interne, ekzistas puraj analogaj eksperimentoj, puraj ciferecaj eksperimentoj kaj vario de hibridoj. Estas malfacile proponi formala difino de ĉi tiu dimensio, sed utila labora difino estas, ke plene ciferecaj eksperimentoj estas eksperimentoj, kiuj uzas ciferecajn infrastrukturojn por rekruti partoprenantojn, hazardigi, transdoni traktadojn kaj mezuri rezultojn. Ekzemple, la studo de studoj de steloj kaj Vikipedio de Restivo kaj van de Rijt (2012) estis tute cifereca eksperimento ĉar ĝi uzis ciferecajn sistemojn por ĉiuj kvar ĉi tiuj paŝoj. Same, plene analogaj eksperimentoj ne uzas ciferecan infrastrukturon por iu el ĉi tiuj kvar paŝoj. Multaj el la klasikaj eksperimentoj en psikologio estas plene analogaj eksperimentoj. Inter ĉi tiuj du ekstremoj, estas parte ciferecaj eksperimentoj, kiuj uzas kombinaĵon de analogaj kaj ciferecaj sistemoj.

Kiam iuj homoj pensas pri ciferecaj eksperimentoj, ili tuj pensas pri interretaj eksperimentoj. Ĉi tio estas malfeliĉa ĉar la ŝancoj por kuri ciferecajn eksperimentojn ne estas nur interrete. Esploristoj povas kuri parte ciferecajn eksperimentojn per uzado de ciferecaj aparatoj en la fizika mondo por liveri traktadojn aŭ mezuri rezultojn. Ekzemple, esploristoj povus uzi inteligentajn telefonojn por liveri traktadojn aŭ sensorojn en la konstruita medio por mezuri rezultojn. Fakte, kiel ni vidos poste en ĉi tiu ĉapitro, esploristoj jam uzis hejmajn metrojn por mezuri rezultojn en eksperimentoj pri energia konsumo kun 8.5 milionoj da hejmoj (Allcott 2015) . Ĉar la ciferecaj aparatoj fariĝas ĉiam pli integritaj en homaj vivoj kaj sensoroj fariĝas integritaj en la konstruita medio, ĉi tiuj ŝancoj kuri parte ciferecajn eksperimentojn en la fizika mondo pliiĝos draste. Alivorte, ciferecaj eksperimentoj ne estas nur enretaj eksperimentoj.

Ciferecaj sistemoj kreas novajn eblojn por eksperimentoj ĉie laŭ la laboreja kontinuo. En puraj laboratoriaj eksperimentoj, ekzemple, esploristoj povas uzi ciferecajn sistemojn por pli bona mezuro de kondutoj de partoprenantoj; Unu ekzemplo de ĉi tiu tipo de plibonigita mezuro estas okulaŭta teamo kiu provizas precizajn kaj kontinuajn mezurojn de rigardado. La cifereca aĝo ankaŭ kreas la eblon ekzekuti spertajn laborejojn en linio. Ekzemple, esploristoj rapide adoptis Amazon Mechanical Turk (MTurk) por varbi partoprenantojn por interretaj eksperimentoj (figuro 4.2). MTurk matĉoj "dungantoj", kiuj havas taskojn, kiuj devas kompletigi kun "laboristoj", kiuj volas kompletigi tiujn taskojn per mono. Kontraste kun tradiciaj laborkondiĉoj, tamen la taskoj okupitaj kutime postulas nur kelkajn minutojn por kompletigi, kaj la tuta interago inter laboristo kaj laboristo estas interrete. Ĉar MTurk imitas aspektojn de tradiciaj labormaj eksperimentoj-pagantaj homojn por kompletigi taskojn, kiujn ili ne farus senpage - ĝi estas nature taŭga por iuj specoj de eksperimentoj. Esence, MTurk kreis la infrastrukturon por administri grupon de partoprenantoj - varbado kaj pagado de homoj - kaj esploristoj utiligis tiun infrastrukturon por tuŝi ĉiam haveblajn grupojn de partoprenantoj.

Figuro 4.2: Paperoj publikigitaj uzante datumojn de Amazon Mechanical Turk (MTurk). MTurk kaj aliaj interretaj laboraj merkatoj proponas esploristojn oportunan manieron por rekruti partoprenantojn por eksperimentoj. Adaptita de Bohannon (2016) .

Ciferecaj sistemoj kreas eĉ pli eblojn por kampaj eksperimentoj. En aparta, ili ebligas esploristojn kombini la streĉan kontrolon kaj procezajn datumojn, kiuj estas asociitaj kun labormaj eksperimentoj kun la pli diversaj partoprenantoj kaj pli naturaj agordoj, kiuj estas asociitaj kun laboratoriaj eksperimentoj. Krome, ciferecaj kampoj eksperimentoj ankaŭ ofertas tri ŝancojn, kiuj inklinis malfacile en analogaj eksperimentoj.

Unue, dum plej multaj analogaj laboratorioj kaj kampaj eksperimentoj havas centojn da partoprenantoj, ciferecaj kampoj eksperimentoj povas havi milionojn da partoprenantoj. Ĉi tiu ŝanĝo en skalo estas ĉar iuj ciferecaj eksperimentoj povas produkti datumojn je nula variablo kosto. Tio estas, unufoje esploristoj kreis eksperimentan infrastrukturon, pliigante la nombro da partoprenantoj ĝenerale ne pliigas la koston. Pliigi la nombro de partoprenantoj per faktoro de 100 aŭ pli ne nur estas kvanta ŝanĝo; ĝi estas kvalita ŝanĝo, ĉar ĝi ebligas esploristojn lerni malsamajn aferojn de eksperimentoj (ekz., heterogeneco de kuracaj efikoj) kaj kuri tute malsamajn eksperimentajn desegnojn (ekz., grand-grupaj eksperimentoj). Ĉi tiu punkto estas tiel grava, mi revenos al ĝi al la fino de la ĉapitro kiam mi proponas konsilojn pri kreado de ciferecaj eksperimentoj.

Due, dum la plej multaj analogaj laboratorioj kaj kampoj eksperimentoj traktas al partoprenantoj kiel indistinguŝeblajn fenestraĵojn, ciferecaj kampoj eksperimentoj ofte uzas fonoran informon pri partoprenantoj en la planoj kaj analizaj etapoj de la esplorado. Ĉi tiu fona informo, kiu estas nomata antaŭprokrara informo , ofte estas disponebla en ciferecaj eksperimentoj ĉar ili estas kuritaj supre de ĉiam-mezuritaj sistemoj (vidu ĉapitro 2). Ekzemple, esploristo ĉe Facebook havas multe pli da antaŭprokraraj informoj pri homoj en sia cifereca kampo-eksperimento ol esploristo pri universitatoj pri sia analoga kampo-eksperimento. Ĉi tiu antaŭprokraktado ebligas pli efikajn eksperimentajn dezajnojn, kiel ekzemple blokado (Higgins, Sävje, and Sekhon 2016) kaj celataj (Eckles, Kizilcec, and Bakshy 2016) de partoprenantoj (Eckles, Kizilcec, and Bakshy 2016) kaj pli evidenta analizo -kiel takso de heterogeneco de traktado-efikoj (Athey and Imbens 2016a) kaj covariate adjustment por plibonigita precizeco (Bloniarz et al. 2016) .

Tria, dum multaj analogaj laboratorioj kaj kampo-eksperimentoj liveras traktadojn kaj mezuras rezultojn en relative kunpremita kvanto da tempo, iuj ciferecaj kampoj eksperimentoj okazas dum multe pli longaj tempoj. Ekzemple, la eksperimento de Restivo kaj van de Rijt havis la rezulton mezurita ĉiutage dum 90 tagoj, kaj unu el la eksperimentoj, kiujn mi diros al vi pri pli poste en la ĉapitro (Ferraro, Miranda, and Price 2011) sekvigis rezultojn dum tri jaroj, esence neniu kosto. Ĉi tiuj tri informoj pri grandeco, antaŭ-traktado kaj longitudinalaj traktado kaj rezulto-datumoj ŝprucas plej ofte kiam eksperimentoj estas kuritaj supre de ĉiam-mezuradaj sistemoj (vidu ĉapitro 2 por pli da sistemoj de mezurita ĉiam).

Dum ciferecaj kampoj eksperimentoj proponas multajn eblojn, ili ankaŭ dividas iujn malfortojn kun analogaj kaj analogaj kampo-eksperimentoj. Ekzemple, eksperimentoj ne povas esti uzataj por studi la pasintecon, kaj ili nur povas taksi la efikojn de traktadoj, kiuj povas esti manipulitaj. Same, kvankam eksperimentoj estas sendube utilaj por gvidi politikon, la ĝusta gvidado, kiun ili povas proponi, estas iomete limigita pro komplikaĵoj kiel mediaj dependecoj, plenumaj problemoj kaj ekvilibraj efikoj (Banerjee and Duflo 2009; Deaton 2010) . Ciferecaj kampaj eksperimentoj ankaŭ grandigas la etikajn zorgojn kreitajn de kampo-eksperimentoj - temo, kiun mi adresos poste en ĉi tiu ĉapitro kaj en ĉapitro 6.