4.3 Tweedimensionaal experimenten: lab-veld en analoog-digitaal

Lab experimenten bieden control, veldexperimenten bieden realisme en digitale veldexperimenten combineren controle en realisme op schaal.

Experimenten zijn er in vele verschillende vormen en maten. Maar ondanks deze verschillen, hebben de onderzoekers vonden het nuttig om experimenten te organiseren langs een continuüm tussen lab experimenten en veldexperimenten. Nu echter, onderzoekers moeten ook experimenten te organiseren langs een continuüm tussen analoge experimenten en digitale experimenten. Deze twee-dimensionale ontwerp ruimte zal u helpen de sterke en zwakke punten van de verschillende benaderingen te begrijpen en suggereren gebieden met de grootste kans (Figuur 4.1).

Figuur 4.1: Schematische voorstelling van het ontwerp ruimte voor experimenten. Vroeger experimenten worden gevarieerd over het lab-dimensieveld. Nu, maar ook afhankelijk van de analoog-digitaal dimensie. In mijn mening, het gebied van de grootste kans is digitaal veldexperimenten.

In het verleden was de belangrijkste manier georganiseerd dat onderzoekers experimenten was langs het lab-dimensieveld. De meerderheid van de experimenten in de sociale wetenschappen zijn lab experimenten waarbij studenten uit te voeren vreemde taken in een lab voor de cursus krediet. Dit type experiment domineert onderzoek in de psychologie, omdat het de onderzoekers in staat stelt om zeer specifieke behandelingen ontworpen om zeer specifieke theorieën over sociaal gedrag te testen te creëren. Voor bepaalde problemen, echter iets voelt een beetje vreemd over trekken sterke conclusies over het menselijk gedrag van zulke bijzondere mensen het uitvoeren van dergelijke ongebruikelijke taken in een dergelijke ongewone setting. Deze problemen hebben geleid tot een beweging naar veldexperimenten. Veldexperimenten combineren de sterke ontwerp van gerandomiseerde controle-experimenten met een meer representatieve groepen van deelnemers, het uitvoeren van meer algemene taken, in meer natuurlijke omgeving.

Hoewel sommige mensen denken van het lab en veldexperimenten als concurrerende methoden, is het best te denken van hen als complementaire methoden met verschillende sterke en zwakke punten. Bijvoorbeeld Correll, Benard, and Paik (2007) gebruikten zowel een laboratoriumexperiment en een veldexperiment in een poging om de bronnen van het "moederschap penalty". In de Verenigde Staten, moeders verdienen minder geld dan vrouwen zonder kinderen, ook als het vergelijken van vrouwen met gelijkaardige vaardigheden werken in gelijksoortige functies. Er zijn veel mogelijke verklaringen voor dit patroon, en is dat werkgevers bevooroordeeld tegen moeders. (Interessant is dat het tegenovergestelde lijkt om waar te zijn voor vaders: ze hebben de neiging om meer te verdienen dan vergelijkbare kinderloze mannen). Om mogelijke vooroordelen tegen moeders beoordelen Correll en collega rende twee experimenten: een in het laboratorium en een in het veld.

Ten eerste, in een laboratorium experiment Correll en collega's vertelde deelnemers, die college studenten waren, dat een in Californië gevestigde start-up communicatie bedrijf was het uitvoeren van een werk zoeken voor een persoon om te leiden zijn nieuwe East Coast marketing afdeling. De studenten kregen te horen dat het bedrijf wilde hun hulp bij het wervingsproces en ze werden gevraagd om cv's van een aantal potentiële kandidaten te beoordelen en de kandidaten op een aantal dimensies kunnen waarderen, zoals hun intelligentie, warmte en toewijding aan het werk. Verder werden de studenten gevraagd of ze zou het huren van de aanvrager en wat ze zouden aanbevelen als een aanvangssalaris. Buiten het medeweten van de studenten, maar de cv's zijn speciaal gebouwd vergelijkbaar behalve één ding te zijn: een deel van de cv's gesignaleerd moederschap (door een opsomming van betrokkenheid bij een ouder-leraar vereniging) en een aantal niet. Correll bleek dat studenten waren minder kans om te adviseren het inhuren van de moeders en bood hen lager aanvangssalaris. Verder, door middel van een statistische analyse van zowel de ratings en het inhuren gerelateerde beslissingen, Correll vond dat nadelen moeders werden grotendeels verklaard door het feit dat moeders lager werden beoordeeld op het gebied van competentie en betrokkenheid. Met andere woorden, Correll stelt dat deze kenmerken zijn het mechanisme waardoor moeders zijn benadeeld. Aldus is deze laboratoriumexperiment toegestaan ​​Correll en collega's om een ​​causaliteit meten en een mogelijke verklaring voor dit effect.

Natuurlijk zou men sceptisch over het trekken van conclusies over de gehele Amerikaanse arbeidsmarkt op basis van de beslissingen van een paar honderd studenten die waarschijnlijk nooit een full-time baan hebben gehad, laat staan ​​ingehuurde mensen. Daarom Correll en collega's die ook een complementair veldexperiment. De onderzoekers gereageerd op honderden geadverteerde vacatures door het sturen in nep sollicitatiebrieven en cv's. Net als bij de getoond aan de studenten materialen, een aantal cv's gesignaleerd moederschap en anderen niet. Correll en collega's vinden dat moeders waren minder kans om terug te komen voor aanwervingsgesprekken dan gelijke kwalificaties kinderloze vrouwen. Met andere woorden, echte werkgevers maken gevolgschade beslissingen in een natuurlijke omgeving gedroeg zich net als de studenten. Hebben ze maken soortgelijke besluiten om dezelfde reden? Helaas weten we niet. De onderzoekers waren niet in staat om de werkgevers te vragen aan de kandidaten een cijfer of hun beslissingen uit te leggen.

Dit paar experimenten onthult veel over labo en veldexperimenten in het algemeen. Lab experimenten hebben onderzoekers in de buurt van totale controle van de omgeving waarin de deelnemers het nemen van beslissingen. Dus, bijvoorbeeld, in het lab experiment, Correll was in staat om ervoor te zorgen dat alle cv's werden gelezen in een rustige omgeving; in het veldexperiment sommige cv misschien niet eens gelezen. Verder, omdat de deelnemers in het lab instelling weten dat ze worden bestudeerd, de onderzoekers zijn vaak in staat om extra gegevens die hen kan helpen begrijpen waarom de deelnemers maken hun beslissingen te verzamelen. Bijvoorbeeld, Correll vroeg de deelnemers in het laboratorium experiment om de kandidaten van verschillende dimensies te geven. Dit soort proces gegevens kunnen helpen onderzoekers begrijpen van de mechanismen achter verschillen in de manier waarop de deelnemers de behandeling van de hervat.

Anderzijds worden deze exact dezelfde eigenschappen die ik zojuist beschreven voordelen ook nadelen soms beschouwd. Onderzoekers die de voorkeur geven veldexperimenten beweren dat de deelnemers in het lab experimenten heel anders had kunnen handelen wanneer ze worden nauwlettend geobserveerd. Bijvoorbeeld, in het laboratorium experiment deelnemers zou kunnen hebben het doel van het onderzoek geraden en veranderde hun gedrag om niet te verschijnen bevooroordeeld. Verder onderzoekers die liever veldexperimenten zou kunnen zeggen dat de kleine verschillen op cv's kan alleen maar op te vallen in een zeer schone, steriele lab-omgeving, en dus het lab experiment zal overschatten het effect van het moederschap op de reële huren beslissingen. Tot slot, vele voorstanders van veldexperimenten bekritiseren laboratoriumexperimenten afhankelijkheid van BIZAR deelnemers: vooral studenten uit West, Opgeleid, Geïndustrialiseerde, Rich, en Democratische landen (Henrich, Heine, and Norenzayan 2010) . De experimenten van Correll en collega's (2007) tonen de twee extremen op het lab-veld continuüm. Tussen deze twee uitersten zijn verschillende hybride modellen waaronder benaderingen zoals deze van niet-studenten in een laboratorium of in het veld gaan maar nog steeds deelnemers iets ongebruikelijks taak.

Naast het lab-veld dimensie die bestaat in het verleden het digitale tijdperk betekent dat onderzoekers nu een tweede hoofdafmeting waarlangs experimenten kan variëren: analoog-digitaal. Net zoals er pure laboratoriumexperimenten, pure veldexperimenten en diverse hybriden Daartussen zijn pure analoge experimenten, puur digitaal experimenten en diverse kruisingen. Het is lastig om een formele definitie van deze dimensie te bieden, maar een bruikbare werkdefinitie is dat volledig digitale experimenten zijn experimenten die gebruik maken van de digitale infrastructuur om deelnemers te werven, willekeurig, leveren behandelingen, en het meten van de resultaten te maken. Bijvoorbeeld Restivo en Van de Rijt's (2012) studie van barnstars en Wikipedia is een volledig digitaal experiment omdat het gebruikt digitale systemen voor alle vier van deze stappen. Ook volledig analoge experimenten zijn experimenten die geen gebruik van digitale infrastructuur kan maken voor een van deze vier stappen. Veel van de klassieke experimenten psychologie analoge experimenten. Tussen deze twee uitersten gedeeltelijk digitale experimenten die een combinatie van analoge en digitale systemen voor de vier stappen gebruiken.

Kritisch, de mogelijkheden om te draaien digitale experimenten zijn niet alleen online. Onderzoekers kunnen gedeeltelijk digitale experimenten uit te voeren met behulp van digitale apparaten in de fysieke wereld om behandelingen te leveren of het meten van resultaten. Zo kan onderzoekers smartphones gebruiken om behandelingen of sensoren te leveren in de gebouwde omgeving om de resultaten te meten. In feite, zoals we later zullen zien in dit hoofdstuk, de onderzoekers hebben al gebruik gemaakt huis macht meter naar resultaten bij experimenten over sociale normen en het energieverbruik met 8,5 miljoen huishoudens te meten (Allcott 2015) . Zoals digitale apparaten steeds meer geïntegreerd in het leven van mensen en sensoren raken geïntegreerd in de gebouwde omgeving, deze mogelijkheden om gedeeltelijk digitale experimenten uitvoeren in de fysieke wereld zal drastisch toenemen. Met andere woorden, digitale experimenten zijn niet alleen online experimenten.

Digitale systemen creëren nieuwe mogelijkheden voor experimenten overal langs de lab-veld continuüm. In pure lab experimenten, bijvoorbeeld, onderzoekers kunnen digitale systemen voor de fijnere meting van het gedrag van de deelnemers te gebruiken; een voorbeeld van dit type van een betere meting is eye-tracking apparatuur die nauwkeurige en continue maatregelen van de blik locatie biedt. Het digitale tijdperk maakt ook de mogelijkheid om lab-achtige experimenten online uit te voeren. Zo hebben de onderzoekers snel aangenomen Amazon Mechanical Turk (MTurk) aan de deelnemers voor de online experimenten (Figuur 4.2) te werven. MTurk wedstrijden "werkgevers" die taken die moeten worden aangevuld met "werknemers" die willen om die taken uit te voeren voor het geld. In tegenstelling tot traditionele arbeidsmarkten, maar de veelal betrokken taken vereisen slechts een paar minuten in beslag en de volledige interactie tussen werkgever en werknemer is virtueel. Omdat MTurk bootst aspecten van de traditionele lab experimenten betaalde mensen om taken die zij niet voor zouden doen compleet gratis-het is van nature geschikt voor bepaalde soorten experimenten. In wezen, MTurk heeft de infrastructuur voor het beheer van een pool van de deelnemers-werven en het betalen van mensen-en onderzoekers hebben gebruik gemaakt van die infrastructuur aan te boren in een altijd beschikbare pool van de deelnemers gemaakt.

Figuur 4.2: Papers verschenen met behulp van gegevens van Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk en andere online arbeidsmarkt bieden onderzoekers een handige manier om deelnemers te werven voor experimenten.

Digitale experimenten maken nog meer mogelijkheden voor field-achtige experimenten. Digital veldexperimenten kan strakke controle en verwerken van gegevens te bieden aan mogelijke mechanismen (zoals lab experimenten) en meer diverse deelnemers aan het maken van echte beslissingen in een natuurlijke omgeving (zoals veldproeven) begrijpen. Naast deze combinatie van goede eigenschappen van eerdere experimenten, digitale veldexperimenten bieden ook drie mogelijkheden die moeilijk in analoge binnen- en buiten-experimenten.

Ten eerste, terwijl de meeste analoge lab en veldexperimenten hebben honderden deelnemers, digitale veldexperimenten kan miljoenen deelnemers. Deze verandering in omvang is omdat sommige digitale experimenten data op nul variabele kosten kunnen produceren. Dat is, wanneer de onderzoekers een experimentele infrastructuur gecreëerd, waardoor het aantal deelnemers gewoonlijk niet tot hogere kosten. Het verhogen van het aantal deelnemers met een factor 100 of meer is niet alleen een kwantitatieve verandering, het is een kwalitatieve verandering, omdat het onderzoekers in staat stelt om verschillende dingen te leren uit experimenten (bijvoorbeeld heterogeniteit van de effecten van de behandeling) en uit te voeren geheel verschillende experimentele ontwerpen ( bijvoorbeeld grote groep experimenten). Dit punt is zo belangrijk, ik zal terugkeren naar het einde van het hoofdstuk als ik advies geven over het maken van digitale experimenten.

Ten tweede, terwijl de meeste analoge lab en veldexperimenten behandelen deelnemers als niet te onderscheiden widgets, digitale veldexperimenten vaak gebruik van achtergrondinformatie over de deelnemers aan het ontwerpen en analyseren fasen van het onderzoek. Deze achtergrondinformatie die voorbehandeling zijn genoemd, is vaak in digitale experimenten omdat zij zich op volle gemeten te profiteren. Bijvoorbeeld, een onderzoeker bij Facebook heeft veel meer voorbehandeling informatie dan een onderzoeker het ontwerpen van een standaard lab experiment met studenten. Deze voorbehandeling informatie stelt onderzoekers in staat verder te gaan dan de behandeling van de deelnemers als niet te onderscheiden widgets. Meer in het bijzonder, voorbehandeling informatie maakt een efficiëntere experimentele ontwerpen-zoals het blokkeren (Higgins, Sävje, and Sekhon 2016) en gerichte werving van de deelnemers (Eckles, Kizilcec, and Bakshy 2016) -en meer inzichtelijke analyse-zoals de schatting van de heterogeniteit van de behandeling effecten (Athey and Imbens 2016a) en covariaat correctie voor betere precisie (Bloniarz et al. 2016) .

Ten derde, terwijl veel analoge lab en veldexperimenten leveren behandelingen en meet resultaten in een relatief samengedrukte tijd, bepaalde digitale veldexperimenten omvatten behandelingen die in de tijd kan worden geleverd en de effecten kunnen ook worden gemeten in de tijd. Bijvoorbeeld Restivo en Van de Rijt's experiment heeft de uitkomst dagelijks gemeten gedurende 90 dagen, en één van de experimenten die ik zal je vertellen over later in het hoofdstuk (Ferraro, Miranda, and Price 2011) tracks resultaten gedurende 3 jaar bij in principe geen kosten. Deze drie mogelijkheden-size, voorbehandeling informatie, en longitudinale behandeling en resultaat gegevens komen het meest voor bij experimenten worden uitgevoerd op de top van always-on metingen systemen (zie hoofdstuk 2 voor meer informatie over always-on meetsystemen).

Terwijl digitale veldexperimenten biedt vele mogelijkheden, maar ook delen een aantal zwakke punten met zowel analoge lab en veldexperimenten. Zo kan experimenten niet worden gebruikt voor het verleden bestuderen en ze kunnen alleen een schatting van de effecten van behandelingen die kunnen worden gemanipuleerd. Ook, hoewel experimenten zijn ongetwijfeld nuttig zijn om het beleid, de juiste begeleiding die ze kan bieden is enigszins beperkt als gevolg van complicaties, zoals milieu-afhankelijkheid, compliance problemen, en het evenwicht effecten (Banerjee and Duflo 2009; Deaton 2010) . Tot slot, digitale veldexperimenten vergroten de ethische bezwaren die door veldexperimenten. Voorstanders van veldexperimenten trompet hun vermogen om onopvallend en willekeurig in te grijpen in de gevolgschade beslissingen die door miljoenen mensen. Deze functies bieden bepaalde wetenschappelijke voordelen, maar ze kunnen ook veldexperimenten ethisch complex te maken (denk aan het als onderzoekers mensen als "laboratorium ratten" behandelen op grote schaal). Verder, in aanvulling op de mogelijke schade aan de deelnemers, digitale veldexperimenten, omwille van hun omvang, kan ook zorgen over de verstoring van de werkende sociale systemen te verhogen (bijvoorbeeld zorgen over het verstoren van Wikipedia's beloningssysteem als Restivo en van der Rijt gaf te veel barnstars) .