2.4.3.1 Naturliga experiment

Naturliga experiment dra nytta av slumpmässiga händelser i världen. slumpmässig händelse + alltid-på datasystem = naturligt experiment

Nyckeln till randomiserade kontrollerade experiment som möjliggör rättvis jämförelse är randomisering. Men händer ibland något i världen som i huvudsak tilldelar människor slumpmässigt eller nästan slumpmässigt till olika behandlingar. En av tydligaste exemplen på strategin att använda naturliga experiment kommer från forskning Angrist (1990) som mäter effekten av militära tjänster på resultatet.

Under kriget i Vietnam, ökade USA storleken på sina väpnade styrkor genom ett utkast. För att avgöra vilken medborgarna skulle kallas i bruk, höll ett lotteri den amerikanska regeringen. Varje födelse representerades i ett papper, och dessa papper placerades i en stor glasburk. Som visas i figur 2,5, var dessa papperslappar dras från burken en i taget för att fastställa den ordning som unga män skulle kallas att tjäna (unga kvinnor inte omfattas av förslaget). Baserat på resultaten, var män födda den 14 september kallade första, män födda den 24 april kallades andra, och så vidare. I slutändan, i detta lotteri, var män födda på 195 olika dagar kallas för tjänsten medan män födda på 171 dagar inte kallades.

Figur 2.5: kongressledamoten Alexander Pirnie (R-NY) drar den första kapseln för förslaget Selective Service den 1 december 1969. Joshua Angrist (1990) kombinerat utkastet lotteri med resultatdata från Social Security Administration att uppskatta effekten av värnplikt på resultatet. Detta är ett exempel på forskning med användning av ett naturligt experiment. Källa: Wikimedia Commons

Även om det kanske inte är omedelbart uppenbar, har ett utkast lotteri en kritisk likhet med en randomiserad kontrollerad experiment: i båda fallen Deltagarna randomiserades till att få en behandling. När det gäller förslaget lotteri, om vi är intresserade av att lära om effekterna av förslaget berättigar och militärtjänst på efterföljande resultatarbetsmarknads kan vi jämföra resultaten för personer vars födelse var under lotteri cutoff (t.ex. 14 september april 24, etc.) med utfallen för personer vars födelsedagar var efter cutoff (t.ex. den 20 februari, den 2 december etc.).

Med tanke på att denna behandling av att utarbetas har slumpmässigt, kan vi sedan mäta effekten av denna behandling för eventuella resultat som har mätts. Till exempel, Angrist (1990) kombinerade information om vem som valdes slumpmässigt i förslaget med resultat data som samlades in av Social Security Administration att dra slutsatsen att resultatet av vita veteraner var cirka 15% lägre än resultatet för jämförbara icke-veteraner . Andra forskare har använt en liknande trick också. Till exempel, Conley and Heerwig (2011) kombinerade information om vem som valdes slumpmässigt i förslaget med hushållsuppgifter som samlats in från undersökningen folkräkningen 2000 och 2005 amerikanska gemenskapen och fann att så länge efter det att utkastet, det var lite långsiktig effekt av värnplikt på olika utfall såsom bostäder besittningsrätt (äga kontra hyra) och bostäder stabilitet (sannolikheten för att ha flyttat in senaste fem åren).

Som detta exempel visar, ibland sociala, politiska eller naturkrafter skapar experiment eller i närheten-experiment som kan utnyttjas av forskare. Ofta naturliga experiment är det bästa sättet att uppskatta orsak och verkan relationer i miljöer där det inte är etiskt eller praktiskt att köra randomiserade kontrollerade experiment. De är en viktig strategi för att upptäcka rättvisa jämförelser i icke-experimentella data. Denna forskningsstrategi kan sammanfattas med denna ekvation:

\ [\ text {slumpmässig (eller som om slumpmässig) händelse} + \ text {alltid-på dataströmmen} = \ text {naturligt experiment} \ qquad (2,1) \]

Däremot kan analysen av naturliga experiment vara ganska knepigt. Till exempel i fallet med Vietnam förslaget, inte alla som var drag berättigad hamnade portion (det fanns en mängd olika undantag). Och på samma gång, en del människor som inte var drag berättigade frivilligt för service. Det var som i en klinisk prövning av ett nytt läkemedel, hade vissa personer i behandlingsgruppen inte ta sin medicin och några av de människor i kontrollgruppen på något sätt fick läkemedlet. Detta problem, som kallas dubbelsidig noncompliance, såväl som många andra problem har beskrivits mer detaljerat i några av de rekommenderade avläsningar vid slutet av detta kapitel.

Strategin för att dra nytta av naturligt förekommande slump uppdrag föregår den digitala tidsåldern, men förekomsten av stora datamängder gör denna strategi mycket lättare att använda. När du inser någon behandling har slumpmässigt, kan stora datakällor ger resultatet data som du behöver för att jämföra resultaten för människor i behandlings- och kontrollvillkor. Till exempel i sin studie av effekterna av förslaget och militärtjänst, Angrist utnyttjat resultatposter från Social Security Administration, utan att detta utfallsdata, skulle hans studie inte varit möjlig. I det här fallet, är Social Security Administration den alltid påslagna stora datakälla. Eftersom fler och mer automatiskt in datakällor finns, kommer vi att ha mer utfallsdata som kan mäta effekterna av förändringar som skapats av exogen variation.

För att illustrera denna strategi i den digitala eran, låt oss betrakta Mas och Moretti s (2009) elegant forskning om effekten av jämnåriga på produktiviteten. Även på ytan kan det se annorlunda ut än Angrist studie om effekterna av Vietnam Utkast i struktur de båda följer mönstret i eq. 2,1.

Mas och Moretti mätte hur jämnåriga påverkar produktiviteten för arbetstagare. Å ena sidan kan ha en hårt arbetande inbördes leda arbetstagare att öka sin produktivitet på grund av grupptryck. Eller, å andra sidan kan en hårt arbetande inbördes leda andra arbetare att skruva upp ännu mer. Det tydligaste sättet att studera kamrateffekter på produktiviteten skulle vara en randomiserad kontrollerad experiment där arbetstagare slumpmässigt till skift med arbetare med olika produktivitetsnivåer och därefter resulterande produktiviteten mäts för alla. Forskare, dock inte kontrollera schemat för arbetstagare i någon verklig verksamhet, och så Mas och Moretti tvungen att förlita sig på ett naturligt experiment som ägde rum i en stormarknad.

Precis som ekv. 2,1, hade deras studie två delar. Först använde de stockarna från snabbköpet kassasystem för att få en exakt, individuell, och alltid-på produktivitetsmått: antalet objekt skannas per sekund. , Dels på grund av det sätt som schemaläggning gjordes vid denna stormarknad, de har nära slumpmässig sammansättning kamrater. Med andra ord, även om schemaläggningen av kassörer inte avgörs av ett lotteri, var det i huvudsak slumpmässig. I praktiken, det förtroende vi har i naturliga experiment gångjärn ofta på rimligheten i detta "as-if" random påstående. Med utnyttjande av denna slumpvariations Mas och Moretti fann att arbeta med högre produktivitet kamrater ökar produktiviteten. Vidare, Mas och Moretti använde storlek och rikedomen i sitt dataset att gå bortom uppskattning av orsak och verkan för att utforska två viktigare och subtila frågor: heterogenitet av denna effekt (för vilka typer av arbetstagare är effekten större) och mekanism bakom effekten (varför inte har höga produktivitets kamrater leda till högre produktivitet). Vi återkommer till dessa två viktiga frågor-heterogenitet av behandlingseffekter och mekanismer-i kapitel 5 när vi diskuterar experiment mer i detalj.

Generalisera från studierna på effekten av Vietnam Utkast på resultat och studier av effekten av jämnåriga på produktivitet, tabell 2.3 sammanfattar andra studier som har denna exakt samma struktur: med hjälp av en ständig datakälla för att mäta effekten av en viss händelse . Som framgår av tabell 2.3 klargör, naturliga experiment finns överallt om du vet precis hur man leta efter dem.

I praktiken, forskare använder två olika strategier för att hitta naturliga experiment, vilka båda kan vara givande. Vissa forskare börjar med den alltid påslagna datakälla och leta efter slumpmässiga händelser i världen; andra börjar med slumpmässiga händelser i världen och leta efter datakällor som fångar deras inverkan. Slutligen märker att styrkan av naturliga experiment kommer inte från sofistikerade statistiska analysen, men från vården att upptäcka en rättvis jämförelse som skapats av en lycklig slump historia.