2.4.3 približnih eksperimenti

Možemo približiti eksperimente koje nismo ili ne možemo učiniti. Dva pristupa koji posebno pogoduju velikim izvorima podataka su prirodni pokusi i podudaranja.

Neka važna znanstvena i politička pitanja su kauzalni. Na primjer, što je učinak programa obuke za posao na plaće? Istraživač koji pokušava odgovoriti na ovo pitanje može usporediti zaradu ljudi koji su se prijavili za obuku onima koji to nisu učinili. Ali kolika je razlika u plaćama između tih grupa zbog treninga i koliko je zbog postojećih razlika između ljudi koji se prijavljuju i onih koji to ne čine? Ovo je teško pitanje, i to je onaj koji ne automatski odlazi s više podataka. Drugim riječima, briga o mogućim postojećim razlikama proizlazi bez obzira koliko je radnika u vašim podacima.

U mnogim situacijama, najsnažniji način procjene kauzalnog učinka nekog tretmana, kao što je obuka za posao, je provođenje randomiziranog kontroliranog eksperimenta u kojem istraživač slučajno pruža liječenje nekim ljudima, a ne drugima. Posvetit ću cijelo poglavlje 4 eksperimentima, pa ću se usredotočiti na dvije strategije koje se mogu koristiti s ne-eksperimentalnim podacima. Prva strategija ovisi o potrazi za nečim što se događa u svijetu koje slučajno (ili gotovo slučajno) dodjeljuje liječenje nekim ljudima, a ne drugima. Druga strategija ovisi o statističkoj prilagodbi ne-eksperimentalnih podataka u pokušaju da se objasni postojeće razlike između onih koji su učinili i nisu primili tretman.

Skeptik bi mogao tvrditi da se obje ove strategije trebaju izbjegavati jer zahtijevaju jake pretpostavke, pretpostavke koje je teško procijeniti i koje se u praksi često krše. Iako sam suosjećajan s tim tvrdnjama, mislim da je malo previše daleko. Svakako je istina da je teško pouzdano napraviti kauzalne procjene iz ne-eksperimentalnih podataka, ali ne mislim da to znači da nikada ne bismo trebali pokušati. Konkretno, ne-eksperimentalni pristupi mogu biti korisni ako vam logističko ograničenje sprječava provođenje eksperimenta ili ako etička ograničenja znače da ne želite pokrenuti eksperiment. Nadalje, ne-eksperimentalni pristupi mogu biti korisni ako želite iskoristiti prednosti koje već postoje da biste izradili randomizirani kontrolirani eksperiment.

Prije nastavka, valja istaknuti da je stvaranje kauzalnih procjena jedna od najkompleksnijih tema u društvenom istraživanju i ona koja može dovesti do intenzivne i emocionalne rasprave. U nastavku ću pružiti optimističan opis svakog pristupa kako bih izgradio intuiciju o tome, pa ću opisati neke od izazova koji nastaju pri korištenju takvog pristupa. Daljnje pojedinosti o svakom pristupu dostupne su u materijalima na kraju ovog poglavlja. Ako namjeravate koristiti bilo koji od ovih pristupa u vlastitom istraživanju, preporučujem vam da pročitate jednu od brojnih izvrsnih knjiga o kauzalnom zaključivanju (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .

Jedan pristup kauzalnim procjenama iz ne-eksperimentalnih podataka jest traženje događaja koji je nasumično dodijelio tretman nekim ljudima, a ne drugima. Ove se situacije zovu prirodni pokusi . Jedan od najjasnijih primjera prirodnog eksperimenta dolazi iz istraživanja Joshua Angrist (1990) mjeri učinak vojnih usluga na zaradu. Tijekom rata u Vijetnamu, Sjedinjene Države povećale su veličinu svojih oružanih snaga kroz nacrt. Kako bi odlučili koji će građani biti pozvani u službu, američka vlada je održala lutriju. Svaki je datum rođenja napisan na komadu papira i, kako je prikazano na slici 2.7, ti su komadi papira odabrani jedan po jedan kako bi se odredilo redoslijed kojim su mladi ljudi pozvani služiti (mlade žene nisu bile predmetom na nacrt). Na temelju rezultata, prvi rođeni muškarci rođeni 14. rujna, muškarci rođeni 24. travnja bili su pozvani na drugo, i tako dalje. U konačnici, u ovoj lutriji rađeni su muškarci rođeni 195 različitih dana, dok muškarci rođeni 171 dana nisu bili.

Slika 2.7: Kongresnik Alexander Pirnie (R-NY) crta prvu kapsulu za nacrt Selektivne službe 1. prosinca 1969. Joshua Angrist (1990) kombinaciji nacrta lutrije s podacima zarade od socijalne sigurnosti za procjenu učinka vojne službe na zaradu. Ovo je primjer istraživanja pomoću prirodnog eksperimenta. Izvor: SAD selektivni servisni sustav (1969) / Wikimedija .

Iako to možda nije odmah vidljivo, nacrt lutrije ima kritičnu sličnost s randomiziranim kontroliranim eksperimentom: u obje situacije sudionici se slučajno dodjeljuju za primanje tretmana. U svrhu proučavanja učinka ovog randomiziranog liječenja, Angrist je iskoristio sve veći sustav podataka: američka uprava za socijalnu sigurnost, koja prikuplja informacije o gotovo svakoj američkoj zaradi od zaposlenja. Kombiniranjem informacija o tome tko je slučajno odabran u nacrtu lutrija s podacima zarade prikupljenim u vladinim upravnim evidencijama, Angstr je zaključio da je zarada veterana bila oko 15% manja od zarade usporedivih ne-veterana.

Kao što ilustrira ovaj primjer, ponekad društvene, političke ili prirodne sile dodjeljuju tretmane na način koji istraživači mogu iskoristiti, a ponekad i učinci tih tretmana privlače se uvijek na velikim izvorima podataka. Ova strategija istraživanja može se sažeti na sljedeći način: \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]

Da bismo ilustrirali ovu strategiju u digitalnom dobu, razmotrimo studiju Alexandra Mas i Enrica Moretti (2009) koja je pokušala procijeniti učinak rada s produktivnim kolegama na produktivnost radnika. Prije nego što vidite rezultate, valja istaknuti da postoji sukobljiva očekivanja koja biste mogli imati. S jedne strane, možda biste očekivali da će rad s produktivnim kolegama voditi radnika da poveća produktivnost zbog pritiska vršnjaka. Ili, s druge strane, možda biste očekivali da bi radnici koji su radili na radnom mjestu mogli dovesti radnika da prestanu raditi jer će rad ionako obaviti njezini vršnjaci. Najjasniji način za proučavanje peer učinaka na produktivnost bio bi randomizirani kontrolirani eksperiment gdje se radnici slučajno dodjeljuju smjenama s radnicima različitih razina produktivnosti, a zatim se produktivnost mjeri za svakoga. Istraživači, međutim, ne kontroliraju raspored radnika u bilo kojem pravom poslu, pa su se Mas i Moretti morali osloniti na prirodni pokus koji uključuje blagare u supermarketu.

U ovom posebnom supermarketu, zbog načina na koji je izvršeno raspoređivanje i načinom prebacivanja preklapanja, svaki blagajnik je imao različite suradnike u različitim dobima dana. Nadalje, u ovom posebnom supermarketu, dodjeljivanje blagajnika nije bilo vezano uz produktivnost svojih vršnjaka ili koliko je trgovina bila zauzeta. Drugim riječima, iako raspored blagajnika nije određen lutrija, bilo je kao da su radnici ponekad slučajno dodijeljeni za rad s visokim (ili nisko) produktivnim vršnjacima. Srećom, ovaj je supermarket imao digitalni sustav naplate koji je pratio stavke koje je svaki blagajnik skenirala cijelo vrijeme. Iz ovih podataka dnevnika naplate, Mas i Moretti su uspjeli stvoriti preciznu, individualnu i uvijek mjerenu produktivnost: broj skeniranih stavki u sekundi. Kombinirajući ove dvije stvari - prirodne varijacije u peer produktivnosti i uvijek na mjeru produktivnosti - Mas i Moretti procjenjuju da ako je blagajnik dodijeljen suradnicima koji su 10% produktivniji od prosjeka, njezina produktivnost će se povećati za 1,5% , Nadalje, koristili su veličinu i bogatstvo svojih podataka kako bi istražili dva važna pitanja: heterogenost tog učinka (za koje vrste radnika je učinak veći?) I mehanizmi koji su posljedica učinka (Zašto vršnjaci visokih produktivnosti dovode do veća produktivnost?). Vratit ćemo se na ova dva važna pitanja - heterogenost učinaka i mehanizama liječenja - u četvrtom poglavlju, kada detaljnije raspravljamo o eksperimentima.

Generalizacijom iz ove dvije studije, tablica 2.3 sažima druge studije koje imaju istu strukturu: korištenje uvijek dostupnog izvora podataka za mjerenje učinka nekih slučajnih varijacija. U praksi, istraživači koriste dvije različite strategije za pronalaženje prirodnih pokusa, od kojih oba mogu biti plodonosna. Neki istraživači započinju uvijek izvorom podataka i traže slučajne događaje u svijetu; drugi počinju slučajni događaj u svijetu i traže izvore podataka koji hvataju njegov utjecaj.

U dosadašnjoj raspravi o prirodnim pokusima, izostavio sam važnu točku: od onoga što priroda pruža za ono što želi ponekad može biti prilično teško. Vratimo se nacrtu u Vijetnamu. U ovom slučaju Angrist je zainteresiran za procjenu utjecaja vojne službe na zaradu. Nažalost, vojna služba nije slučajno dodijeljena; već je bio sastavljen slučajnim redoslijedom. Međutim, nisu svi poslužitelji služili (bilo je mnogo izuzeća), a ne svi koji su služili bili su izrađeni (ljudi mogu volontirati da služe). Budući da je sastavljen slučajnim odabirom, istraživač može procijeniti učinak izrade svih ljudi u nacrtu. Ali Angrist nije želio znati učinak izrade; htio je znati učinak služenja u vojsci. Za izradu ove procjene, međutim, potrebne su dodatne pretpostavke i komplikacije. Prvo, istraživači trebaju pretpostaviti da je jedini način da se priprema zarada utječe kroz vojnu službu, pretpostavku koja se zove ograničenje isključenja . Ova bi pretpostavka mogla biti pogrešna ako, na primjer, ljudi koji su sastavljeni ostali u školi dulje kako bi izbjegli služenje ili ako poslodavci manje vjeruju da će zaposliti ljude koji su sastavljeni. Općenito, ograničenje isključivanja ključna je pretpostavka i obično je teško provjeriti. Čak i ako je ograničenje isključenja ispravno, još uvijek je nemoguće procijeniti učinak usluge na sve ljude. Umjesto toga, ispostavilo se da istraživači mogu procijeniti učinak samo na određeni dio muškaraca koji se nazivaju kompileri (ljudi koji bi služili pri izradi, ali ne bi služili kada nisu (Angrist, Imbens, and Rubin 1996) ) (Angrist, Imbens, and Rubin 1996) . Obveznici, međutim, nisu izvorno stanovništvo od interesa. Imajte na umu da se ti problemi pojavljuju čak iu relativno čistom slučaju nacrta lutrije. Daljnji niz komplikacija nastaje kada liječenje nije dodijeljeno fizičkim lutrija. Na primjer, u Mas i Moretti studiji blagajnika, dodatna pitanja proizlaze iz pretpostavke da je dodjeljivanje vršnjaka u biti slučaj. Ako je ova pretpostavka bila snažno povrijeđena, mogla bi pristati na njihove procjene. Zaključno, prirodni pokusi mogu biti moćna strategija za izradu kauzalnih procjena iz ne-eksperimentalnih podataka, a veliki izvori podataka povećavaju našu sposobnost kapitaliziranja prirodnih pokusa kad se pojave. Međutim, vjerojatno će vam trebati velika briga - a ponekad i jake pretpostavke - da odete od onoga što priroda pruža za procjenu koju želite.

Druga strategija koju bih vam željela reći o tome da uzrokovana kauzalna procjena ne-eksperimentalnih podataka ovisi o statistički prilagođavanju ne-eksperimentalnih podataka u pokušaju da se objasni postojeće razlike između onih koji su to učinili i nisu primili tretman. Postoji mnogo takvih prilagodbi, ali usredotočit ću se na jedan pod nazivom podudaranje . U podudaranju, istraživač gleda kroz ne-eksperimentalne podatke za stvaranje parova sličnih ljudi, osim što je netko primio liječenje, a jedan nije. U procesu usklađivanja, istraľivači su zapravo i obrezivanje ; to jest odbacivanje slučajeva u kojima nema očiglednog podudaranja. Dakle, ova metoda bi se preciznije nazvala podudaranjem i obrezivanjem, ali ću se držati tradicionalnog pojma: podudaranja.

Jedan od primjera moći podudaranja strategije s masivnim ne-eksperimentalnim izvorima podataka potječe od istraživanja o ponašanju potrošača Liran Einav i suradnika (2015) . Bili su zainteresirani za aukcije koje se odvijaju na eBayu, a opisujući njihov rad, usredotočit ću se na učinak aukcijske početne cijene na aukcijske ishode, kao što su prodajna cijena ili vjerojatnost prodaje.

Najučinkovitiji način za procjenu učinka početne cijene na prodajnu cijenu bio bi jednostavno izračunati konačnu cijenu za dražbe s različitim početnim cijenama. Ovaj pristup bi bio u redu ako biste željeli predvidjeti prodajnu cijenu s obzirom na početnu cijenu. Ali, ako vaše pitanje odnosi na učinak početne cijene, onda ovaj pristup neće funkcionirati jer se ne temelji na fer usporedbama; aukcije s nižim početnim cijenama mogu biti prilično različite od onih s višim početnim cijenama (npr. mogu biti za različite vrste robe ili uključuju različite vrste prodavača).

Ako ste već svjesni problema koji mogu nastati pri donošenju kauzalnih procjena iz ne-eksperimentalnih podataka, možete preskočiti naivni pristup i razmotriti pokretanje eksperimenta na terenu na kojem biste prodali određenu stavku - recimo golf klub - s fiksnim skup aukcijskih parametara - recimo, besplatna dostava i dražba otvorena dva tjedna - ali s nasumično dodijeljenim početnim cijenama. Usporedbom rezultirajućih tržišnih ishoda, ovaj eksperiment u polju bi pružio vrlo jasno mjerenje učinka početne cijene na prodajnu cijenu. No, ovo mjerenje bi se primjenjivalo samo na jedan određeni proizvod i skup aukcijskih parametara. Rezultati mogu biti različiti, na primjer, za različite vrste proizvoda. Bez snažne teorije, teško je izvući iz ovog eksperimenta u cijeli niz mogućih pokusa koji su se mogli izvoditi. Nadalje, eksperimenti na terenu dovoljno su skupi da ne bi bilo moguće izvoditi svaku varijaciju koju biste mogli pokušati.

Za razliku od naivnih i eksperimentalnih pristupa, Einav i njegovi kolege uzeli su treći pristup: podudaranje. Glavni trik u svojoj strategiji je da otkrijete stvari slične eksperimentima na terenu koji su se već dogodili na eBayu. Na primjer, slika 2.8 prikazuje neke od 31 popisa za točno isti golf klub - Taylormade Burner 09 Driver - koji se prodaje točno isti prodavatelj - "budgetgolfer". Međutim, ova 31 lista ima malo drugačije karakteristike, kao što su različiti početni cijenu, datume završetka i naknade za otpremu. Drugim riječima, kao da "budgetgolfer" pokreće eksperimente za istraživače.

Ovi oglasi pilota Taylormade Burner 09 koji se prodaju po "budgetgolferu" jedan su od primjera usklađenog popisa unosa, gdje točno ista stavka prodaje točno po istom prodavaču, ali svaki put s malo drugačijim karakteristikama. Unutar velikih dnevnika eBay-a doslovno je stotine tisuća kompatibilnih setova s ​​milijunima unosa. Dakle, umjesto usporedbe konačne cijene za sve aukcije s određenom početnom cijenom, Einav i njegovi kolege uspoređivali su se u odgovarajućim setovima. Da bi se kombinirali rezultati usporedbe unutar tih stotina tisuća kompatibilnih setova, Einav i kolege ponovno su izrazili početnu cijenu i konačnu cijenu u smislu referentne vrijednosti svake stavke (npr. Prosječna prodajna cijena). Na primjer, ako je vozač Taylormade Burner 09 imao referentnu vrijednost od 100 USD (na temelju prodaje), tada će početna cijena od 10 USD biti izražena kao 0,1 i konačna cijena od 120 dolara kao 1,2.

Slika 2.8: Primjer usklađenog skupa. To je isti golf klub (Taylormade Burner 09 Driver) koji se prodaje po istoj osobi ("budgetgolfer"), ali neke od tih prodaja su izvedene pod različitim uvjetima (npr. Različite početne cijene). Reproduciraju se dopuštenjem Einav et al. (2015) , slika lb.

Podsjetimo da su Einav i njegovi kolege zainteresirani za učinak početne cijene na aukcijske ishode. Prvo, oni su koristili linearnu regresiju kako bi procijenili da veće početne cijene smanjuju vjerojatnost prodaje i da veće početne cijene povećavaju konačnu prodajnu cijenu (uvjetovano prodajom). Ove procjene - koje opisuju linearni odnos i prosječni su u svim proizvodima - nisu sve to zanimljive. Zatim su Einav i njegovi kolege koristili masivnu veličinu svojih podataka kako bi stvorili razne suptilnije procjene. Na primjer, procjenom učinka zasebno za razne različite početne cijene, ustanovili su da je odnos početne cijene i prodajne cijene nelinearan (slika 2.9). Konkretno, za početne cijene između 0,05 i 0,85, početna cijena ima vrlo malo utjecaja na cijenu prodaje, nalaz koji je potpuno propustio prvom analizom. Nadalje, umjesto prosjeka svih stavki, Einav i njegovi kolege procijenili su utjecaj početne cijene za 23 različite kategorije predmeta (npr., Pomagala za kućne ljubimce, elektroniku i sportske suvenire) (slika 2.10). Ove procjene pokazuju da za više prepoznatljivih stavki - kao što je početna cijena memorabilije - ima manji utjecaj na vjerojatnost prodaje i veći učinak na konačnu prodajnu cijenu. Nadalje, za više komodiranih artikala - poput DVD-a - početna cijena gotovo da nema utjecaja na konačnu cijenu. Drugim riječima, prosjek koji kombinira rezultate iz 23 različite kategorije stavki skriva važne razlike između tih stavki.

Slika 2.9: Odnos između početne cijene aukcije i vjerojatnosti prodaje (a) i prodajne cijene (b). Postoji skoro linearni odnos između početne cijene i vjerojatnosti prodaje, ali nelinearnu vezu između početne i prodajne cijene; za početne cijene između 0,05 i 0,85, početna cijena vrlo malo utječe na prodajnu cijenu. U oba slučaja, odnosi su u osnovi neovisni o vrijednosti stavke. Prilagođeno iz Einav et al. (2015) , slike 4a i 4b.

Slika 2.10: Procjene iz svake kategorije stavki; čvrsta točka je procjena za sve kategorije grupirane zajedno (Einav et al. 2015) . Ove procjene pokazuju da za početnu cijenu ima manji utjecaj na vjerojatnost prodaje ( \(x\) -axis) i veći utjecaj na konačnu prodajnu cijenu ( \(y\) -os). Prilagođeno iz Einav et al. (2015) , slika 8.

Čak i ako niste posebno zainteresirani za aukcije na eBayu, morate se diviti načinu na koji ta slika 2.9 i slika 2.10 nude bogatije razumijevanje eBaya od jednostavnih procjena koje opisuju linearnu vezu i kombiniraju različite kategorije stavki. Nadalje, iako bi bilo znanstveno moguće generirati ove suptilnije procjene s terenskim pokusima, trošak bi takve eksperimente bio bitno nemoguć.

Kao i kod prirodnih eksperimenata, postoji niz načina da podudaranje može dovesti do loših procjena. Mislim da je najveća briga za podudaranje procjena da mogu biti pristrani od stvari koje nisu korištene u podudaranju. Na primjer, u svojim glavnim rezultatima, Einav i njegovi kolege izvodili su točno podudaranje na četiri karakteristike: prodavateljev ID, kategoriju stavke, naslov stavke i podnaslov. Ako su stavke bile različite na način koji nije upotrijebljen za podudaranje, onda bi to moglo stvoriti nepoštenu usporedbu. Na primjer, ako je "budgetgolfer" snižavao cijene za vozača Taylormade Burner 09 u zimi (kada su golf klubovi manje popularni), moglo bi se pojaviti da niže cijene početnih cijena dovode do nižih konačnih cijena, a zapravo bi to bio artefakta sezonske varijacije potražnje. Jedan pristup rješavanju ove zabrinutosti pokušava mnogo različitih vrsta podudaranja. Na primjer, Einav i njegovi kolege ponovili su analizu dok su promijenili vremenski prozor koji se koristio za podudaranje (usklađeni setovi uključivali su stavke na prodaju u roku od godine dana, u roku od mjesec dana, a istodobno). Srećom, pronašli su slične rezultate za sve vremenske prozore. Još jedna zabrinutost zbog podudaranja proizlazi iz interpretacije. Procjene iz podudaranja odnose se samo na podudarne podatke; oni se ne primjenjuju na slučajeve koji se ne mogu podudarati. Na primjer, ograničavajući svoje istraživanje na stavke koje su imale više unosa, Einav i njegovi kolege usredotočuju se na profesionalne i poluprofesionalne prodavače. Dakle, pri tumačenju tih usporedbi moramo se sjetiti da se odnose samo na ovaj podskup eBay.

Podudaranje je moćna strategija za pronalaženje fer usporedbe u ne-eksperimentalnim podacima. Za mnoge društvene znanstvenike podudaranje se osjeća drugo najbolje za eksperimente, ali to je vjerovanje koje se može malo promjeniti. Podudaranje u masivnim podacima može biti bolje od malog broja eksperimenata na terenu kada je (1) heterogenost u učincima važna i (2) mjerene su važne varijable potrebne za podudaranje. Tablica 2.4 daje neke druge primjere kako se podudaranje može koristiti s velikim izvorima podataka.

Zaključno, procjena kauzalnih učinaka iz ne-eksperimentalnih podataka je teška, ali se mogu koristiti pristupi kao što su prirodni pokusi i statističke prilagodbe (npr. Podudaranje). U nekim situacijama ti se pristupi mogu pogoršati, ali pažljivo razmješteni, ti pristupi mogu biti koristan dodatak eksperimentalnom pristupu koji opisujem u četvrtom poglavlju. Nadalje, čini se da ova dva pristupa osobito imaju koristi od rasta uvijek prisutnih, na velikim računalnim sustavima.