2.4.3 Approximating eksperimenti

Možemo približiti eksperimente koje nismo ili ne možemo učiniti. Dva pristupa koja posebno imaju koristi od velikih izvora podataka su prirodni eksperimenti i usklađivanje.

Neka važna naučna i politička pitanja su uzročna. Na primjer, kakav je efekat programa obuke na posao na zarade? Istraživač koji pokušava odgovoriti na ovo pitanje može upoređivati ​​zarade ljudi koji su se prijavili za obuku onima koji nisu. Ali koliko je razlika u plati između ovih grupa zbog obuke i koliko je zbog već postojećih razlika između ljudi koji se prijavljuju i onih koji nemaju? Ovo je teško pitanje, i to je ono što se automatski ne uklanja sa više podataka. Drugim riječima, zabrinutost o mogućim preostalim razlikama proizlazi bez obzira koliko je radnika u vašim podacima.

U mnogim situacijama, najjači način da se procijeni uzročni efekat nekog tretmana, kao što je obuka na poslu, je pokretanje randomiziranog kontrolisanog eksperimenta u kojem istraživač slučajno pruža tretman nekim ljudima, a ne drugima. Ja ću posvetiti sve poglavlje 4 eksperimentima, pa ću se fokusirati na dve strategije koje se mogu koristiti sa neeksperimentalnim podacima. Prva strategija zavisi od traženja da se nešto dogodi u svijetu koje slučajno (ili gotovo slučajno) dodjeljuje tretman nekim ljudima, a ne drugima. Druga strategija zavisi od statističkog prilagođavanja neeksperimentalnih podataka u pokušaju da se uzmu u obzir postojeće razlike između onih koji su uradili i nisu primili lečenje.

Skeptik može tvrditi da se obe ove strategije trebaju izbeći jer zahtijevaju jake pretpostavke, pretpostavke koje je teško procijeniti i koje se u praksi često krše. Dok sam saosećajna prema ovoj tvrdnji, mislim da je malo previše. Sasvim je tačno da je teško pouzdano napraviti uzročne procjene iz neeksperimentalnih podataka, ali mislim da to ne znači da nikada ne treba pokušati. Konkretno, neeksperimentalni pristupi mogu biti od pomoći ako vas logističko ograničenje spreči od sprovođenja eksperimenta ili ako etička ograničenja znače da ne želite da pokrenete eksperiment. Dalje, neeksperimentalni pristupi mogu biti korisni ako želite da iskoristite podatke koje već postoje da bi se dizajnirao randomizirani kontrolisani eksperiment.

Pre nego što nastavimo, takođe je važno napomenuti da je stvaranje uzročnih procjena jedna od najkompleksnijih tema u društvenom istraživanju, a koja može dovesti do intenzivne i emocionalne debate. U nastavku ću pružiti optimističan opis svakog pristupa kako bih izgradio intuiciju o tome, a onda ću opisati neke od izazova koji se javljaju prilikom korišćenja tog pristupa. Dalji podaci o svakom pristupu dostupni su u materijalima na kraju ovog poglavlja. Ako planirate da koristite bilo koji od ovih pristupa u sopstvenom istraživanju, jako preporučujem čitanje jedne od mnogih izvrsnih knjiga o uzročnoj zaključci (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .

Jedan pristup stvaranja uzročnih procena iz neeksperimentalnih podataka jeste traženje događaja koji je slučajno dodijelio tretman nekim ljudima, a ne drugima. Ove situacije se nazivaju prirodnim eksperimentima . Jedan od najjasnijih primera prirodnog eksperimenta potiče iz istraživanja Joshua Angrist (1990) meri efekat vojnih usluga na zarade. Tokom rata u Vijetnamu, Sjedinjene Države su povećale veličinu svojih oružanih snaga kroz nacrt. Da bi odlučila koji građani bi bili pozvani u službu, američka vlada održala je lutriju. Svaki datum rođenja je napisan na papiru i, kao što je prikazano na slici 2.7, ovi listovi su izabrani jedan po jedan kako bi se utvrdio red kako bi mladi muškarci bili pozvani da služe (mlade žene nisu predmet na nacrt). Na osnovu rezultata, muškarci rođeni 14. septembra prvi put su bili pozvani, muškarci rođeni 24. aprila zvali su se drugi i tako dalje. Na kraju, na ovoj lutriji, muškarci rođeni u 195 različitih dana bili su nacrtani, dok muškarci rođeni 171 dana nisu bili.

Slika 2.7: Kongresmen Alexander Pirnie (R-NY) izvlači prvu kapsulu za nacrt selektivne službe 1. decembra 1969. Joshua Angrist (1990) kombinovao nacrt lutrije sa podacima o zaradama iz Uprave za socijalno osiguranje kako bi procijenio utjecaj vojne službe na zarade. Ovo je primjer istraživanja korištenjem prirodnog eksperimenta. Izvor: US Selective Service System (1969) / Wikimedia Commons .

Iako to možda nije odmah vidljivo, nacrt lutrije ima kritičku sličnost sa randomiziranim kontrolisanim eksperimentom: u obe situacije, učesnici su nasumično dodijeljeni da primaju tretman. Da bi proučio efekat ovog randomizovanog tretmana, Angrist je iskoristio uvek veliki sistem podataka: Američka administracija za socijalno osiguranje, koja prikuplja informacije o skoro svakoj američkoj zaradnji od zaposlenja. Kombinacijom informacija o tome ko je bio slučajno izabran u nacrtu lutrije sa podacima o zaradama koje su prikupljene u državnim administrativnim podacima, Angrist je zaključio da su zarade veterana bile oko 15% manje od zarade uporedivih ne-veterana.

Kako ovaj primer ilustruje, ponekad socijalne, političke ili prirodne snage dodjeljuju tretmane na način na koji istraživači mogu učestvovati, a ponekad i efekti ovih tretmana su uhvaćeni u uvijek velikim izvorima podataka. Ova strategija istraživanja može se sumirati na sledeći način: \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]

Da bismo ilustrovali ovu strategiju u digitalnom dobu, razmotrimo studiju Aleksandra Masa i Enrica Morettia (2009) koja je pokušala da proceni efekat rada sa produktivnim kolegama na produktivnost radnika. Pre nego što vidimo rezultate, vrijedi naglasiti da postoje sukobljena očekivanja koja biste mogli imati. S jedne strane, možete očekivati ​​da će rad sa produktivnim kolegama dovesti radnika da poveća svoju produktivnost zbog pritiska vršnjaka. Ili, s druge strane, možete očekivati ​​da će imati radno sposobnih vršnjaka da dovedu radnika u opuštanje, jer će posao u svakom slučaju vršiti i vršnjaci. Najjasniji način proučavanja vršnjačkih efekata na produktivnost bio bi slučajno kontrolisani eksperiment gdje su radnici slučajno dodijeljeni smjenama sa radnicima različitog nivoa produktivnosti, a onda se rezultira produktivnost mjeri za sve. Međutim, istraživači ne kontrolišu raspored radnika u stvarnom poslu, pa su se Mas i Moretti morali osloniti na prirodni eksperiment koji uključuje blagajnike u supermarketu.

U ovom konkretnom supermarketu, zbog načina na koji je planiranje obavljeno i načina na koji su se preklapali, svaki blagajnik je imao različite saradnike u različito doba dana. Dalje, u ovom konkretnom supermarketu, dodeljivanje blagajnika nije bilo u vezi sa produktivnošću njihovih vršnjaka ili koliko je bila zauzeta prodavnica. Drugim rečima, iako raspoređivanje blagajnika nije određeno lutrijom, bilo je kao da su radnici ponekad nasumično dobili za rad sa visokim (ili malim) vršnjacima produktivnosti. Srećom, ovaj supermarket je imao i sistem za proveru digitalnog doba koji je pratio predmete koje je svaka blagajnica skenirala u svakom trenutku. Iz podataka o evidenciji izvlačenja, Mas i Moretti su uspjeli stvoriti preciznu, individualnu i uvijek meru produktivnosti: broj predmeta skeniranih u sekundi. Kombinujući ove dvije stvari - prirodne promene u vršnjoj produktivnosti i uvek mjeri produktivnosti - Mas i Moretti procijenili su da ako je blagajniku dodeljen saradnici koji su bili 10% produktivniji od prosjeka, njena produktivnost bi se uvećala za 1,5% . Dalje, oni su koristili veličinu i bogatstvo svojih podataka kako bi istražili dva važna pitanja: heterogenost ovog efekta (za koje vrste radnika je efekt veći?) I mehanizme koji stoje iza efekta (zašto su vršnjaci sa visokom produktivnošću doveli do veća produktivnost?). Vratićemo se na ova dva važna pitanja - heterogenost efekata i mehanizama tretmana - u poglavlju 4, kada detaljnije diskutujemo o eksperimentima.

Uobičajena iz ove dve studije, tabela 2.3 sumira druge studije koje imaju istu strukturu: koristeći izvor podataka uvek za merenje efekta nekih slučajnih varijacija. U praksi istraživači koriste dvije različite strategije za pronalaženje prirodnih eksperimenata, koji mogu biti plodni. Neki istraživači započinju sa izvornim podacima i traže slučajne događaje u svijetu; drugi započinju slučajni događaj na svetu i traže izvore podataka koji otkrivaju njegov uticaj.

U dosadašnjoj diskusiji o prirodnim eksperimentima, ostavio sam važnu tačku: od onoga što je priroda pružila onome što želite, ponekad može biti prilično neobično. Vratimo se na primjer nacrta Vijetnama. U ovom slučaju Angrist je bio zainteresovan da proceni uticaj vojne službe na zarade. Nažalost, vojna služba nije slučajno dodeljena; umjesto toga je napravljen nacrt koji je nasumično dodeljen. Međutim, nisu bili svi koji su pripremljeni (bili su različiti izuzeci), a nisu svi bili pripremljeni (ljudi bi mogli da dobrovoljno služe). Zbog toga što je izrađen nacrt slučajno dodeljen, istraživač može procijeniti utjecaj pripreme za sve muškarce u nacrtu. Ali Angrist nije želeo da zna efekat pripreme; želeo je da zna efekat služenja u vojsci. Da bi se napravila ova procjena, međutim, potrebne su dodatne pretpostavke i komplikacije. Prvo, istraživači treba da pretpostave da je jedini način na koji se utvrdi utjecaj zarade je vojna služba, pretpostavka koja se zove ograničenje isključenja . Ova pretpostavka bi mogla biti pogrešna ako, na primjer, muškarci koji su izradjeni ostali su u školi duže da bi izbjegli služenje ili ako su poslodavci bili manje vjerovatni da angažuju muškarce koji su nacrtani. Generalno, ograničenje isključenja je kritična pretpostavka, a obično je teško verifikovati. Čak i ako je ograničenje isključenja tačno, i dalje je nemoguće procijeniti utjecaj službe na sve ljude. Umesto toga, ispostavlja se da istraživači mogu samo proceniti uticaj na određeni podskup muškaraca koji se zovu kompliers (ljudi koji bi služili prilikom sastavljanja, ali ne bi služili kada se ne izradi) (Angrist, Imbens, and Rubin 1996) . Međutim, komplikatori nisu bili izvorna populacija od interesa. Obratite pažnju da ovi problemi nastaju čak iu relativno čistem slučaju nacrta lutrije. Još jedan skup komplikacija se javlja kada tretman ne dodeli fizička lutrija. Na primer, u studiji Mas i Moretti o blagajničarima, pojavljuju se dodatna pitanja o pretpostavci da je dodeljivanje vršnjaka u osnovi slučajno. Ako bi se ova pretpostavka snažno povrijedila, to bi moglo utjecati na njihove procjene. Da zaključimo, prirodni eksperimenti mogu biti moćna strategija za izradu uzročnih procjena iz neeksperimentalnih podataka, a veliki izvori podataka povećavaju našu sposobnost da iskoriste prirodne eksperimente kada se oni pojave. Međutim, verovatno će zahtijevati veliku pažnju - a ponekad i jake pretpostavke - da izađe iz onoga što je priroda pružila proceni koju želite.

Druga strategija o kojoj bih želela da vam kažem za izradu uzročnih procena neeksperimentalnih podataka zavisi od statističke prilagodbe neeksperimentalnih podataka u pokušaju da se uzmu u obzir postojeće razlike između onih koji su uradili i nisu primili lečenje. Postoji mnogo takvih pristupa prilagođavanja, ali ću se fokusirati na jedan nazvanu podudaranje . U usklađivanju, istraživač gleda kroz neeksperimentalne podatke kako bi stvorio parove ljudi koji su slični, osim onih koji su primili lečenje i koji nisu. U procesu usklađivanja istraživači zapravo i obrezuju ; odnosno odbacivanje slučajeva u kojima nema očiglednog porekla. Prema tome, ovaj metod bi se preciznije nazvao usklađivanjem i rezidencijom, ali se pridržavam tradicionalnog izraza: usklađivanje.

Jedan primer moći usklađivanja strategija sa masivnim neeksperimentalnim izvorima podataka potiče od istraživanja ponašanja potrošača od strane Liraana Einavaa i kolega (2015) . Zainteresovani su za aukcije koje se odvijaju na eBayu, au opisu njihovog rada, fokusiraću se na efekat početne cijene aukcije na ishode aukcija, kao što je prodajna cijena ili verovatnoća prodaje.

Naj naivan način za procjenu efekta početne cijene po prodajnoj cijeni bio bi jednostavno izračunati krajnju cijenu aukcija sa različitim početnim cenama. Ovaj pristup bi bio u redu ako želite da predvidite prodajnu cenu s početnom cenom. Ali ako se vaše pitanje odnosi na efekt početne cene, onda ovaj pristup neće funkcionisati, jer se ne zasniva na fer usporedbama; aukcije sa nižim početnim cenama mogu biti sasvim drugačije od onih sa višim početnim cenama (npr., mogu biti za različite vrste roba ili uključiti različite tipove prodavaca).

Ako ste već upoznati sa problemima koji mogu nastati prilikom izrade uzročnih procjena iz neeksperimentalnih podataka, možda biste preskočili naivni pristup i razmislili o pokretanju eksperimenta na kojem biste prodali određenu stavku - recimo, golf klub - sa fiksnim set parametara aukcije - recimo, besplatna dostava i aukcija otvorena dve nedelje - ali sa slučajno dodeljenim početnim cenama. Upoređivanjem rezultirajućih tržišnih ishoda, ovaj terenski eksperiment bi ponudio vrlo jasno merenje efekta početne cene na prodajnu cenu. Međutim, ovo merenje bi se primenjivalo samo na jedan određeni proizvod i skup parametara aukcije. Rezultati mogu biti različiti, na primer, za različite vrste proizvoda. Bez jake teorije, teško je ekstrapolirati iz ovog jedinstvenog eksperimenta na čitav spektar mogućih eksperimenata koji su mogli da se pokrenu. Dalje, eksperimenti na terenu su dovoljno skupi da bi bilo nemoguće pokrenuti svaku varijaciju koju biste možda želeli probati.

Za razliku od naivnih i eksperimentalnih pristupa, Einav i kolege su uzeli treći pristup: usklađivanje. Glavni trik u svojoj strategiji je otkrivanje stvari sličnih eksperimentima na terenu koji se već dogodili na eBayu. Na primjer, na slici 2.8 prikazano je nekoliko od 31 lista za isti golf klub - Taylormade Burner 09 Driver - koji je prodat od strane istog prodavca - "budgetgolfer". Međutim, ova 31 lista ima nešto drugačije karakteristike, cijena, krajnji rokovi i troškovi prevoza. Drugim riječima, kao da "budžetgolfer" pokreće eksperimente za istraživače.

Ovi oglasi Taylormade Burner 09 Driver koji prodaju "budgetgolfer" predstavljaju jedan primer odgovarajućeg skupa listova, pri čemu istu stavku prodaje isti identičan prodavac, ali svaki put sa nešto drugačijim karakteristikama. U masovnim evidencijama na eBayu bukvalno se nalaze stotine hiljada podudaranih skupova koji uključuju milione popisa. Stoga, umesto poređenja konačne cene za sve aukcije sa datom početnom cenom, Einav i kolege upoređivali u odgovarajućim skupovima. Kako bi se kombinovali rezultati iz poređenja u okviru ovih stotina hiljada usklađenih skupova, Einav i kolege su ponovo izrazili početnu cenu i krajnju cenu u smislu referentne vrednosti svake stavke (npr. Prosječne prodajne cijene). Na primjer, ako je Taylormade Burner 09 Driver imao referentnu vrijednost od 100 dolara (po osnovu prodaje), tada bi početna cijena od 10 dolara bila izražena kao 0,1, a konačna cijena od 120 dolara kao 1.2.

Slika 2.8: Primer prilagođenog skupa. Ovo je isti golf klub (Taylormade Burner 09 Driver) koji prodaje istu osobu ("budgetgolfer"), ali su neke od tih prodaja izvršene pod različitim uslovima (npr. Različite početne cene). Reprodukovano odobrenjem Einav et al. (2015) , slika 1b.

Podsjetimo da su Einav i kolege bili zainteresovani za efekat početne cijene na ishode aukcija. Prvo su koristili linearnu regresiju kako bi procijenili da veće početne cijene smanjuju vjerovatnoću prodaje i da će viši početni cjenici povećavati konačnu prodajnu cijenu (uslovljeno prodavanjem). Samim tim, ove procjene - koje opisuju linearnu vezu i koje se izračunavaju po svim proizvodima - nisu toliko interesantne. Zatim, Einav i kolege su koristili masovnu veličinu svojih podataka kako bi kreirali razne manje suptilne procjene. Na primjer, procjenom efekta odvojeno za različite početne cijene, utvrdili su da je odnos početne cijene i prodajne cijene nelinearan (slika 2.9). Konkretno, za pokretanje cijena između 0,05 i 0,85, početna cena ima vrlo mali uticaj na prodajnu cenu, nalaz koji je potpuno propustio njihovom prvom analizom. Dalje, umesto usredsređivanja na sve stavke, Einav i kolege procijenili su utjecaj početne cijene za 23 različite kategorije predmeta (npr. Potrošni materijal za kućne ljubimce, elektronika i sportska memorabilia) (slika 2.10). Ove procjene pokazuju da za više karakteristične stavke - kao što je početna cena za spominju, ima manji efekat na vjerovatnoću prodaje i veći efekat na konačnu prodajnu cijenu. Nadalje, za više komodifikovane stavke - poput DVD-a - početna cena gotovo nema uticaja na krajnju cenu. Drugim riječima, u proseku koji kombinuje rezultate iz 23 različite kategorije stavki skrivaju bitne razlike između ovih stavki.

Slika 2.9: Odnos između početne cijene aukcije i verovatnoće prodaje (a) i prodajne cene (b). Postoji približno linearna veza između početne cene i verovatnoće prodaje, ali nelinearna veza između početne i prodajne cene; za pokretanje cijena između 0,05 i 0,85, početna cena ima vrlo mali uticaj na prodajnu cenu. U oba slučaja, odnosi su u osnovi nezavisni od vrednosti predmeta. Prilagođeno od Einav et al. (2015) , slike 4a i 4b.

Slika 2.10: Procjene iz svake kategorije stavki; čvrsta tačka je procjena za sve kategorije udružene zajedno (Einav et al. 2015) . Ove procjene pokazuju da za više karakterističnih predmeta - kao što su memorabilia - početna cijena ima manji efekat na vjerovatnoću prodaje ( \(x\) -axis) i veći efekat na konačnu prodajnu cijenu ( \(y\) -osa). Prilagođeno od Einav et al. (2015) , slika 8.

Čak i ako niste naročito zainteresovani za aukcije na eBay-u, morate se diviti načinu na koji su slika 2,9 i slika 2.10 nude bogatije razumevanje eBay-a nego jednostavne procjene koje opisuju linearnu vezu i kombinuju mnoge različite kategorije predmeta. Štaviše, iako bi bilo naučno moguće generisati ove suptilnije procjene sa terenskim eksperimentima, trošak bi učinio takve eksperimente u suštini nemogućim.

Kao i kod prirodnih eksperimenata, postoji niz načina na koje se podudaranje može dovesti do loših procjena. Mislim da je najveća zabrinutost sa odgovarajućim procjenama da oni mogu biti pristrasni zbog stvari koje nisu korištene u usklađivanju. Na primjer, u svojim glavnim rezultatima, Einav i kolege su se tačno usklađivali na četiri karakteristika: broj ID prodavca, kategorija predmeta, naslov stavke i podnaslov. Ako su stavke bile drugačije na načine koji nisu korišteni za podudaranje, onda bi to moglo stvoriti nepravedno poređenje. Na primjer, ako je "budgetgolfer" snizio cijene za vozača Taylormade Burner 09 tokom zime (kada su golf klubovi manje popularni), onda bi se moglo pojaviti da niže početne cijene dovode do niže konačne cijene, kada bi to zapravo bio artefakt sezonske varijacije u potražnji. Jedan od pristupa za rešavanje ove problematike pokušava mnogo različitih vrsta usklađivanja. Na primjer, Einav i kolege su ponovili svoju analizu, dok se vremenski prozor koji se koristi za usklađivanje podrazumijevao (usklađeni skupovi uključivali su stavke u prodaji u roku od jedne godine, u roku od mjesec dana i istovremeno). Na sreću, pronašli su slične rezultate za sve prozore vremena. Dalja zabrinutost sa podudaranjem proizilazi iz tumačenja. Procjene iz podudaranja primjenjuju se samo na odgovarajuće podatke; oni se ne primjenjuju na slučajeve koji se ne mogu podudarati. Na primjer, ograničavajući svoja istraživanja na predmete koji su imali višestruke listinge, Einav i kolege se fokusiraju na profesionalne i poluprofesionalne prodavce. Stoga, kada tumačimo ova poređenja, moramo zapamtiti da se odnose samo na ovaj podskup eBay.

Uparivanje je snažna strategija za pronalaženje fer upoređivanja u neeksperimentalnim podacima. Za mnoge društvene nauke, usklađivanje oseća drugo najbolje za eksperimente, ali to je verovanje koje se može malo popraviti. Podudaranje u masivnim podacima može biti bolje od malog broja eksperimenata na terenu kada (1) je heterogenost u efektima važna i (2) izmerene su važne varijable potrebne za usklađivanje. Tabela 2.4 pruža neke druge primjere kako se podudaranje može koristiti sa velikim izvorima podataka.

U zaključku, procena uzročnih efekata iz neeksperimentalnih podataka je teška, ali se mogu koristiti pristupi poput prirodnih eksperimenata i statističkih prilagođavanja (npr. Usklađivanje). U nekim situacijama, ovi pristupi mogu pogrešno pogrešiti, ali kada su pažljivo raspoređeni, ovi pristupi mogu biti korisno komplement eksperimentalnog pristupa koji opisujem u poglavlju 4. Dalje, ova dva pristupa izgledaju posebno vjerojatno da će imati koristi od rasta uvek- on, veliki sistemi podataka.