2.4.3 közelítő kísérletek

Megközelíthetjük azokat a kísérleteket, amelyeket nem vagy nem tehetünk. A nagy adatforrásokból különösen előnyös két megközelítés a természetes kísérletezés és egyezés.

Néhány fontos tudományos és politikai kérdés okozati jellegű. Például, mi a hatása a munkaképző programnak a bérekre? A kérdés megválaszolására próbálkozó kutatók összehasonlíthatják azokat a bevételeket, akik képzésre jelentkeztek azok számára, akik nem. De vajon mekkora a különbség a bérek között ezeken a csoportokon a képzés miatt, és mennyire a pre-létező különbségek a feliratkozott emberek és az olyanok között, amelyek nem? Ez egy nehéz kérdés, és ez nem automatikusan megy el több adattal. Más szóval, az esetleges létező különbségek aggodalma attól függetlenül keletkezik, hogy hány munkavállaló van az adataidban.

Számos esetben a leghatékonyabb módja annak, hogy megbecsüljék valamilyen kezelés okozta oksági hatásait, például a munkahelyi képzést, véletlenszerűen ellenőrzött kísérletet végezzenek, ahol a kutató véletlenszerűen átadja a kezelést néhány embernek és nem másoknak. A 4. fejezet összes részét kísérletekre fordítom, ezért itt két olyan stratégiára koncentrálok, amelyeket nem kísérleti adatokkal lehet használni. Az első stratégia attól függ, hogy valami olyasmit keres a világon, amely véletlenszerűen (vagy majdnem véletlenszerűen) a kezelést egyes embereknek, és nem másoknak rendeli el. A második stratégia a statisztikai nem-kísérleti adatok statisztikai kiigazításától függ, annak kísérlete során, hogy figyelembe vegye a korábban létező különbségeket azok között, akik a kezelést nem kapták meg.

A szkeptikus azt állíthatja, hogy mindkét stratégiát el kell kerülni, mert erős feltevéseket, feltételezéseket nehéz felmérni, és a gyakorlatban gyakran megsértik. Bár szimpatikus vagyok ehhez az állításhoz, azt hiszem, túlságosan messzire megy. Bizonyára igaz, hogy a nem kísérleti adatoktól való bizalmi ok-okozati becslés nehéz, de nem hiszem, hogy ez azt jelenti, hogy soha nem szabad megpróbálnunk. Különösen a nem kísérleti megközelítések hasznosak lehetnek, ha a logisztikai korlát megakadályozza a kísérlet végrehajtását, vagy ha az etikai kényszerek azt jelentik, hogy nem kíván kísérletet futtatni. Továbbá, a nem kísérleti megközelítések hasznosak lehetnek abban az esetben, ha szeretné kihasználni a már meglévő adatokat, ha véletlenszerűen szabályozott kísérletet tervez.

Mielőtt folytatnánk, érdemes megjegyezni, hogy az okozati becslések az egyik legösszetettebb témakörök a társadalmi kutatásban, és amely intenzív és érzelmi vitához vezethet. A következőkben optimista leírást adok minden egyes megközelítésről annak érdekében, hogy felépíthessem az intuíciót, majd leírom azokat a kihívásokat, amelyek a megközelítés során felmerülnek. Az egyes megközelítésekről további részletek találhatók az e fejezet végén található anyagokban. Ha saját megközelítésben szeretné használni ezeket a megközelítéseket, nagyon ajánlom az ok-okozati következtetések (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .

A nem kísérleti adatokból származó oksági becslések egyikének az a megközelítése, hogy olyan eseményt keressen, amely véletlenszerűen bizonyos embereknek és nem másoknak adott kezelést. Ezeket a helyzeteket természetes kísérleteknek nevezzük. A természetes kísérlet egyik legtisztább példája Joshua Angrist (1990) kutatásából származik, amely a katonai szolgálatok jövedelemre gyakorolt ​​hatását mérik. A vietnami háború alatt az Egyesült Államok egy tervezeten keresztül megnövelte fegyveres erői méretét. Annak eldöntése érdekében, hogy mely állampolgárokat fognak szolgálni, az amerikai kormány lottót tartott. Minden születési dátumot egy darab papírra írták, és ahogy a 2.7. Ábrán látható, ezeket a papírokat egyenként választották ki annak érdekében, hogy meg lehessen határozni azt a sorrendet, amelyben a fiatal férfiakat szolgálják (a fiatal nők nem voltak tárgyai a tervezethez). Az eredmények alapján a szeptember 14-én született férfiakat hívták először, az április 24-én született férfiakat másodiknak hívták, és így tovább. Végül, ebben a sorsolásban 195 különböző napon született férfiakat készítettek, míg a 171 napos születésűek nem.

2.7. Ábra: Alexander Pirnie kongresszus (R-NY), aki 1969. december 1-jén rajzolta az első kapszulát a Szelektív Szolgálat tervezetére. Joshua Angrist (1990) kombinálta a lottótervezést a Szociális Biztonsági Igazgatóság jövedelmi adataival a katonai szolgálat hatásának becsléséhez a bevételekről. Ez egy példa a természetes kísérletet használó kutatásra. Forrás: amerikai szelektív szolgáltatási rendszer (1969) / Wikimedia Commons .

Bár nem feltétlenül nyilvánvalóvá válik, a sorsolás tervezete kritikusan hasonlít a randomizált ellenőrzött kísérlethez: mindkét esetben a résztvevőket véletlenszerűen kezelik. Annak érdekében, hogy megvizsgálja a véletlenszerű kezelés hatását, Angrist kihasználta a mindig nagy adatrendszer előnyeit: az Egyesült Államok Társadalombiztosítási Igazgatósága, amely gyakorlatilag minden amerikai bevételt gyűjti a foglalkoztatásból. Az Angriszt úgy vélte, hogy a veteránok jövedelmének körülbelül 15% -kal kevesebb az összehasonlítható nem-háziasszonyok jövedelmére vonatkozó adatok összevonásával.

Ahogy ez a példa illusztrálja, néha a szociális, politikai vagy természeti erők olyan módon kezelik a kezeléseket, amellyel a kutatók kihasználhatják őket, és néha ezeknek a kezeléseknek a hatását mindig nagy adatforrások rögzítik. Ez a kutatási stratégia az alábbiak szerint foglalható össze: \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]

Ahhoz, hogy ezt a stratégiát a digitális korszakban szemléljük, fontoljuk meg Alexandre Mas és Enrico Moretti (2009) amely megpróbálta megbecsülni a produktív kollégákkal való munkavégzés hatását a munkavállalók termelékenységére. Mielőtt meglátná az eredményeket, érdemes rámutatni arra, hogy van olyan ellentmondó várakozás, amely lehet. Egyrészt elvárhatjuk, hogy a produktív munkatársakkal való munkavégzés egy munkást eredményezhet a termelékenység növelése érdekében, a társaik nyomása miatt. Vagy talán arra számíthatsz, hogy a keményen dolgozó társaid miatt a munkavállaló lelassulhat, mert a munkát máskor végzi. A termelékenységre gyakorolt ​​hatások vizsgálatának legegyszerűbb módja egy randomizált, ellenőrzött kísérlet lenne, ahol a munkavállalókat véletlenszerűen különböző termelékenységű munkavállalókkal váltják át, majd az így termelt hatékonyság mértéke mindenki számára. A kutatók azonban nem ellenőrzik a munkások ütemtervét semmilyen valódi üzleti tevékenységben, így Mas és Moretti egy természetes kísérletre támaszkodnia, amely a szupermarketben lévő pénztárosokat érintette.

Ebben a szupermarketben az ütemezés és az átfedés módja miatt minden egyes pénztárnak különböző munkatársai voltak különböző napszakokban. Továbbá, ebben a szupermarketben a pénztárosok megbízása nem kapcsolódott társaik termelékenységéhez, vagy hogy mennyire elfoglalt a bolt. Más szavakkal, annak ellenére, hogy a pénztárosok ütemezését nem egy lottó határozta meg, olyan volt, mintha a munkavállalókat néha véletlenszerűen magas vagy alacsony termelékenységű munkatársakkal dolgoznának ki. Szerencsére ez a szupermarket is rendelkezett egy digitális korhatárú fizetési rendszerrel, amely nyomon követte azokat az elemeket, amelyeket minden pénztáros minden alkalommal átkutatott. Ebből a pénztárnapi adatokból a Mas és a Moretti képes volt pontos, egyéni és folyamatosan mért termelékenységet létrehozni: a másodpercenként beolvasott elemek számát. E két dolog összekapcsolása - a párhuzamos termelékenység természetesen előforduló változása és a termelékenység folyamatos mértéke - Mas és Moretti becslése szerint ha egy pénztáros munkatársakat kaptak, akik átlagosan 10% -kal voltak produktívabbak az átlagosnál, termelékenysége 1,5% -kal nőne . Ezenkívül az adatok méretét és gazdagságát két fontos kérdés feltárására használták fel: ennek a hatásnak a heterogenitása (Melyek a munkavállalók nagyobb hatásúak?) És a hatás mögötti mechanizmusok (Miért jár nagy termelékenységű társaik nagyobb termelékenység?). Visszatérünk e két fontos kérdéshez - a kezelési hatások és mechanizmusok heterogenitásához - a 4. fejezetben, amikor részletesebben tárgyalunk a kísérletekről.

A két tanulmányból általánosságban a 2.3. Táblázat összefoglalja azokat a tanulmányokat, amelyek ugyanolyan struktúrával rendelkeznek: egy mindig rendelkezésre álló adatforrás használatával valamilyen véletlen variáció hatásának mérésére. A gyakorlatban a kutatók két különböző stratégiát alkalmaznak a természetes kísérletek megtalálásához, mindkettő pedig gyümölcsöző lehet. Néhány kutató mindig egy adatforrással kezdõdik, és véletlen eseményeket keres a világban; mások véletlenszerű eseményeket indítanak a világban, és olyan adatforrásokat keresnek, amelyek kihasználják hatását.

Az eddigi vitákban a természetes kísérleteket illetően egy fontos pontot hagytam el: a természet által nyújtott lehetőségekhez képest elmondható, hogy néha nagyon bonyolult lehet. Térjünk vissza a Vietnam-tervezethez. Ebben az esetben Angristot érdekelte a katonai szolgálat jövedelemre gyakorolt ​​hatásának becslése. Sajnos a katonai szolgálatot nem véletlenszerűen rendelték; inkább véletlenszerűen kiosztották. Azonban nem mindenki, akit megszerkesztettek (sokféle mentesség létezett), és nem mindenki, aki szolgálta, megfogalmazódott (az emberek önként jelentkezhetnek). Mivel a vázlatos elrendezést vázolták fel, a kutató becsülheti azt, hogy a tervezetben minden ember számára készültek-e. De Angrist nem akarta tudni, milyen hatást gyakorolnak; tudni akarta a katonaság szolgálatának hatását. Ehhez azonban további feltételezések és komplikációk szükségesek. Először is, a kutatóknak azt kell feltételezniük, hogy a hatással járó bevételek elkészítésének egyetlen módja a katonai szolgálat, amely a kizárási korlátozásnak nevezett feltevés. Ez a feltételezés téves lehet, ha például a megfogalmazott férfiak hosszabb ideig maradtak az iskolában, hogy elkerüljék a kiszolgálásukat, vagy ha a munkáltatók kevésbé hajlandóak felvenni a megfogalmazott embereket. Általánosságban a kizárási korlátozás kritikus feltételezés, és általában nehéz ellenőrizni. Még ha a kirekesztési korlátozás helyes is, még mindig lehetetlen becsülni a szolgáltatásnak az összes emberre gyakorolt ​​hatását. Ehelyett kiderül, hogy a kutatók csak úgy tudják becsülni a férfiak egy bizonyos részhalmazára gyakorolt ​​hatást, akiket a kollégáknak neveznek (olyan férfiak, akik akkor szolgálnának, amikor megszövegeztek, de nem szolgálnak, ha nem szerkesztettek) (Angrist, Imbens, and Rubin 1996) . A Compliers azonban nem az érdeklődés eredeti lakossága volt. Vegyük észre, hogy ezek a problémák akkor is felmerülnek, ha a lottójáték tervezet viszonylag tiszta. További komplikációk jönnek létre, ha a kezelést nem fizikai lottó adja. Például Mas és Moretti tanulmányai a pénztárosok, további kérdések merülnek fel azon feltételezés, hogy a hozzárendelés a társaik lényegében véletlenszerű. Ha ezt a feltételezést erőteljesen megsértették, akkor a becsléseik elfogultak. Összefoglalva, a természetes kísérletek hatékony stratégiát jelenthetnek az oksági becslések nem kísérleti adatokból történő előállításához, és a nagy adatforrások növelik azon képességünket, hogy kihasználják a természetes kísérleteket, amikor azok előfordulnak. Azonban valószínűleg nagy óvatosságot igényel - és néha erős feltevéseket -, hogy eljusson attól, amit a természet adott a kívánt becsléshez.

A második stratégia, amelyről szeretném elmondani, hogy a nem kísérleti adatok okozati becslései a statisztikai nem-kísérleti adatok statisztikai kiigazításától függnek, annak érdekében, hogy figyelembe vegyék azokat a korábban meglévő különbségeket, akik a kezelést nem kapták meg és nem kapták meg. Számos ilyen kiigazítási megközelítés létezik, de összpontosítani fogok egy összehangoltnak . Egyeztetéskor a kutató a nem kísérleti adatokon keresztül olyan pár embereket hoz létre, akik hasonlóak, kivéve, ha az egyiket megkapta, és az egyik nem. A megfeleltetés folyamatában a kutatók valójában metszõdnek is ; vagyis azokat az eseteket, amikor nincs nyilvánvaló mérkőzés. Így ezt a módszert pontosan úgy lehetne nevezni, mint a metszés és metszés, de a hagyományos kifejezéshez hasonlóan: illeszkedem.

A hatalmas, nem kísérleti adatforrásokra vonatkozó stratégiák összehangolásának erejét példázza a Liran Einav és a kollégák (2015) fogyasztói magatartásáról folytatott kutatás. Az eBay-en zajló aukciók iránt érdeklődtek, és a munkájuk leírásában az árverés árának az árverési eredményekre, például az eladási árra vagy az eladás valószínűségére összpontosítanak.

A kiindulási árnak az eladási árra gyakorolt ​​hatásának becslésénél a leginkább naiv módon lehetne egyszerűen kiszámítani az árindexek végső árát, amelyek eltérő indulási árakkal rendelkeznek. Ez a megközelítés rendben lenne, ha meg akarta volna becsülni az eladási árat a kezdő áron. De ha a kérdésed a kezdőár hatására vonatkozik, akkor ez a megközelítés nem fog működni, mert nem tisztességes összehasonlításon alapul; az alacsonyabb indulási árakkal rendelkező aukciók meglehetősen eltérhetnek azoktól, amelyek magasabb kiindulási árakkal rendelkeznek (pl. különböző típusú árukra vonatkozhatnak, vagy különböző típusú eladókra vonatkozhatnak).

Ha már tudatában vannak a nem kísérleti adatokból származó okozati becslések okozta problémákról, kihagyhatjátok a naiv megközelítést, és megfontolhatják a mező-kísérlet futtatását, ahol egy meghatározott elemet - egy golfklubot - eladnának egy rögzített az aukciós paraméterek - például, ingyenes szállítás és aukció két hétig - de véletlenszerűen meghatározott kezdőárral. Az ebből eredő piaci eredmények összehasonlításával ez a mező-kísérlet nagyon pontos mérést adna a kikiáltási árnak az eladási árra gyakorolt ​​hatásáról. De ez a mérés csak egy adott termékre és az aukciós paraméterek készletére vonatkozna. Az eredmények eltérőek lehetnek például a különböző típusú termékek esetében. Erős elmélet nélkül nehéz kivonni ebből az egyetlen kísérletből a lehetséges kísérletek teljes skálájába, amelyeket végre lehetett volna hajtani. Továbbá, a helyszíni kísérletek eléggé költségesek, hogy nem lenne hajlandó minden olyan változatot végrehajtani, amelyet meg kellene próbálnia.

A naiv és kísérleti megközelítésekkel ellentétben Einav és munkatársai egy harmadik megközelítést alkalmaztak: megfeleltetés. A legfontosabb trükk a stratégiájukban olyan dolgok felfedezése, amelyek hasonlóak az eBay-ben már elvégzett kísérletekhez. Például a 2.8. Ábra mutatja a pontosan ugyanazt a golfklub 31 listáját - a Taylormade Burner 09 Driver-et ugyanaz az eladó - "budgetgolfer". Ezek a 31 lista azonban enyhén eltérő tulajdonságokkal rendelkezik, ár, végpontok és szállítási díjak. Más szóval, mintha a "budgetgolfer" kísérleteket végez a kutatók számára.

A "budgetgolfer" által értékesített Taylormade Burner 09 illesztőprogram listája egy példája az illeszkedő listáknak, ahol a pontosan ugyanazt az elemet ugyanaz az eladó értékesítette, de minden egyes alkalommal kissé eltérő jellemzőkkel. Az eBay hatalmas rönkökben szó szerint több százezer illeszkedő készlet található, amely milliókat tartalmaz. Így az Einav és munkatársai összehasonlítva az összes aukcióra vonatkozó végső árat egy adott kiindulási árral összehasonlítva. Annak érdekében, hogy az ezekben a több százezer illeszkedő készleten belüli összehasonlítások eredményeit össze lehessen hasonlítani, az Einav és munkatársai újra kifejezették az egyes termékek referenciaértékének (pl. Átlagos eladási árának) a kiindulási és a végső árat. Például, ha a Taylormade Burner 09 vezetője 100 dollár értékű referenciaértékkel rendelkezik (az értékesítések alapján), akkor a $ 10 kezdőárat 0,1-esnek és 120 dollár végső árként 1,2-nek fogják kifejezni.

2.8. Ábra: Az illesztett készlet egy példája. Ez pontosan ugyanaz a golfklub (Taylormade Burner 09 Driver), amelyet ugyanaz a személy árul el ("budgetgolfer"), de ezeknek az értékesítéseknek egy része különböző feltételek mellett (pl. Különböző kezdeti árak) történt. Einav et al. (2015) engedélyével reprodukálva Einav et al. (2015) , 1b. Ábra.

Emlékezzünk vissza, hogy Einav és munkatársai érdeklődtek a kezdeti ár hatására az aukciós eredményekre. Először is lineáris regressziót alkalmaztak annak becsléséhez, hogy a magasabb indulási árak csökkenti az értékesítés valószínűségét, és hogy a magasabb kezdőárak emelik a végső eladási árat (feltételezve, hogy egy eladás történik). Önmagukban ezek a becslések - amelyek lineáris kapcsolatot írnak le és átlagolnak minden terméken - nem mindegyik érdekes. Ezután Einav és munkatársai az adatok hatalmas méretét használják, hogy különböző finomabb becsléseket készítsenek. Például, ha különféle különféle induló árakra külön határozták meg a hatást, úgy találták, hogy a kikiáltási ár és az eladási ár közötti kapcsolat nemlineáris (2.9. Különösen a 0,05 és 0,85 közötti induló árak miatt a kikiáltási ár nagyon kevés hatással van az eladási árra, amely megállapítás teljesen kimaradt az első elemzésből. Továbbá, az átlagolás helyett az Einav és munkatársai becslése szerint a kijárási ár hatása 23 különböző tételcsoportra (pl. Háziállat kellékek, elektronika és sport emléktárgyak) (2.10 ábra). Ezek a becslések azt mutatják, hogy a megkülönböztető elemek - például a memorabilia-induló ár kisebb hatást gyakorol az eladás valószínűségére, és nagyobb hatást gyakorol a végső eladási árra. Továbbá, több árucikk - például DVD-k esetében - a kikiáltási ár majdnem semmilyen hatással van a végső árra. Más szóval, egy olyan átlag, amely 23 különböző elemkategóriát eredményez, a fontos különbségeket rejti el ezek között.

2.9. Ábra: Az aukciós kezdőár és az értékesítés valószínűsége (a) és az eladási ár (b) közötti kapcsolat. Nagyjából lineáris összefüggés van a kiindulási ár és az értékesítési valószínűség között, de a kiindulási ár és az eladási ár közötti nemlineáris kapcsolat; a 0,05 és 0,85 közötti induló árak miatt a kikiáltási ár nagyon kevés hatással van az eladási árra. Mindkét esetben a kapcsolatok alapvetően függetlenek az elemértéktől. Alkalmazva Einav et al. (2015) , a 4a. És 4b.

2.10 ábra: Az egyes kategóriákból származó becslések; a szilárd pont az összes csoport összevont együttes becslése (Einav et al. 2015) . Ezek a becslések azt mutatják, hogy a megkülönböztető elemek - például a memorabilia - a kikiáltási ár kisebb hatást gyakorol az értékesítés valószínűségére ( \(x\) -axis), és nagyobb hatást gyakorol a végső eladási árra ( \(y\) -tengely). Alkalmazva Einav et al. (2015) , 8. ábra.

Még ha nem is különösebben érdekli az eBay aukciója, akkor meg kell csodálnod, hogy a 2.9 és a 2. ábra a gazdagabb megértést kínálja az eBay-nél, mint az egyszerű becslések, amelyek lineáris kapcsolatot írnak le, és számos különböző elemcsoportot kombinálnak. Továbbá, bár tudományosan lehetséges lenne ezeknek a finomabb becsléseknek a létrehozása szántóföldi kísérletekkel, a költség ilyen kísérleteket lényegében lehetetlen lenne megvalósítani.

A természetes kísérletekhez hasonlóan számos olyan módon is lehet, hogy a párosítás rossz becsléseket eredményezhet. Úgy vélem, hogy a becslések szerint a legnagyobb aggodalom az, hogy azokat olyan tényezők torzíthatják, amelyeket nem használtak az illesztés során. Például főbb eredményükben az Einav és munkatársai pontosan illesztették a négy jellemzőt: eladói azonosítószám, elemkategória, tétel cím és felirat. Ha az elemek olyan módon különböznek, hogy azokat nem használták össze, akkor ez tisztességtelen összehasonlítást eredményezhet. Például, ha a "budgetgolfer" csökkentette a télen a Taylormade Burner 09 vezetőjének árait (amikor a golfklubok kevésbé népszerűek), akkor úgy tűnhet, hogy az alacsonyabb induló árak alacsonyabb végső árakhoz vezetnek, amikor valójában ez egy a kereslet szezonális változása. Ennek az aggodalomnak az egyik megközelítése az, hogy sok különböző módon próbálkozik. Például Einav és munkatársai megismételték az elemzésüket, miközben megváltoztatták az illesztéshez használt időablakot (az illesztett készletek tartalmazzák az értékesítés egy éven belül, egy hónapon belül, egyidejűleg). Szerencsére hasonló eredményeket talált minden időablakban. A párosítással kapcsolatos további aggályok az értelmezésből származnak. A párosításra vonatkozó becslések csak az illeszkedő adatokra vonatkoznak; nem vonatkozik azokra az esetekre, amelyek nem illeszthetők össze. Például azáltal, hogy kutatásaikat többszörös listákra bontott tárgyakra korlátozta, az Einav és munkatársai a professzionális és félig professzionális eladókra koncentrálnak. Így az összehasonlítások értelmezésekor emlékeznünk kell arra, hogy csak az eBay részhalmazára vonatkoznak.

A megfeleltetés hatékony stratégia a méltányos összehasonlítások megtalálásához a nem kísérleti adatokban. Számos társadalomtudós számára a megfelelés a második legjobbnak tűnik a kísérletekhez, de ez egy kissé kismértékű meggyőződés. A masszív adatokhoz való illesztés jobb lehet, mint egy kis számú helyszíni kísérlet, ha (1) a hatások heterogenitása fontos, és (2) meghatározták a megfeleléshez szükséges fontos változókat. A 2.4. Táblázat további példákat tartalmaz arra vonatkozóan, hogy hogyan lehet egyesíteni a nagy adatforrásokkal.

Összefoglalva, a nem kísérleti adatok oksági hatásainak becslése nehéz, de olyan megközelítések, mint például a természetes kísérletek és a statisztikai kiigazítások (pl. Bizonyos helyzetekben ezek a megközelítések rosszul tévedhetnek, de gondosan bevetve ezek a megközelítések hasznos kiegészítő lehetnek a 4. fejezetben ismertetett kísérleti megközelítéshez. Továbbá, ez a két megközelítés különösen valószínűleg kihasználja a folyamatosan növekvő növekedést, nagy adatrendszerekről.