2.4.3 aproximácii experimenty

Môžeme aproximovať experimenty, ktoré nemôžeme alebo nemôžeme robiť. Dva prístupy, ktoré využívajú obrovské zdroje údajov, sú prirodzené experimenty a porovnávanie.

Niektoré dôležité vedecké a politické otázky sú kauzálne. Napríklad, aký je vplyv programu odbornej prípravy na mzdy? Výskumný pracovník, ktorý sa pokúša odpovedať na túto otázku, by mohol porovnať zárobky ľudí, ktorí sa zaregistrovali na školenie, s tými, ktorí to neurobili. Ale koľko akejkoľvek rozdielnej mzdy medzi týmito skupinami je kvôli tréningu a koľko je kvôli predtým existujúcim rozdielom medzi ľuďmi, ktorí sa zaregistrujú a tými, ktorí to nerobia? Je to ťažká otázka a je to tá, ktorá automaticky nezmizne viac údajov. Inými slovami, vzniká obava z možných existujúcich rozdielov bez ohľadu na to, koľko pracovníkov je vo vašich údajoch.

V mnohých situáciách najsilnejším spôsobom, ako odhadnúť kauzálny účinok niektorých liečebných postupov, ako je pracovný tréning, je spustenie randomizovaného kontrolovaného experimentu, pri ktorom výskumník náhodne dodá liečbu niektorým ľuďom a nie iným. Budem venovať všetku kapitolu 4 experimentom, takže tu sa budem sústrediť na dve stratégie, ktoré sa dajú použiť s nepe experimentálnymi údajmi. Prvá stratégia závisí od hľadania niečoho, čo sa deje vo svete, ktoré náhodne (alebo takmer náhodne) priradí liečbu niektorým ľuďom a nie iným. Druhá stratégia závisí od štatistického nastavenia nepopulárnych údajov, ktoré sa pokúšajú vysvetliť existujúce rozdiely medzi tými, ktorí uskutočnili a neprijali liečbu.

Skeptik by mohol tvrdiť, že obe tieto stratégie by sa mali vyhnúť, pretože vyžadujú silné predpoklady, predpoklady, ktoré je ťažké posúdiť a ktoré sa v praxi často porušujú. Zatiaľ čo súhlasím s týmto tvrdením, myslím, že ide trochu príliš ďaleko. Určite je pravda, že je ťažké spoľahlivo urobiť kauzálne odhady z nepopulárnych údajov, ale nemyslím si, že to znamená, že by sme sa nikdy nemali pokúšať. Konkrétne môžu byť nepyperačné prístupy užitočné, ak logistické obmedzenie zabraňuje vykonaniu experimentu alebo ak etické obmedzenia znamenajú, že nechcete spustiť experiment. Okrem toho môžu byť nepružné prístupy užitočné, ak chcete využiť údaje, ktoré už existujú, aby ste mohli navrhnúť randomizovaný kontrolovaný experiment.

Predtým, než začnete, je potrebné poznamenať, že tvorba kauzálnych odhadov je jednou z najzložitejších tém spoločenského výskumu, ktorá môže viesť k intenzívnej a emocionálnej diskusii. V nasledujúcom texte poskytnem optimistický opis každého prístupu s cieľom vytvoriť intuíciu o tom, potom budem popísať niektoré problémy, ktoré vznikajú pri používaní tohto prístupu. Ďalšie podrobnosti o každom prístupe sú dostupné v materiáloch na konci tejto kapitoly. Ak máte v úmysle použiť jeden z týchto prístupov vo svojom vlastnom výskume, odporúčam vám čítať jednu z mnohých vynikajúcich kníh o príčinných záveroch (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .

Jedným z prístupov na tvorbu kauzálnych odhadov z nepeteriálnych údajov je hľadať udalosť, ktorá náhodne priradila liečbu niektorým ľuďom a nie druhým. Tieto situácie sa nazývajú prirodzené experimenty . Jeden z najjasnejších príkladov prirodzeného experimentu pochádza z výskumu Joshua Angrista (1990) meral vplyv vojenských služieb na zárobky. Počas vojny vo Vietname Spojené štáty zvýšili veľkosť svojich ozbrojených síl prostredníctvom návrhu. S cieľom rozhodnúť, ktoré občania by boli uvedené do služby, mala vláda USA lotériu. Každé narodenie bolo napísané na kus papiera a ako je znázornené na obrázku 2.7, tieto kusy papiera boli vybrané jeden po druhom, aby sa určil poradie, v ktorom by mladí muži boli povolaní slúžiť (mladé ženy neboli predmetom k návrhu). Na základe výsledkov boli muži narodení 14. septembra povolaní ako prvý, muži narodení 24. apríla boli nazvaní druhí a tak ďalej. Nakoniec sa v tejto lotérii vypracovali muži narodení v 195 rôznych dňoch, zatiaľ čo muži narodení za 171 dní neboli.

Obrázok 2.7: Kongresman Alexander Pirnie (R-NY) vytiahol prvú kapsulu pre projekt Selektívnej služby 1. decembra 1969. Joshua Angrist (1990) spojil návrh lotérie s údajmi o príjmoch od správy sociálneho zabezpečenia, aby odhadol vplyv vojenskej služby na zárobkoch. Toto je príklad výskumu, ktorý používa prirodzený experiment. Zdroj: US Selective Service System (1969) / Wikimedia Commons .

Hoci to nemusí byť okamžite zrejmé, návrh lotérie má kritickú podobnosť s randomizovaným kontrolovaným experimentom: v obidvoch situáciách sú účastníci náhodne priradení na liečbu. S cieľom skúmať účinok tejto randomizovanej liečby Angrist využil neustále veľký dátový systém: US Social Security Administration, ktorá zhromažďuje informácie o prakticky každom americkom príjme zo zamestnania. Kombináciou informácií o tom, kto bol náhodne vybratý v návrhu lotérie s údajmi o príjmoch, ktoré boli zhromaždené vo vládnych administratívnych záznamoch, Angrist dospel k záveru, že zárobky veteránov sú o 15% nižšie ako príjmy porovnateľných ne-veteránov.

Ako ilustruje tento príklad, niekedy sociálne, politické alebo prírodné sily priraďujú liečbu spôsobom, ktorý môžu výskumníci využívať, a niekedy účinky týchto liečby sú zachytené vždy v rozsiahlych zdrojoch údajov. Táto výskumná stratégia môže byť zhrnutá nasledovne: \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]

Aby sme ilustrovali túto stratégiu v digitálnom veku, uvažujme o štúdii Alexandra Masa a Enrica Morettiho (2009) ktoré sa pokúsili odhadnúť účinok práce s produktívnymi kolegami na produktivitu pracovníkov. Predtým, ako uvidíte výsledky, stojí za to poukázať na to, že existujú protichodné očakávania, ktoré by ste mohli mať. Na jednej strane by ste mohli očakávať, že práca s produktívnymi kolegami povedie pracovníka k zvýšeniu svojej produktivity z dôvodu vzájomného tlaku. Alebo, na druhej strane, môžete očakávať, že s ťažko pracujúcimi rovesníkmi by mohlo dôjsť k tomu, že pracovník sa zotaví, lebo práca bude robiť jej kolegovia. Najjasnejší spôsob, ako skúmať účinky peerov na produktivitu, by bol randomizovaný kontrolovaný experiment, pri ktorom sú pracovníci náhodne pridelení na posun s pracovníkmi s rôznou úrovňou produktivity a výsledná produktivita sa meria pre všetkých. Výskumníci však nekontrolujú harmonogram pracovníkov v žiadnom skutočnom živote, a preto sa Mas a Moretti museli spoliehať na prirodzený experiment zahŕňajúci pokladníkov v supermarkete.

V tomto konkrétnom supermarkete, vzhľadom na spôsob, akým sa uskutočňovalo plánovanie a spôsob, akým sa presuny prelínajú, každý pokladník mal rôznych spolupracovníkov v rôznych časových obdobiach. Ďalej, v tomto konkrétnom supermarkete, priradenie pokladníkov nesúviselo s produktivitou svojich kolegov alebo s tým, ako bol obchod obsadený. Inými slovami, napriek tomu, že plánovanie pokladníc nebola určená lotériou, bolo to, ako keby pracovníci boli niekedy náhodne zaradení do práce s vysokými (alebo nízkymi) producentmi. Našťastie tento supermarket mal tiež systém elektronického pokladničného systému, ktorý sledoval položky, ktoré každý pokladník vždy prehľadal. Z týchto údajov denníka odberov dokázali Mas a Moretti vytvoriť presnú, individuálnu a vždy meranú produktivitu: počet naskenovaných položiek za sekundu. Spolu s týmito dvoma vecami - prirodzene sa vyskytujúcimi rozdielmi v produktivite rovnocennosti a neustálym meraním produktivity - Mas a Moretti odhadli, že keby bol pokladník pridelený spolupracovníkom, ktorí boli o 10% produktívnejší ako priemer, jeho produktivita by sa zvýšila o 1,5% , Ďalej používali veľkosť a bohatstvo svojich údajov na preskúmanie dvoch dôležitých otázok: rôznorodosť tohto efektu (pre ktoré druhy pracovníkov je efekt väčší?) A mechanizmy za účinkom (prečo má vysoko-produktivita vrstevníci viesť k vyššia produktivita?). Vrátime sa k týmto dvom dôležitým otázkam - rôznorodosti účinkov a mechanizmov liečby - v kapitole 4, keď podrobnejšie diskutujeme o pokusoch.

Z týchto dvoch štúdií sa zovšeobecňuje, tabuľka 2.3 sumarizuje ďalšie štúdie, ktoré majú rovnakú štruktúru: pomocou zdroja údajov vždy na meranie účinku niektorých náhodných variácií. V praxi výskumníci používajú dve rôzne stratégie na hľadanie prirodzených experimentov, z ktorých obe môžu byť plodné. Niektorí vedci začínajú vždy zdrojom údajov a hľadajú náhodné udalosti na svete. iní začnú na svete náhodnú udalosť a vyhľadajú zdroje údajov, ktoré zachytia jej vplyv.

V doterajšej diskusii o prirodzených pokusoch som vynechal dôležitý bod: prechod z toho, čo poskytla príroda na to, čo chcete, môže byť niekedy dosť zložitá. Poďme sa vrátiť k príkladu Vietnamu. Angrist sa v tomto prípade zaujímal o odhad vplyvu vojenskej služby na zárobky. Bohužiaľ, vojenská služba nebola náhodne pridelená; skôr to bolo navrhnuté, že bol náhodne pridelený. Avšak nie každý, kto bol navrhnutý, slúžil (existovali rôzne výnimky) a nie každý, kto slúžil, bol navrhnutý (ľudia by mohli dobrovoľne slúžiť). Vzhľadom k tomu, že je navrhnutý náhodne pridelený, výskumník môže odhadnúť účinok navrhovania pre všetkých mužov v návrhu. Angrist však nechcel vedieť, aký vplyv má prepracovanie; chcel vedieť, aký vplyv má slúžiť v armáde. Pre tento odhad sa však vyžadujú dodatočné predpoklady a komplikácie. Po prvé, výskumní pracovníci musia predpokladať, že jediný spôsob, akým sa navrhovaný vplyv na zárobky dosiahne, je prostredníctvom vojenskej služby, čo je predpoklad nazývaný obmedzenie vylúčenia . Tento predpoklad by mohol byť nesprávny, ak napríklad muži, ktorí boli navrhovaní, zostali v škole dlhšie, aby sa vyhli službe, alebo ak by zamestnávatelia mali menej pravdepodobne najať mužov, ktorí boli navrhovaní. Všeobecne platí, že obmedzenie vylúčenia je kritickým predpokladom a je zvyčajne ťažké ho overiť. Aj keď je obmedzenie vylúčenia správne, je stále nemožné odhadnúť účinok služby na všetkých mužov. Namiesto toho sa ukazuje, že výskumníci môžu odhadnúť iba vplyv na určitú podskupinu mužov nazývaných komplienti (muži, ktorí by slúžili, keby sa pripravovali, ale nebudú slúžiť, ak nebudú navrhovaní) (Angrist, Imbens, and Rubin 1996) . Dodávatelia však neboli pôvodnou populáciou záujmu. Všimnite si, že tieto problémy vznikajú aj v relatívne čistom prípade návrhu lotérie. Ďalší súbor komplikácií vzniká, keď liečba nie je pridelená fyzickou lotérou. Napríklad v Masovej a Morettiovej štúdii pokladníkov vznikajú ďalšie otázky týkajúce sa predpokladu, že priradenie rovesníkov je v podstate náhodné. Ak by bol tento predpoklad výrazne porušený, mohol by odmietnuť ich odhady. Na záver, prirodzené experimenty môžu byť silnou stratégiou na vytváranie kauzálnych odhadov z nepermanentných údajov a veľké zdroje údajov zvyšujú našu schopnosť využívať prirodzené experimenty, keď sa vyskytujú. Bude však pravdepodobne vyžadovať veľkú starostlivosť - a niekedy aj silné predpoklady - aby ste prešli z toho, čo príroda poskytla odhadovaniu, ktoré chcete.

Druhá stratégia, na ktorú by som vám chcela povedať, že ste urobili kauzálne odhady z nepeterifických údajov, závisí od štatistického nastavenia nepeteriálnych údajov v snahe o vysvetlenie existujúcich rozdielov medzi tými, ktorí vykonali liečbu a nedostali ju. Existuje mnoho takých úprav prístupy, ale budem sa sústrediť na jednu nazýva párovanie. Pri porovnávaní sa výskumník pozerá na nepermanentné údaje, aby vytvoril dvojice ľudí, ktorí sú podobní, okrem toho, že jeden z nich dostal liečbu a nie. V procese zosúlaďovania sa vedci skutočne tiež prerezávajú ; to znamená vyradenie prípadov, v ktorých neexistuje žiadna zrejmé zhoda. Takto by sa táto metóda mohla presnejšie nazývať "matching-and-pruning", ale budem držať tradičného pojmu: matching.

Jedným príkladom schopnosti zosúladiť stratégie s masívnymi experimentálnymi zdrojmi údajov pochádza z výskumu správania spotrebiteľov Liranom Einavom a kolegami (2015) . Mali záujem o aukcie, ktoré prebiehajú na eBay, a pri opise ich práce sa zameriam na vplyv aukčnej ceny na výsledky aukcie, ako je predajná cena alebo pravdepodobnosť predaja.

Najnezivnejším spôsobom, ako odhadnúť vplyv štartovacej ceny na predajnú cenu, je jednoducho vypočítať konečnú cenu za aukcie s rozdielnymi východiskovými cenami. Tento prístup by bol v poriadku, ak by ste chceli predvídať predajnú cenu vzhľadom na východiskovú cenu. Ak sa však vaša otázka týka efektu východiskovej ceny, tento prístup nebude fungovať, pretože nie je založený na spravodlivých porovnávaniach; aukcie s nižšími východiskovými cenami môžu byť úplne odlišné od aukcií s vyššími východiskovými cenami (napr. môžu byť pre rôzne druhy tovaru alebo zahŕňajú rôzne typy predajcov).

Ak už viete o problémoch, ktoré sa môžu vyskytnúť pri príprave kauzálnych odhadov z nepopulárnych údajov, môžete preskočiť naivný prístup a zvážiť spustenie experimentu v teréne, kde by ste predávali konkrétnu položku - povedzme golfový klub - s pevnou súbor aukčných parametrov - povedzme, doprava zdarma a aukcia otvorená na dva týždne - ale náhodne priradené začiatočné ceny. Porovnaním výsledných výsledkov trhu by tento terénny experiment poskytol veľmi jasné meranie vplyvu východiskovej ceny na predajnú cenu. Toto meranie by sa však vzťahovalo iba na jeden konkrétny produkt a súbor aukčných parametrov. Výsledky môžu byť rôzne, napríklad pre rôzne typy výrobkov. Bez silnej teórie je ťažké extrapolovať z tohto jediného experimentu na celý rozsah možných experimentov, ktoré mohli byť spustené. Ďalej sú terénne experimenty dostatočne drahé, že by bolo nemožné spustiť každú variáciu, ktorú by ste mohli skúsiť.

Na rozdiel od naivných a experimentálnych prístupov Einav a kolegovia zaujali tretí prístup: prispôsobenie. Hlavným trikom v ich stratégii je objaviť veci podobné terénnym pokusom, ktoré sa už stali na eBay. Napríklad obrázok 2.8 zobrazuje niektoré z 31 výpisov pre presne ten istý golfový klub - Taylormade Burner 09 Driver - predávaný presne tým istým predajcom - "budgetgolfer". Avšak tieto 31 výpisy majú mierne odlišné charakteristiky, cenu, dátumy ukončenia a poplatky za prepravu. Inými slovami, je to, akoby "budgetgolfer" spustil experimenty pre výskumníkov.

Tieto výpisy ovládača Taylormade Burner 09 predávaného spoločnosťou "budgetgolfer" sú jedným príkladom porovnanej sady výpisov, kde presne ten istý predmet predáva ten istý predajca, ale vždy s mierne odlišnými charakteristikami. V rámci masívnych protokolov eBay existujú doslova stovky tisíc spárovaných súborov zahŕňajúcich milióny výpisov. Namiesto toho, aby porovnali konečnú cenu za všetky aukcie s danou východiskovou cenou, Einav a kolegovia v porovnaní s porovnateľnými súbormi porovnali. Aby sa kombinovali výsledky z porovnania v rámci týchto stoviek tisícok zhodných súborov, Einav a kolegovia znova vyjadrili východiskovú cenu a konečnú cenu z hľadiska referenčnej hodnoty každej položky (napr. Jej priemernej predajnej ceny). Ak by napríklad vodič Taylormade Burner 09 mal referenčnú hodnotu 100 USD (na základe jeho predaja), potom by východisková cena 10 USD bola vyjadrená ako 0,1 a konečná cena 120 USD ako 1,2.

Obrázok 2.8: Príklad porovnanej sady. Jedná sa o presne ten istý golfový klub (tzv. Taylormade Burner 09 Driver), ktorý predáva presne ten istý človek ("budgetgolfer"), ale niektoré z týchto predajov boli vykonané za rôznych podmienok (napr. Rôzne východiskové ceny). Reprodukované na základe povolenia od Einav et al. (2015) , obrázok 1b.

Pripomeňme si, že Einav a kolegovia sa zaujímali o vplyv štartovacej ceny na výsledky aukcie. Po prvé použili lineárnu regresiu, aby odhadli, že vyššie východiskové ceny znižujú pravdepodobnosť predaja a že vyššie východiskové ceny zvyšujú konečnú predajnú cenu (podmienené predajom). Samotné tieto odhady - ktoré opisujú lineárny vzťah a sú spriemerované vo všetkých produktoch - nie sú všetko zaujímavé. Potom Einav a kolegovia využili obrovskú veľkosť svojich údajov na vytvorenie rôznych jemnejších odhadov. Napríklad odhadom efektu oddelene pre rôzne východiskové ceny zistili, že vzťah medzi východiskovou a predajnou cenou je nelineárny (obrázok 2.9). Najmä pre začiatočné ceny medzi 0,05 a 0,85 má východisková cena veľmi malý vplyv na predajnú cenu, čo bolo zistenie, ktoré sa úplne zmeškalo pri prvej analýze. Einav a kolegovia odhadovali vplyv spúšťacej ceny na 23 rôznych kategórií položiek (napr. Zásoby domácich zvierat, elektroniky a športových pamätihodností) (obrázok 2.10). Tieto odhady poukazujú na to, že pri výraznejších položkách - ako sú napríklad memorabilia - počiatočná cena má menší vplyv na pravdepodobnosť predaja a väčší vplyv na konečnú predajnú cenu. Ďalej, pre viac komodifikovaných položiek, ako sú napríklad DVD, východisková cena nemá takmer žiadny vplyv na konečnú cenu. Inými slovami, priemer, ktorý kombinuje výsledky z 23 rôznych kategórií položiek, skrýva dôležité rozdiely medzi týmito položkami.

Obrázok 2.9: Vzťah medzi počiatočnou cenou aukcie a pravdepodobnosťou predaja (a) a predajnou cenou (b). Existuje zhruba lineárny vzťah medzi počiatočnou cenou a pravdepodobnosťou predaja, ale nelineárny vzťah medzi počiatočnou cenou a predajnou cenou; na začiatočné ceny medzi 0,05 a 0,85, má východisková cena veľmi malý vplyv na predajnú cenu. V oboch prípadoch sú vzťahy v zásade nezávislé od hodnoty položky. Adaptované od Einav et al. (2015) , obrázky 4a a 4b.

Obrázok 2.10: Odhady z každej kategórie položiek; Pevná bodka je odhad pre všetky kategórie združené dohromady (Einav et al. 2015) . Tieto odhady poukazujú na to, že pri výraznejších položkách - ako sú memorabiliá - má východisková cena menší vplyv na pravdepodobnosť predaja ( \(x\) -axis) a väčší vplyv na konečnú predajnú cenu ( \(y\) v osi). Adaptované od Einav et al. (2015) , obrázok 8.

Aj keď nemáte záujem o aukcie na eBay, musíte obdivovať spôsob, akým obrázky 2.9 a 2.10 ponúkajú bohatšie pochopenie eBay ako jednoduché odhady, ktoré opisujú lineárny vzťah a kombinujú rôzne kategórie položiek. Ďalej, aj keď by bolo vedecky možné generovať tieto jemnejšie odhady pri terénnych experimentoch, náklady by takéto experimenty v podstate nemali.

Rovnako ako v prípade prirodzených experimentov existuje niekoľko spôsobov, ako môže prispôsobenie viesť k chybným odhadom. Myslím, že najväčším problémom so zhodujúcimi sa odhadmi je, že môžu byť zaujatý vecami, ktoré neboli použité pri porovnávaní. Napríklad vo svojich hlavných výsledkoch Einav a kolegovia presne zhodovali štyri charakteristiky: ID predávajúceho, kategóriu položky, názov položky a titulky. Ak by sa položky líšili spôsobom, ktorý nebol použitý na porovnanie, mohlo by to spôsobiť nespravodlivé porovnanie. Napríklad ak "budgetgolfer" znižuje ceny pre vodiča Taylormade Burner 09 v zime (keď golfové kluby sú menej populárne), potom by sa mohlo zdať, že nižšie východiskové ceny vedú k nižším konečným cenám, keď v skutočnosti by to bol artefakt sezónne zmeny v dopyte. Jeden prístup k riešeniu tohto problému sa snaží o mnoho rôznych druhov zhody. Napríklad Einav a kolegovia zopakovali svoju analýzu pri zmene časového okna použitého na porovnávanie (porovnateľné súpravy zahŕňali položky na predaj do jedného roka, do jedného mesiaca a súčasne). Našťastie zistili podobné výsledky pre všetky časové okná. Ďalšia obava z porovnania vyplýva z interpretácie. Odhady z porovnania sa vzťahujú iba na porovnané údaje. nevzťahujú sa na prípady, ktoré sa nedajú vyrovnať. Napríklad obmedzením ich výskumu na položky s viacerými výpismi sa Einav a kolegovia zameriavajú na profesionálnych a poloprofesionálnych predajcov. Preto pri interpretácii týchto porovnaní si musíme uvedomiť, že sa vzťahujú iba na túto podmnožinu eBay.

Zhoda je silnou stratégiou na hľadanie spravodlivých porovnaní v nepeteriálnych údajoch. Pre mnohých spoločenských vedcov sa zhody považujú za najlepšie experimenty, ale to je presvedčenie, ktoré možno trochu upraviť. Zhoda s masívnymi údajmi môže byť lepšia ako malý počet terénnych experimentov, keď (1) je dôležitá heterogénnosť účinkov a (2) boli merané dôležité premenné potrebné na porovnanie. V tabuľke 2.4 sú uvedené ďalšie príklady toho, ako môže byť zhoda s veľkými zdrojmi údajov.

Na záver je ťažké odhadnúť kauzálne efekty z nepeterifických údajov, ale môžu sa použiť prístupy, ako sú prírodné experimenty a štatistické úpravy (napr. Porovnanie). V niektorých situáciách môžu byť tieto prístupy zle zle, ale keď sa opatrne nasadzujú, tieto prístupy môžu byť užitočným doplnkom k experimentálnemu prístupu, ktorý popisujem v kapitole 4. Ďalej sa zdá, že tieto dva prístupy majú obzvlášť pravdepodobne prospech z rastu stále- na veľkých dátových systémoch.