2.4.3 приближната експерименти

Можеме да ги приближиме експериментите кои не сме или не можеме да ги направиме. Два пристапи кои особено имаат корист од големи извори на податоци се природни експерименти и совпаѓање.

Некои важни научни и политички прашања се причинско-последични. На пример, каков е ефектот од програмата за обука на работното место врз платите? Истражувачот кој се обидува да одговори на ова прашање може да ги спореди приходите на луѓето кои се пријавиле за обука на оние што не ги правеле. Но, колку е разликата во платите меѓу овие групи поради обуката и колку е тоа поради постоечките разлики помеѓу луѓето што се регистрираат и оние што не прават? Ова е тешко прашање, и тоа е оној што автоматски нема да исчезне со повеќе податоци. Со други зборови, загриженоста за можните постоечки разлики произлегува без оглед колку вработени се во вашите податоци.

Во многу ситуации, најсилниот начин да се процени каузалниот ефект на некој третман, како што е обуката за работа, е да се изврши рандомизиран контролиран експеримент, каде што истражувачот случајно обезбедува третман на некои луѓе, а не на други. Ќе го посветам целото поглавје на експерименти, па затоа ќе се фокусирам на две стратегии кои може да се користат со не-експериментални податоци. Првата стратегија зависи од тоа што бара нешто што се случува во светот, кое случајно (или скоро случајно) го доделува третманот на некои луѓе, а не на други. Втората стратегија зависи од статистички приспособување на не-експериментални податоци во обид да се објаснат постоечките разлики помеѓу оние кои го направиле и не го добиле третманот.

Скептик може да тврди дека и двете од овие стратегии треба да се избегнуваат бидејќи бараат силни претпоставки, претпоставки кои тешко се проценуваат и дека во пракса често се прекршуваат. Додека сум сочувствителен кон ова тврдење, мислам дека тоа оди малку предалеку. Сигурно е точно дека е тешко да се направат каузални проценки од не-експериментални податоци, но јас не мислам дека тоа значи дека ние никогаш не треба да се обидуваме. Особено, не експерименталните пристапи можат да бидат корисни ако логистичкото ограничување ве спречи да го спроведете експериментот или ако етичките ограничувања значат дека не сакате да го извршите експериментот. Понатаму, не-експерименталните пристапи може да бидат од корист доколку сакате да ги искористите податоците што веќе постојат за да се дизајнира рандомизиран контролиран експеримент.

Пред да се продолжи, исто така вреди да се напомене дека правењето каузални проценки е една од најкомплексните теми во општествените истражувања, и она што може да доведе до интензивна и емоционална дебата. Во она што следува, ќе дадам оптимистички опис на секој приод со цел да се изгради интуиција за тоа, а потоа ќе опишам некои од предизвиците кои произлегуваат при користење на тој пристап. Понатамошни детали за секој пристап се достапни во материјалите на крајот од ова поглавје. Ако планирате да користите некој од овие пристапи во вашите сопствени истражувања, високо препорачувам да прочитате една од многуте одлични книги за заклучоци (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .

Еден пристап за правење каузални проценки од не-експериментални податоци е да се бара настан кој случајно му доделува третман на некои луѓе, а не на други. Овие ситуации се нарекуваат природни експерименти . Еден од најјасните примери на природен експеримент доаѓа од истражувањето на Џошуа Енгрист (1990) мери ефектот на воените услуги врз заработувачката. За време на војната во Виетнам, Соединетите Држави ја зголемија големината на своите вооружени сили преку нацрт. Со цел да се одлучи кои граѓани ќе бидат повикани во употреба, американската влада одржа лотарија. Секој датум на раѓање бил напишан на парче хартија и, како што е прикажано на сликата 2.7, овие парчиња хартија се избираат еден по еден, со цел да се одреди редоследот по кој младите мажи ќе бидат повикани да служат (младите жени не биле предмет до нацрт). Врз основа на резултатите, прво се нарекуваат мажи родени на 14 септември, мажи родени на 24 април беа повикани на второ место, и така натаму. На крајот на краиштата, на оваа лотарија беа изготвени мажи родени на 195 различни денови, а мажите родени на 171 ден не беа.

Слика 2.7: Конгресменот Александар Пирни (Р-НЈ) ја извлекува првата капсула за нацртот за селективна услуга на 1 декември 1969 година. Џошуа Андрист (1990) комбинираше нацрт-лотаријата со податоци за заработувачката од Управата за социјална сигурност за да го процени ефектот на воената служба за заработка. Ова е пример за истражување со користење на природен експеримент. Извор: Систем за селективен систем на САД (1969) / Викимедија .

Иако тоа не може да биде веднаш очигледно, нацртот на лотарија има критична сличност со рандомизиран контролиран експеримент: во двете ситуации, учесниците се случајно назначени за да добијат третман. Со цел да го проучи ефектот на овој рандомизиран третман, Angrist го искористи големиот систем за податоци: Администрацијата за социјална сигурност на САД, која собира информации за речиси секоја заработка на Америка од вработување. Со комбинирање на информациите за тоа кој е случајно избран во нацрт-лотаријата со податоците за заработувачката што беа собрани во владините административни досиеја, Angrist заклучи дека приходите на ветераните се околу 15% помалку од заработката на споредливи не ветераните.

Како што илустрира овој пример, понекогаш социјалните, политичките или природните сили доделуваат третмани на начин кој може да се користи од истражувачите, а понекогаш и ефектите од овие третмани се заробени во секогаш на големи извори на податоци. Оваа стратегија за истражување може да се сумира на следниов начин: \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]

Да ја илустрираме оваа стратегија во дигиталната ера, да ја разгледаме студијата на Александре Мас и Енрико Морети (2009) која се обиде да го процени ефектот на работа со продуктивни колеги врз продуктивноста на работникот. Пред да ги видите резултатите, вреди да се истакне дека постојат конфликтни очекувања што можеби ги имате. Од една страна, може да очекувате дека соработката со продуктивните колеги ќе доведе работникот да ја зголеми својата продуктивност поради притисокот од колегите. Или, од друга страна, може да очекувате дека работниците со вредни работници може да го натераат работникот да олабави, бидејќи работата ќе биде направена од нејзините врсници во секој случај. Најјасен начин да се проучат врсничките ефекти врз продуктивноста би бил рандомизиран контролиран експеримент каде работниците се распределуваат по случаен избор на работници со различни нивоа на продуктивност, а продуктивноста што се добива се мери за секого. Истражувачите, сепак, не го контролираат распоредот на работниците во секој вистински бизнис, па затоа Мас и Морети мораа да се потпрат на природен експеримент кој вклучува касиери во супермаркет.

Во овој конкретен супермаркет, поради начинот на кој беше направено распоредот и начинот на кој смените се преклопуваа, секоја благајче имаше различни соработници во различни периоди од денот. Понатаму, во овој конкретен супермаркет, доделувањето на касиери не беше поврзано со продуктивноста на нивните врсници или колку е зафатена продавницата. Со други зборови, иако распоредот на касиери не беше утврден од страна на лотарија, тоа беше како да работниците понекогаш беа случајно доделени да работат со високи (или ниски) продуктивност врсници. За среќа, овој супермаркет, исто така, имаше дигитален систем за исхрана што ги следеше елементите кои секој благајник го скенирал во секое време. Од податоците од дневникот на исходот, Мас и Морети успеаја да создадат прецизна, индивидуална и секогаш мерка на продуктивност: бројот на скенирани ставки во секунда. Комбинирајќи ги овие две работи - природната варијација во продуктивноста на врсниците и постојаната мерка на продуктивност - Мас и Морети процениле дека ако на благајник им се доделат соработници кои биле 10% попродуктивни од просекот, нејзината продуктивност ќе се зголеми за 1,5% . Понатаму, тие ја користеа големината и богатството на нивните податоци за да истражуваат две важни прашања: хетерогеноста на овој ефект (за кои видови работници е ефектот поголем?) И механизмите зад ефектот (зошто врсниците со висока продуктивност доведуваат до повисока продуктивност?). Ние ќе се вратиме на овие две важни прашања - хетерогеноста на ефектите и механизмите за третман - во поглавјето 4, кога подетално ќе разговараме за експериментите.

Генерализирање од овие две студии, табела 2.3 ги сумира другите студии кои ја имаат истата структура: користење на извор на податоци секогаш за мерење на ефектот на некои случајни варијации. Во пракса, истражувачите користат две различни стратегии за наоѓање на природни експерименти, кои можат да бидат плодни. Некои истражувачи започнуваат со постојан извор на податоци и бараат случајни настани во светот; други почнуваат случаен настан во светот и бараат извори на податоци кои го фаќаат неговото влијание.

Во досегашната дискусија за природните експерименти, јас ја оставив важната поента: од она што природата го има дадено на она што го сакате, понекогаш може да биде доста незгодно. Да се ​​вратиме на Виетнамскиот нацрт пример. Во овој случај, Angrist беше заинтересиран за проценка на ефектот на воената служба на заработувачката. За жал, воената служба не беше случајно доделена; наместо тоа беше нацртана која беше случајно доделена. Меѓутоа, не сите што беа подготвени беа опслужени (имаше различни исклучоци), а не сите што беа опслужени, беа подготвени (луѓето можеа доброволно да служат). Бидејќи изготвувањето е случајно доделено, истражувачот може да го процени ефектот на подготвувањето на сите луѓе во нацртот. Но, Angrist не сакаше да го знае ефектот на изготвувањето; тој сакаше да го знае ефектот на служење во војската. Меѓутоа, за да се направи оваа проценка, се потребни дополнителни претпоставки и компликации. Прво, истражувачите треба да претпостават дека единствениот начин на кој се наведува засегнатата заработка е преку воена служба, претпоставка наречена ограничување на исклучувањето . Оваа претпоставка би можела да биде погрешна ако, на пример, мажите кои биле подготвени остануваат во училиште подолго за да избегнат да служат или, пак, ако работодавачите имаат помала веројатност да ангажираат мажи кои биле подготвени. Во принцип, ограничувањето на исклучувањето е критична претпоставка, и обично е тешко да се потврди. Дури и ако ограничувањето на исклучувањето е точно, сепак е невозможно да се процени ефектот на услугата врз сите луѓе. Наместо тоа, излегува дека истражувачите можат само да го проценат ефектот врз одреден подгрупа на луѓе наречени комплиери (мажи кои ќе служат кога ќе се подготват, но нема да служат кога не се подготвуваат) (Angrist, Imbens, and Rubin 1996) . Сепак, Compliers не беше првобитната популација од интерес. Забележете дека овие проблеми се јавуваат дури и во релативно чист случај на нацртот на лотарија. Друг сет на компликации се јавува кога третманот не е доделен од физичка лотарија. На пример, во студијата на касиерите Мас и Морети, се поставуваат дополнителни прашања во врска со претпоставката дека распределбата на врсниците е суштински случајна. Ако оваа претпоставка е силно повредена, таа може да ги принудува нивните проценки. Заклучок, природните експерименти можат да бидат моќна стратегија за изработка на каузални проценки од не-експериментални податоци, а големите извори на податоци ја зголемуваат нашата способност да ги искористат природните експерименти кога ќе се појават. Сепак, веројатно ќе бара голема грижа - а понекогаш и силни претпоставки - да одат од она што природата го даде за проценката што ја сакате.

Втората стратегија која би сакала да ви кажам за да направите каузални проценки од не експериментални податоци зависи од статистички прилагодување на не-експериментални податоци во обид да се објаснат постоечките разлики помеѓу оние кои го направиле и не го добиле третманот. Има многу такви прилагодувања за прилагодување, но јас ќе се фокусирам на едното наречено совпаѓање . Во совпаѓањето, истражувачот гледа низ не-експериментални податоци за да создаде парови на луѓе кои се слични, освен дека еден го добил третманот и кој не го има. Во процесот на усогласување, истражувачите, всушност, исто така, градинарски ; односно отфрлање на случаи каде што нема очигледно совпаѓање. Така, овој метод би бил попрецизно наречен појавување и редење, но ќе се задржам со традиционалниот термин: појавување.

Еден пример за моќта на стратегии за совпаѓање со масивни не-експериментални извори на податоци доаѓа од истражувањето на однесувањето на потрошувачите од страна на Лиран Ајнав и неговите колеги (2015) . Тие беа заинтересирани за аукции што се одржаа на eBay, и во опишувањето на нивната работа, ќе се фокусирам на ефектот од аукциската почетна цена на аукциските исходи, како што се продажната цена или веројатноста за продажба.

Најефикасен начин да се процени ефектот на почетната цена на продажната цена би бил едноставно да се пресмета конечната цена за аукции со различни почетна цена. Овој пристап би бил во ред ако сакавте да ја предвидите продажната цена со оглед на почетната цена. Но, ако вашето прашање се однесува на ефектот на почетната цена, тогаш овој пристап нема да функционира, бидејќи не се базира на фер споредби; аукциите со пониски почетна цена би можеле да бидат сосема различни од оние со повисоки почетна цена (на пример, тие би можеле да бидат за различни видови на стоки или да вклучуваат различни типови на продавачи).

Ако веќе сте свесни за проблемите што можат да се појават кога се прават каузални проценки од не-експериментални податоци, може да го прескокнете наивниот пристап и да размислите да извршите експеримент на терен каде што би продале одредена ставка - на пример, голф-клуб - со фиксен сет на аукција параметри - да речеме, бесплатен превозот и аукција отворена две недели, но со по случаен избор доделени почетна цена. Со споредување на резултатите од пазарот, овој експеримент на терен би понудил многу јасно мерење на ефектот на почетната цена на продажната цена. Но, ова мерење ќе важи само за еден производ и за поставување параметри за аукција. Резултатите може да бидат различни, на пример, за различни видови на производи. Без силна теорија, тешко е да се екстраполира од овој единствен експеримент на целиот спектар на можни експерименти кои би можеле да се извршуваат. Понатаму, теренските експерименти се доволно скапи што би било невозможно да се извршат сите варијации што можеби ќе сакате да ги испробате.

За разлика од наивните и експерименталните пристапи, Аинав и неговите колеги зедоа трет пристап: појавување. Главниот трик во нивната стратегија е да открие работи слични на теренски експерименти кои веќе се случија на eBay. На пример, сликата 2.8 покажува некои од 31-те листи за истиот голф-клуб - Taylormade Burner 09 Driver - се продаваат од истиот продавач - "budgetgolfer". Сепак, овие 31 огласи имаат малку различни карактеристики, како што се различни почетна цената, крајните датуми и трошоците за испорака. Со други зборови, тоа е како "буџетполивот" да работи експерименти за истражувачите.

Овие листи на Taylormade Burner 09 Driver, продадени од "budgetgolfer", се еден пример за соодветен сет на огласи, каде што истата точка се продава од истиот продавач, но секој пат со малку различни карактеристики. Во масивните логови на eBay постојат буквално стотици илјади исти групи што вклучуваат милиони огласи. Така, наместо да се споредат конечните цени за сите аукции со дадена почетна цена, Арина и неговите колеги во споредба во исти групи. Со цел да се комбинираат резултатите од споредбите во овие стотици илјади исти групи, Аинав и неговите колеги повторно ја изразија почетната цена и конечната цена во однос на референтната вредност на секоја ставка (на пример, нејзината просечна продажна цена). На пример, ако Taylormade Burner 09 Driver има референтна вредност од 100 долари (врз основа на неговата продажба), тогаш почетната цена од 10 долари би била изразена како 0,1 и конечна цена од 120 долари од 1,2.

Слика 2.8: Пример за соодветен сет. Ова е токму истиот голф-клуб (Taylormade Burner 09 Driver) што го продава истата личност ("budgetgolfer"), но некои од овие продажби биле извршени под различни услови (на пример, различни почетна цена). Репродуцирано со дозвола од Einav et al. (2015) , слика 1б.

Потсетиме дека Анан и колегите биле заинтересирани за ефектот на почетната цена на аукциските исходи. Прво, тие користеа линеарна регресија за да проценат дека повисоките почетни цени ја намалуваат веројатноста за продажба и дека повисоките почетна цена ја зголемуваат конечната цена на продажбата (условно на продажба што се случува). Самите по себе, овие проценки - кои опишуваат линеарна врска и се пресметани според сите производи - не се толку интересни. Потоа, Аинав и неговите колеги ја користеле огромната големина на нивните податоци за да создадат различни посуптилни проценки. На пример, со проценување на ефектот одделно за различни почетна цена, откриле дека односот помеѓу почетната цена и продажната цена е нелинеарен (слика 2.9). Особено, за почетна цена од 0,05 до 0,85, почетната цена има многу мало влијание врз продажната цена, наод кој беше целосно пропуштен со нивната прва анализа. Понатаму, наместо во просек над сите предмети, Аинав и неговите колеги го оценија влијанието на почетната цена за 23 различни категории предмети (на пример, намирници, електроника и спортски спомени) (слика 2.10). Овие проценки покажуваат дека за повеќе препознатливи предмети - како што се почетната цена на сувенирите има помал ефект врз веројатноста за продажба и поголем ефект врз конечната продажна цена. Понатаму, за повеќе комодифицирани предмети - како што се ДВД-почетната цена нема речиси никакво влијание врз крајната цена. Со други зборови, во просек што ги комбинира резултатите од 23 различни категории на предмети се крие важни разлики помеѓу овие елементи.

Слика 2.9: Однос помеѓу почетната цена на аукцијата и веројатноста за продажба (а) и продажна цена (б). Има приближно линеарна врска помеѓу почетната цена и веројатноста за продажба, но нелинеарна врска помеѓу почетната цена и продажната цена; за почетна цена од 0,05 до 0,85, почетната цена има многу мало влијание врз продажната цена. Во двата случаи, односите во основа се независни од вредноста на предметот. Адаптиран од Einav et al. (2015) , слики 4а и 4б.

Слика 2.10: Проценки од секоја категорија ставки; солидна точка е проценката за сите категории обединети заедно (Einav et al. 2015) . Овие проценки покажуваат дека за повеќе препознатливи предмети - како што се сувенирите - почетната цена има помал ефект врз веројатноста за продажба ( \(x\) -axis) и поголем ефект врз конечната продажна цена ( \(y\) -axis). Адаптиран од Einav et al. (2015) , слика 8.

Дури и ако не сте особено заинтересирани за аукции на eBay, мора да се восхитувате на начинот на кој таа слика 2,9 и слика 2,10 нудат побогато разбирање на eBay отколку едноставни проценки кои ја опишуваат линеарната врска и комбинираат многу различни категории на предмети. Понатаму, иако научно е можно да се генерираат овие посуптилни проценки со теренски експерименти, трошоците би ги направиле ваквите експерименти суштински невозможни.

Како и со природните експерименти, постојат неколку начини на кои може да доведе до појава на лоши проценки. Мислам дека најголемата загриженост со соодветните проценки е дека тие можат да бидат пристрасни од нештата што не се користеле при совпаѓање. На пример, во нивните главни резултати, Аинав и неговите колеги точно совпаднаа на четири карактеристики: идентификатор на продавачот, категорија на ставка, наслов на насловот и титл. Ако предметите се различни на начини кои не беа користени за совпаѓање, тогаш ова може да создаде неправедна споредба. На пример, ако "budgetgolfer" ги намали цените за возачот на Taylormade Burner 09 зима (кога голф клубовите се помалку популарни), тогаш може да се појави дека пониските почетни цени доведуваат до пониски крајни цени, кога всушност тоа би бил артефакт на сезонски варијации во побарувачката. Еден пристап за решавање на оваа загриженост е да се обидат многу различни видови на појавување. На пример, Аинав и неговите колеги ја повторуваа нивната анализа, додека различниот временски прозорец што се користеше за совпаѓање (вклучени сетови вклучуваа предмети на продажба во рок од една година, во рок од еден месец, а истовремено). За среќа, најдоа слични резултати за сите прозорци. Друга загриженост со појавување произлегува од толкувањето. Проценките од совпаѓањето важат само за соодветните податоци; тие не се однесуваат на случаите кои не можат да се совпаднат. На пример, со ограничување на нивните истражувања на предмети кои имале повеќе листи, Аинав и неговите колеги се фокусираат на професионални и полупрофесионални продавачи. Така, кога ги толкуваме овие споредби, ние мораме да запомниме дека тие се однесуваат само на овој подмножество на eBay.

Појавата е моќна стратегија за изнаоѓање фер споредби во не експериментални податоци. За многу научници од општеството, споредувањето е второ најдобро за експерименти, но тоа е верување кое може малку да се ревидира. Појавување на масивни податоци може да биде подобро од мал број на експерименти на терен, кога (1) хетерогеноста во ефектите е важна и (2) се мери важни променливи потребни за совпаѓање. Табела 2.4 дава некои други примери за тоа како појавување може да се користи со големи извори на податоци.

Како заклучок, проценката на каузалните ефекти од не експерименталните податоци е тешка, но може да се користат пристапи како што се природни експерименти и статистички прилагодувања (на пример, појавување). Во некои ситуации, овие пристапи можат да бидат лошо погрешни, но кога се внимателно разгледани, овие пристапи може да бидат корисно дополнување на експерименталниот пристап што го опишувам во поглавјето 4. Понатаму, изгледа дека овие два пристапи имаат голема корист од растот на секогаш- на, големи системи за податоци.