2.4.3 приближавање експерименти

Ми можемо приближити експерименте које нисмо или не можемо учинити. Два приступа која су посебно корисна од великих извора података су природни експерименти и усклађивање.

Нека важна научна и политичка питања су узрочна. На пример, какав је ефекат програма обуке на посао на зараде? Истраживач који покушава одговорити на ово питање може упоредити зараде људи који су се пријавили за обуку онима који нису. Али колико је разлика у плати између ових група због обуке и колико је због већ постојећих разлика између људи који се пријављују и оних који немају? Ово је тешко питање, а то је оно што аутоматски не губи са више података. Другим ријечима, забринутост о могућим преосталим разликама произлази без обзира колико је радника у вашим подацима.

У многим ситуацијама, најјачи начин да се процијени узрочни ефекат неког третмана, као што је обука на послу, је да се покрене рандомизирани контролисани експеримент у којем истраживач случајно пружа третман неким људима, а не осталима. Све поглавље 4 ћу посветити експериментима, па ћу се фокусирати на две стратегије које се могу користити са неексперименталним подацима. Прва стратегија зависи од тога да ли се нешто догоди у свету које случајно (или готово случајно) одређује третман неким људима, а не другима. Друга стратегија зависи од статистичког подешавања неексперименталних података у покушају да се узму у обзир постојеће разлике између оних који су учинили и нису примили лечење.

Скептик може тврдити да се обе ове стратегије требају избећи јер захтијевају јаке претпоставке, претпоставке које је тешко процијенити и које се у пракси често крше. Док сам саосећајна према овој тврдњи, мислим да је мало превише. Сасвим је тачно да је тешко поуздано направити узрочне процјене из неексперименталних података, али мислим да то не значи да никада не треба да покушавамо. Конкретно, неекспериментални приступи могу бити од помоћи ако вам логистичко ограничење спречи спровођење експеримента или ако етичка ограничења значе да не желите да покренете експеримент. Даље, неекспериментални приступи могу бити од помоћи ако желите да искористите податке које већ постоје да би се дизајнирао рандомизовани контролисани експеримент.

Пре него што наставимо, такође је важно напоменути да је стварање узрочних процјена једна од најкомплекснијих тема у друштвеном истраживању и она која може довести до интензивне и емоционалне расправе. У наставку ћу пружити оптимистички опис сваког приступа како бих изградио интуицију о томе, а онда ћу описати неке од изазова који се јављају приликом коришћења тог приступа. Даље детаље о сваком приступу су доступне у материјалима на крају овог поглавља. Ако намеравате да користите било који од ових приступа у сопственом истраживању, јако препоручујем читање једне од многих изврсних књига о узрочном закључку (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .

Један приступ стварања узрочних процена из неексперименталних података јесте тражење догађаја који је случајно одредио третман за неке људе, а не за друге. Ове ситуације се називају природним експериментима . Један од најјаснијих примера природног експеримента потиче од истраживања Јосхуа Ангрист (1990) мери ефекат војних услуга на зараде. Током рата у Вијетнаму, Сједињене Државе су повећале величину својих оружаних снага кроз нацрт. Да би одлучила који грађани би били позвани у службу, америчка влада одржала је лутрију. Сваки датум рођења је написан на парчету папира, а, као што је приказано на слици 2.7, ови листови су изабрани један по један, како би се утврдио ред како би млади мушкарци били позвани да служе (младе жене нису предмет на нацрт). На основу резултата, мушкарци рођени 14. септембра први пут су били позвани, мушкарци рођени 24. априла звали су се други и тако даље. На крају, на овој лутрији, мушкарци рођени у 195 различитих дана били су нацртани, док мушкарци рођени 171 дана нису били.

Слика 2.7: Конгресмен Александар Пирни (Р-НИ) је нацртао прву капсулу за нацрт селективне службе 1. децембра 1969. Јосхуа Ангрист (1990) комбиновао нацрт лутрије са подацима о зарадама из Управе за социјално осигурање како би проценио утицај војне службе на зараде. Ово је примјер истраживања кориштењем природног експеримента. Извор: УС Селецтиве Сервице Систем (1969) / Викимедиа Цоммонс .

Иако то можда није одмах видљиво, нацрт лутрије има критичку сличност са рандомизираним контролисаним експериментом: у обе ситуације, учесници су насумично додијељени да примају третман. Да би проучио ефекат овог рандомизованог третмана, Ангрист је искористио увек велики систем података: америчку администрацију за социјалну сигурност, која прикупља информације о скоро свакој америчкој зараде од запослења. Комбинујући информације о томе ко је случајно изабран у нацрту лутрије са подацима о зарадама које су прикупљене у државним административним подацима, Ангрист је закључио да су зараде ветерана биле око 15% мање од зараде упоредивих не-ветерана.

Као што овај пример илуструје, понекад друштвене, политичке или природне снаге додјељују третмане на начин који истраживачи могу користити, а понекад и ефекти ових третмана су заробљени у увијек великим изворима података. Ова стратегија истраживања може се сумирати на следећи начин: \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]

Да бисмо илустровали ову стратегију у дигиталном добу, размотримо студију Александра Маса и Енрица Мореттиа (2009) која је покушала да процени ефекат рада са продуктивним колегама на продуктивност радника. Пре него што видимо резултате, вриједи нагласити да постоје сукобљена очекивања која бисте могли имати. С једне стране, можете очекивати да ће рад са продуктивним колегама довести радника да повећа своју продуктивност због притиска вршњака. Или, са друге стране, можете очекивати да ће имати радно способних вршњака да доведу радника да откачи јер ће радови бити урађени од стране својих вршњака у сваком случају. Најјаснији начин за проучавање вршњачких ефеката на продуктивност био би рандомизовани контролисани експеримент у којем су радници случајно додијељени смјенама са радницима различитог нивоа продуктивности, а онда се резултирајућа продуктивност мјери за све. Међутим, истраживачи не контролишу распоред радника у стварном послу, па су се Мас и Моретти морали ослонити на природни експеримент који укључује благајнике у супермаркету.

У овом конкретном супермаркету, због начина на који је планирање обављено и начина на који су се смењивале преклапања, сваки благајник је имао различите сараднике у различито доба дана. Надаље, у овом конкретном супермаркету, додељивање благајника није било у вези са продуктивношћу њихових вршњака или колико је била заузета продавница. Другим ријечима, иако распоређивање благајника није одређено лутријом, било је као да су радници понекад насумично добили за рад са високим (или малим) вршњацима продуктивности. На срећу, овај супермаркет је имао и систем за проверу дигиталног доба који је пратио предмете које је свака благајница скенирала у сваком тренутку. Из података о евиденцији извлачења, Мас и Моретти су успели да креирају прецизну, индивидуалну и увек меру продуктивности: број предмета скенираних у секунди. Комбиновање ове две ствари - природне промене у вршњој продуктивности и увек мјери продуктивности - Мас и Моретти процијенили су да ако је благајнику додељен сарадници који су били 10% продуктивнији од просјека, њена продуктивност би се увећала за 1,5% . Даље, они су користили величину и богатство својих података да би истражили два важна питања: хетерогеност овог ефекта (за које врсте радника је већи ефекат?) И механизме који стоје иза ефекта (зашто су вршњаци са високом продуктивношћу довели до већа продуктивност?). Вратићемо се на ова два важна питања - хетерогеност ефеката и механизама третмана - у поглављу 4, када детаљније дискутујемо о експериментима.

Уобичајена из ове две студије, табела 2.3 сумира друге студије које имају исту структуру: користећи извор података увек за мерење ефекта неких случајних варијација. У пракси, истраживачи користе двије различите стратегије за проналажење природних експеримената, који могу бити плодни. Неки истраживачи почињу са изворним подацима и траже случајне догађаје у свијету; други започињу случајан догађај на свету и траже изворе података који откривају његов утицај.

У досадашњој дискусији о природним експериментима, изоставио сам важну тачку: од онога што је природа пружила ономе што желите, понекад може бити прилично тешко. Вратимо се на примјер нацрта Вијетнама. У овом случају Ангрист је био заинтересован да процени утицај војне службе на зараде. Нажалост, војна служба није случајно додељена; радије је нацртано, а то је случајно додељено. Међутим, нису сви који су били нацртовани (постојали су разни изузеци), а не сви који су служили, већ су људи могли да добровољно служе. Због тога што је израђен нацрт случајно додељен, истраживач може процијенити ефекат припреме за све мушкарце у нацрту. Али Ангрист није желео да зна ефекат припреме; Желео је да зна ефекат служења у војсци. Да би се направила ова процјена, међутим, потребне су додатне претпоставке и компликације. Прво, истраживачи треба да претпоставе да је једини начин на који се израђује утјецана зарада је војна служба, претпоставка која се зове ограничење искључења . Ова претпоставка би могла бити погрешна ако би, на примјер, мушкарци који су били израђени дуже остали у школи како би избјегли служење или ако су послодавци били мање вјероватни да ангажују мушкарце који су израђени. Генерално, ограничење искључења је критична претпоставка, а обично је тешко верификовати. Чак и ако је ограничење искључења тачно, и даље је немогуће процијенити утјецај службе на све мушкарце. Уместо тога, испоставља се да истраживачи могу само проценити утицај на одређени подскуп мушкараца који се зову комплиерс (људи који би служили приликом састављања, али не би служили када се не изради) (Angrist, Imbens, and Rubin 1996) . Комплиерс, међутим, нису били изворно становништво од интереса. Обратите пажњу да ови проблеми настају чак иу релативно чистем случају нацрта лутрије. Још један скуп компликација наступа када третман не додели физичка лутрија. На пример, у студији Мас и Моретти о благајничарима појављују се додатна питања о претпоставци да је додељивање вршњака у основи случајно. Ако би се ова претпоставка снажно повредила, то би могло утјецати на њихове процјене. Да закључимо, природни експерименти могу бити моћна стратегија за израду узрочних процена из неексперименталних података, а велики извори података повећавају нашу способност да искористе природне експерименте када се оне јављају. Међутим, вероватно ће захтијевати велику пажњу - а понекад и јаке претпоставке - да изађе из онога што је природа пружила процени коју желите.

Друга стратегија о којој бих желела да вам кажем да правите узрочне процене из неексперименталних података зависи од статистичког прилагођавања неексперименталних података у покушају да се узму у обзир постојеће разлике између оних који су учинили и нису примили лечење. Постоји много таквих приступа прилагођавања, али ћу се фокусирати на један названу подударање . У сравњењу, истраживач гледа кроз неексперименталне податке како би створио парове људи који су слични, осим оних који су примили лечење и који нису. У процесу усклађивања истраживачи заправо и обрезују ; тј. одбацивање случајева у којима нема очигледног порекла. Према томе, овај метод би се прецизније назвао подударањем и резањем, али ћу се придржавати традиционалног израза: усклађивање.

Један пример моћи усклађивања стратегија са масивним неексперименталним изворима података долази од истраживања понашања потрошача од Лираана Еинава и колега (2015) . Они су били заинтересовани за аукције на еБаиу, ау опису њиховог рада, фокусираћу се на ефекат почетне цене аукције на исходе аукција, као што је продајна цијена или вероватноћа продаје.

Најиновативнији начин процјене утицаја почетне цијене на продајну цену био би једноставно израчунати коначну цену за аукције са различитим почетним ценама. Овај приступ би био у реду ако желите да предвидите продајну цену с почетном ценом. Али, ако се ваше питање односи на ефект почетне цене, онда овај приступ неће функционисати, јер се не заснива на фер успоредби; аукције са нижим почетним ценама могу се сасвим разликовати од оних са вишим почетним ценама (нпр., могу бити за различите врсте роба или укључују различите типове продаваца).

Ако сте већ упознати са проблемима који могу настати приликом израде узрочних процјена из неексперименталних података, можда бисте прескочили наивни приступ и размислили о покретању теренског експеримента у којем бисте продали одређену ставку - рецимо, голф клуб - са фиксним сет параметара аукције - рецимо, бесплатна достава и аукција отворена две недеље - али са насумично додијељеним почетним ценама. Упоређивањем резултирајућих тржишних исхода, овај експеримент на терену би понудио врло јасно мерење ефекта почетне цене на продајну цену. Међутим, ово мерење би се примењивало само на један одређени производ и скуп параметара аукције. Резултати могу бити различити, на пример, за различите врсте производа. Без јаке теорије, тешко је екстраполирати из овог јединственог експеримента на читав спектар могућих експеримената који би могли да се покрену. Даље, експерименти на терену су довољно скупи да би било немогуће покренути сваку варијацију коју бисте можда желели пробати.

За разлику од наивних и експерименталних приступа, Еинав и колеге су узели трећи приступ: усклађивање. Главни трик у својој стратегији је откривање ствари сличних експериментима на терену који се већ догодили на еБаиу. На пример, на слици 2.8 приказани су неки од 31 листа за исти голф клуб - Таилормаде Бурнер 09 Дривер - који се продају истовремено са продајом - "будгетголфер". Међутим, ова 31 листа има нешто другачије карактеристике, као што је различито покретање цена, крајњи рокови и трошкови превоза. Другим речима, као да "будгетголфер" покреће експерименте за истраживаче.

Ови огласи Таилормаде Бурнер 09 возача који се продају од стране "будгетголфер" су један од примера одговарајућег скупа листова, при чему исту ставку продаје исти точан исти продавац, али сваки пут са нешто другачијим карактеристикама. У масовним евиденцијама еБаи-а постоје буквално стотине хиљада усклађених скупова који укључују милионе пописа. Стога, уместо поређења коначне цене за све аукције са датом почетном ценом, Еинав и колеге упоређивали у одговарајућим скуповима. Да би комбиновали резултате из поређења у оквиру ових стотина хиљада усклађених скупова, Еинав и колеге су поново изразили почетну цену и коначну цену у смислу референтне вредности сваке ставке (нпр. Просјечне продајне цијене). На пример, ако је Таилормаде Бурнер 09 Дривер имао референтну вриједност од 100 УСД (базирано на његовој продаји), онда би почетна цијена од 10 $ била изражена као 0,1, а коначна цијена од 120 УСД на 1,2.

Слика 2.8: Пример одговарајућег скупа. Ово је исти голф клуб (Таилормаде Бурнер 09 Дривер) који продаје исту особу ("будгетголфер"), али су неке од тих продаја извршене под различитим условима (нпр. Различите почетне цене). Репродуковано одобрењем Einav et al. (2015) , слика 1б.

Подсјетимо да су Еинав и колеге били заинтересовани за ефекат почетне цијене на исходе аукција. Прво су користили линеарну регресију како би проценили да веће почетне цијене смањују вјероватноћу продаје и да ће виши почетни цјеници повећавати коначну продајну цијену (условљено продавањем). Самим тим, ове процене - које описују линеарну везу и које су просечне по свим производима - нису толико интересантне. Затим, Еинав и колеге су користили масовну величину својих података како би створили разне мање суптилне процјене. На пример, проценом ефекта одвојено за различите почетне цене, утврдили су да је однос између почетне и продајне цијене нелинеаран (слика 2.9). Конкретно, за покретање цијена између 0,05 и 0,85, почетна цена има врло мало утицаја на продајну цену, налаз који је потпуно пропустио њиховом првом анализом. Даље, уместо усредсређивања на све ставке, Еинав и колеге проценили су утицај почетне цене за 23 различите категорије предмета (нпр. Потрошни материјал за кућне љубимце, електроника и спортска меморабилиа) (слика 2.10). Ове процене показују да за више карактеристичне ставке - као што је почетна цена за спомен-обиљежје мањи утјецај на вјероватноћу продаје и већи ефекат на коначну продајну цијену. Даље, за више комодификоване ставке - попут ДВД-а - почетна цена готово нема утицаја на крајњу цену. Другим ријечима, у просеку који комбинује резултате из 23 различите категорије ставки сакрива важне разлике између ових ставки.

Слика 2.9: Однос између почетне цене аукције и вероватноће продаје (а) и продајне цене (б). Постоји приближно линеарна веза између почетне цене и вероватноће продаје, али нелинеарна веза између почетне и продајне цене; за покретање цијена између 0,05 и 0,85, почетна цена има врло мали утицај на продајну цену. У оба случаја, односи су у основи независни од вредности предмета. Прилагођено од Einav et al. (2015) , слике 4а и 4б.

Слика 2.10: Процене из сваке категорије ставки; чврста тачка је процјена за све категорије удружене заједно (Einav et al. 2015) . Ове процене показују да за више карактеристичних предмета - као што су меморабилиа - почетна цена има мањи ефекат на вјероватноћу продаје ( \(x\) -акис) и већи ефекат на коначну продајну цијену ( \(y\) -акис). Прилагођено од Einav et al. (2015) , слика 8.

Чак и ако нисте нарочито заинтересовани за аукције на еБаи-у, морате се дивити начину на који су слика 2,9 и слика 2,10 нуде богатије разумевање еБаи-а него једноставне процјене које описују линијску везу и комбинују многе различите категорије предмета. Штавише, иако би било научно могуће генерисати ове суптилније процјене са теренским експериментима, трошак би учинио такве експерименте у суштини немогућим.

Као и код природних експеримената, постоји низ начина на које се подударање може довести до лоших процена. Мислим да је највећа забринутост са одговарајућим процјенама да они могу бити пристрасни због ствари које нису кориштене у усклађивању. На примјер, у својим главним резултатима, Еинав и колеге су се тачно усклађивали на четири карактеристика: број ИД продавца, категорија ставке, наслов ставке и поднаслов. Ако су предмети различити на начине који се нису користили за подударање, онда би то могло створити неправедно поређење. На пример, ако је "будгетголфер" снизио цијене за возача Таилормаде Бурнер 09 у зими (када су голф клубови мање популарни), онда би се могло покаћи да ниже почетне цијене доводе до ниже коначне цијене, када би то заправо био артефакт сезонске варијације у потражњи. Један приступ решавања ове проблематике покушава много различитих врста усклађивања. На пример, Еинав и колеге су поновили своју анализу, док је временски прозор који се користио за усклађивање променио у различитим временским прозорима (упоредни скупови укључивали су ставке у продаји у року од једне године, у року од мјесец дана и истовремено). На срећу, пронашли су сличне резултате за све прозоре времена. Даља забринутост са подударањем произлази из тумачења. Процјене из подударања примјењују се само на усклађене податке; они се не односе на предмете који се не могу подударати. На примјер, ограничавајући своје истраживање на предмете који су имали вишеструке листинге, Еинав и колеге су фокусирани на професионалне и полупрофесионалне продаваче. Стога, када тумачимо ова поређења, морамо запамтити да се односе само на овај подскуп еБаи.

Упаривање је снажна стратегија за проналажење фер упоређивања у неексперименталним подацима. За многе друштвене науке, усклађивање осјећа другом најбољем експерименту, али то је веровање које се може мало поправити. Подударање у масовним подацима може бити боље од малог броја експеримената на терену када (1) је хетерогеност у ефектима важна и (2) измерене су важне варијабле потребне за усклађивање. Табела 2.4 даје неке друге примјере како се подударање може користити са великим изворима података.

У закључку, процена узрочних ефеката из неексперименталних података је тешка, али се могу користити приступи попут природних експеримената и статистичких прилагођавања (нпр. Усклађивање). У неким ситуацијама, ови приступи могу погрешно погрешити, али када су пажљиво распоређени, ови приступи могу бити корисно комплементе експерименталном приступу који описујем у поглављу 4. Даље, ова два приступа изгледају посебно вјеројатно да ће имати користи од раста увек- он, велики системи података.