2.4.3 eksperimente përafrimin

Mund të përafrojmë eksperimente që nuk kemi ose nuk mund të bëjmë. Dy qasje që përfitojnë veçanërisht nga burimet e mëdha të të dhënave janë eksperimentet natyrore dhe përputhja.

Disa çështje të rëndësishme shkencore dhe politike janë shkakësore. Për shembull, cili është efekti i një programi trajnimi për punë në paga? Një studiues që përpiqet t'i përgjigjet kësaj pyetjeje mund të krahasojë të ardhurat e njerëzve që u regjistruan për trajnime për ata që nuk e kishin. Por sa dallim në pagat midis këtyre grupeve është për shkak të trajnimit dhe sa është për shkak të dallimeve ekzistuese midis njerëzve që regjistrohen dhe atyre që nuk e bëjnë? Kjo është një pyetje e vështirë dhe është ajo që nuk del automatikisht me më shumë të dhëna. Me fjalë të tjera, shqetësimi për dallimet e mundshme ekzistuese lind pavarësisht se sa punëtorë janë në të dhënat tuaja.

Në shumë situata, mënyra më e fortë për të llogaritur efektin shkakësor të disa trajtimeve, siç është trajnimi i punës, është të ekzekutojë një eksperiment të kontrolluar randomisht ku një kërkues në mënyrë të rastësishme i jep trajtim disa njerëzve dhe jo të tjerëve. Unë do t'i kushtoj të gjithë kapitullin 4 eksperimente, kështu që këtu do të përqendrohem në dy strategji që mund të përdoren me të dhëna jo eksperimentale. Strategjia e parë varet nga kërkimi për diçka që ndodh në botë që rastësisht (ose pothuajse në mënyrë të rastësishme) e cakton trajtimin tek disa njerëz dhe jo te të tjerët. Strategjia e dytë varet nga rregullimi statistikor i të dhënave jo-eksperimentale në një përpjekje për të llogaritur dallimet ekzistuese mes atyre që kanë bërë dhe nuk kanë marrë trajtimin.

Një skeptik mund të pohojë se të dyja këto strategji duhet të shmangen sepse kërkojnë supozime të forta, supozime që janë vështirë të vlerësohen dhe që në praktikë shpesh shkelen. Ndërsa unë jam simpatizant ndaj këtij pretendimi, mendoj se kjo shkon paksa larg. Është sigurisht e vërtetë që është e vështirë të besohet që të bëhen vlerësime shkakësore nga të dhënat jo-eksperimentale, por nuk mendoj se do të thotë që ne kurrë nuk duhet të përpiqemi. Në veçanti, qasjet jo eksperimentale mund të jenë të dobishme nëse kufizimet logjistike ju pengojnë të kryeni një eksperiment ose nëse kufizimet etike nënkuptojnë që ju nuk dëshironi të bëni një eksperiment. Më tej, qasjet jo eksperimentale mund të jenë të dobishme nëse doni të përfitoni nga të dhënat që tashmë ekzistojnë për të hartuar një eksperiment të kontrolluar me randomizim.

Para se të vazhdohet, vlen gjithashtu të theksohet se marrja e vlerësimeve shkakësore është një nga temat më komplekse në kërkimin shoqëror dhe ai që mund të çojë në debat intensiv dhe emocional. Në atë që vijon, unë do të jap një përshkrim optimist të secilës qasje në mënyrë që të ndërtoj intuitën për të, atëherë do të përshkruaj disa nga sfidat që lindin kur përdoret kjo qasje. Më shumë detaje rreth secilës qasje janë në dispozicion në materialet në fund të këtij kapitulli. Nëse planifikoni të përdorni secilën nga këto qasje në hulumtimin tuaj, ju rekomandoj të lexoni një nga librat më të shkëlqyeshëm për përfundimin shkakor (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .

Një qasje për të bërë vlerësime shkakësore nga të dhënat jo-eksperimentale është të kërkosh një ngjarje që ka caktuar rastësisht një trajtim për disa njerëz dhe jo për të tjerët. Këto situata quhen eksperimente natyrore . Një nga shembujt më të qartë të një eksperimenti natyral vjen nga hulumtimi i Joshua Angrist (1990) mat efektin e shërbimeve ushtarake mbi të ardhurat. Gjatë luftës në Vietnam, Shtetet e Bashkuara rritën madhësinë e forcave të saj të armatosura përmes një drafti. Për të vendosur se cilat shtetas do të thirren në shërbim, qeveria amerikane mbajti një llotari. Çdo datëlindjeje u shkrua në një copë letre dhe, siç tregohet në figurën 2.7, këto pjesë letre u përzgjodhën një nga një për të përcaktuar rendin në të cilin të rinjtë do të thirren për të shërbyer (gratë e reja nuk ishin subjekt në draft). Bazuar në rezultatet, burrat e lindur më 14 shtator u thirrën së pari, burrat e lindur më 24 prill u thirrën të tretën, dhe kështu me radhë. Në fund të fundit, në këtë llotari u hartuan burra të lindur në 195 ditë të ndryshme, ndërsa burrat e lindur në 171 ditë nuk ishin.

Figura 2.7: Kongresisti Aleksandër Pirnie (R-NY) duke tërhequr kapsulën e parë për projektin e Shërbimit Selektiv më 1 dhjetor 1969. Joshua Angrist (1990) kombinoi draft lotarinë me të dhënat e të ardhurave nga Administrata e Sigurimeve Shoqërore për të vlerësuar efektin e shërbimit ushtarak mbi të ardhurat. Ky është një shembull i hulumtimit duke përdorur një eksperiment natyror. Burimi: US Selective Service System (1969) / Wikimedia Commons .

Megjithëse mund të mos jetë menjëherë e dukshme, një lotari projekt ka një ngjashmëri kritike me një eksperiment të kontrolluar me randomizim: në të dyja rastet, pjesëmarrësit caktohen rastësisht për të marrë një trajtim. Për të studiuar efektin e këtij trajtimi të rastësishëm, Angrist mori avantazhin e një sistemi të të dhënave gjithnjë e më të mëdha: Administrata e Sigurimeve Shoqërore të SH.B.A.-së, e cila mbledh informacion mbi pothuajse çdo të ardhur amerikane nga punësimi. Duke kombinuar informacionin rreth atyre që u përzgjodhën rastësisht në lotarinë projektuese me të dhënat e të ardhurave që u mblodhën në regjistrat qeveritare administrative, Angrist arriti në përfundimin se të ardhurat e veteranëve ishin rreth 15% më pak se të ardhurat e jo-veteranëve të krahasueshëm.

Siç ilustron ky shembull, nganjëherë forcat sociale, politike apo natyrore i caktojnë trajtimet në një mënyrë që mund të përdoret nga kërkuesit, dhe nganjëherë efektet e këtyre trajtimeve kapen në burime të mëdha të të dhënave. Kjo strategji e hulumtimit mund të përmblidhet si më poshtë: \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]

Për ta ilustruar këtë strategji në epokën dixhitale, le të shqyrtojmë një studim nga Alexandre Mas dhe Enrico Moretti (2009) që u përpoqën të vlerësonin efektin e punës me kolegët prodhues në produktivitetin e një punëtori. Para se të shohësh rezultatet, vlen të theksohet se ekzistojnë shpresa kontradiktore që mund të keni. Nga njëra anë, mund të prisni që të punoni me kolegë produktivë të çoni një punëtor për të rritur produktivitetin e saj për shkak të presionit të bashkëmoshatarëve. Ose, nga ana tjetër, mund të prisni që bashkëmoshatarët e vështirë mund të bëjnë që një punëtor të zhduket, sepse puna do të bëhet nga bashkëmoshatarët e saj gjithsesi. Mënyra më e qartë për të studiuar efektet e kolegëve ndaj produktivitetit do të ishte një eksperiment i kontrolluar randomisht ku punëtorët janë caktuar rastësisht për ndërrime me punëtorë me nivele të ndryshme produktiviteti dhe pastaj produktiviteti rezultues matet për të gjithë. Studiuesit, megjithatë, nuk e kontrollojnë orarin e punëtorëve në asnjë biznes të vërtetë, kështu që Mas dhe Moretti duhej të mbështeteshin në një eksperiment natyror që përfshin arkëtarët në një supermarket.

Në këtë supermarket të veçantë, për shkak të mënyrës se si ishte caktimi dhe mënyra se ndërrime mbivendoseshin, çdo turp kishte bashkëpunëtorë të ndryshëm në kohë të ndryshme të ditës. Më tej, në këtë supermarket të caktuar, caktimi i arkëtarëve nuk ishte i lidhur me produktivitetin e kolegëve të tyre ose sa i zënë ishte dyqani. Me fjalë të tjera, edhe pse planifikimi i arkëtarëve nuk ishte përcaktuar nga një llotari, ishte sikur punëtorët ndonjëherë u caktuan rastësisht për të punuar me kolegë të lartë të produktivitetit (ose të ulët). Për fat të mirë, kjo supermarket gjithashtu kishte një sistem digjital të arkëtimit në moshën digjitale që gjurmonte artikujt që çdo arkëtar po skanim në çdo kohë. Nga këto të dhëna të regjistrit të arkës, Mas dhe Moretti ishin në gjendje të krijonin një matje të saktë, individuale dhe gjithnjë në rritje të produktivitetit: numri i artikujve të skanuar për sekondë. Duke kombinuar këto dy gjëra - ndryshimet natyrore në produktivitetin e kolegëve dhe masën gjithnjë në rritje të produktivitetit - Mas dhe Moretti vlerësuan se nëse një arkëtar u caktua bashkëpunëtorë që ishin 10% më produktivë se mesatarja, produktiviteti i saj do të rritet me 1.5% . Më tej, ata përdorën madhësinë dhe pasurinë e të dhënave të tyre për të eksploruar dy çështje të rëndësishme: heterogjenitetin e këtij efekti (Për cilat lloje të punëtorëve është efekti më i madh?) Dhe mekanizmat që qëndrojnë pas efektit (Pse ka kolegë me produktivitet të lartë produktivitet më të lartë?). Ne do të kthehemi në këto dy çështje të rëndësishme - heterogjeniteti i efekteve dhe mekanizmave të trajtimit - në kapitullin 4 kur diskutojmë më shumë për eksperimentet.

Duke përgjithësuar nga këto dy studime, tabela 2.3 përmbledh studime të tjera që kanë këtë strukturë të njëjtë: përdorimi i një burimi të të dhënave gjithmonë për të matur efektin e disa ndryshimeve të rastit. Në praktikë, studiuesit përdorin dy strategji të ndryshme për gjetjen e eksperimenteve natyrore, të cilat mund të jenë të frytshme. Disa studiues fillojnë me një burim të të dhënave gjithnjë në kërkim dhe kërkojnë ngjarje të rastësishme në botë; të tjerët fillojnë një ngjarje të rastit në botë dhe kërkojnë burime të të dhënave që kapin ndikimin e saj.

Në diskutimin e deritanishëm për eksperimentet natyrore, unë e kam lënë jashtë një pikë të rëndësishme: duke shkuar nga ajo që natyra i ka dhënë asaj që dëshiron ndonjëherë mund të jetë mjaft e ndërlikuar. Le të kthehemi në shembullin e draftit të Vietnamit. Në këtë rast, Angrist ishte i interesuar në vlerësimin e efektit të shërbimit ushtarak mbi të ardhurat. Për fat të keq, shërbimi ushtarak nuk u caktua rastësisht; por u hartua që u caktua rastësisht. Megjithatë, jo të gjithë ata që u hartuan shërbenin (ekzistonte një shumëllojshmëri e përjashtimeve) dhe jo të gjithë ata që shërbyen u hartuan (njerëzit mund të vullnetonin për të shërbyer). Sepse duke u hartuar është caktuar rastësisht, një studiues mund të vlerësojë efektin e të qenit i hartuar për të gjithë njerëzit në draft. Por Angrist nuk donte të dinte efektin e të qenit i hartuar; ai donte të dinte efektin e shërbimit në ushtri. Për ta bërë këtë vlerësim, megjithatë, supozimet shtesë dhe ndërlikimet janë të nevojshme. Së pari, hulumtuesit duhet të supozojnë se e vetmja mënyrë që të hartuarit e të ardhurave të ndikuara është përmes shërbimit ushtarak, një supozim i quajtur kufizimi i përjashtimit . Ky supozim mund të jetë i gabuar nëse, për shembull, burrat të cilët janë hartuar kanë qëndruar më gjatë në shkollë për të shmangur kryerjen ose nëse punëdhënësit kanë më pak gjasa të punësojnë burra të hartuar. Në përgjithësi, kufizimi i përjashtimit është një supozim kritik, dhe zakonisht është e vështirë të verifikohet. Edhe nëse kufizimi i përjashtimit është i saktë, është ende e pamundur të vlerësohet efekti i shërbimit ndaj të gjithë njerëzve. Në vend të kësaj, rezulton se studiuesit vetëm mund të vlerësojnë efektin në një grup të caktuar njerëzish të quajtur compliers (burra që do të shërbenin kur u hartuan, por nuk do të shërbenin kur nuk u hartuan) (Angrist, Imbens, and Rubin 1996) . Pajsuesit, megjithatë, nuk ishin popullata origjinale me interes. Vini re se këto probleme lindin edhe në rastin relativisht të pastër të lotarisë projektuese. Një grup i mëtejshëm i ndërlikimeve lind kur trajtimi nuk është caktuar nga një lotari fizike. Për shembull, në studimin Mas dhe Moretti të arkëtarëve, lindin pyetje shtesë për supozimin se caktimi i kolegëve është në thelb i rastësishëm. Nëse ky supozim do të ishte shkelur fuqishëm, mund të paragjykonte vlerësimet e tyre. Për të përfunduar, eksperimentet natyrore mund të jenë një strategji e fuqishme për të bërë vlerësime shkakësore nga të dhënat jo-eksperimentale dhe burimet e mëdha të të dhënave rritin aftësinë tonë për të përfituar nga eksperimentet natyrore kur ato ndodhin. Megjithatë, ndoshta do të kërkojë kujdes të madh - dhe nganjëherë supozime të forta - për të shkuar nga ajo që natyra i ka dhënë vlerësimit që dëshironi.

Strategjia e dytë që dua t'ju tregoj për të bërë vlerësime shkakësore nga të dhënat jo-eksperimentale varet nga rregullimi statistikor i të dhënave jo-eksperimentale në një përpjekje për të llogaritur dallimet ekzistuese mes atyre që kanë bërë dhe nuk kanë marrë trajtimin. Ka shumë qasje të tilla rregullimi, por unë do të përqëndrohet në një të quajtur matching . Në përputhshmëri, studiuesi shikon përmes të dhënave jo-eksperimentale për të krijuar çifte njerëzish të cilët janë të ngjashëm përveç se një ka marrë trajtimin dhe një nuk ka. Në procesin e përputhjes, studiuesit janë në të vërtetë edhe shkurtim ; që është, duke hedhur poshtë rastet kur nuk ka ndonjë ndeshje të dukshme. Kështu, kjo metodë do të quhet më saktë "matching-and-crowning", por unë do të përmbahem me termin tradicional: përputhjen.

Një shembull i fuqisë së përputhjes së strategjive me burime masive jo-eksperimentale të të dhënave vjen nga hulumtimi i sjelljes së konsumatorit nga Liran Einav dhe kolegët (2015) . Ata ishin të interesuar në ankandet që po ndodhin në eBay dhe në përshkrimin e punës së tyre, do të përqendrohem në efektin e çmimit të nisjes së ankandit në rezultatet e ankandit, si çmimi i shitjes ose probabiliteti i një shitjeje.

Mënyra më naive për të vlerësuar efektin e çmimit fillestar në çmimin e shitjes do të ishte thjesht të llogarisnim çmimin final për ankandet me çmime të ndryshme fillestare. Kjo qasje do të jetë mirë nëse dëshironi të parashikoni çmimin e shitjes duke pasur parasysh çmimin fillestar. Por nëse pyetja juaj ka të bëjë me efektin e çmimit fillestar, atëherë kjo qasje nuk do të funksionojë sepse nuk bazohet në krahasime të drejta; ankandet me çmime më të ulëta fillestare mund të jenë mjaft të ndryshme nga ato me çmime më të larta fillestare (p.sh. ato mund të jenë për lloje të ndryshme të mallrave ose përfshijnë lloje të ndryshme shitësish).

Nëse tashmë jeni të vetëdijshëm për problemet që mund të lindin kur bëhen vlerësime shkakësore nga të dhënat jo-eksperimentale, mund të kaloni qasjen naive dhe të konsideroni drejtimin e një eksperimenti në terren ku do të shisni një artikull të veçantë - të themi, një klub golfi - me një fiks set i parametrave të ankandit - thonë, transportin e lirë dhe ankandin e hapur për dy javë - por me çmime fillestare të përcaktuara rastësisht. Duke krahasuar rezultatet e tregut që rezulton, ky eksperiment në terren do të ofronte një matje shumë të qartë të efektit të çmimit fillestar në çmimin e shitjes. Por kjo matje do të zbatohej vetëm për një produkt të caktuar dhe grupin e parametrave të ankandit. Rezultatet mund të jenë të ndryshme, për shembull, për lloje të ndryshme të produkteve. Pa një teori të fortë, është e vështirë të ekstrapolosh nga ky eksperiment i vetëm në gamën e plotë të eksperimenteve të mundshme që mund të ishin drejtuar. Për më tepër, eksperimentet në terren janë mjaft të shtrenjta, saqë do të ishte e pamundur të ekzekutoheshin të gjitha variacionet që mund të dëshironi të provoni.

Në kontrast me qasjet naivë dhe eksperimentale, Einav dhe kolegët morën një qasje të tretë: përputhjen. Mashtrimi kryesor në strategjinë e tyre është zbulimi i gjërave të ngjashme me eksperimentet në terren që kanë ndodhur tashmë në eBay. Për shembull, figura 2.8 tregon disa prej 31 listave për pikërisht të njëjtin klub të golfit - një Taylormade Burner 09 Driver - që shitet nga pikërisht i njëjti shitës - "budgetgolfer". Megjithatë, këto 31 listë kanë karakteristika paksa të ndryshme, çmimi, datat e fundit, dhe tarifat e transportit. Me fjalë të tjera, është sikur "budgetgolfer" po kryen eksperimente për kërkuesit.

Këto lista të shoferit të Burning 09 të Taylormade që shiten nga "budgetgolfer" janë një shembull i një liste të përputhshme të listave, ku pika e saktë e njëjtë shitet nga shitësi i saktë i njëjtë, por çdo herë me karakteristika pak më të ndryshme. Brenda shkrimet masive të eBay-it ka fjalë për fjalë qindra mijëra grupe që përputhen me miliona listings. Kështu, në vend që të krahasojmë çmimin përfundimtar për të gjitha ankandet me një çmim të caktuar, Einav dhe kolegët krahasohen në grupe të përputhura. Në mënyrë që të kombinohen rezultatet nga krahasimet brenda këtyre qindra mijëra grupeve të përputhura, Einav dhe kolegët ri-shprehen çmimin fillestar dhe çmimin përfundimtar në lidhje me vlerën referuese të secilit artikull (p.sh. çmimi mesatar i shitjes). Për shembull, nëse shoferi i Burning 09 i Taylormade kishte një vlerë reference prej $ 100 (bazuar në shitjet e tij), atëherë një çmim fillestar prej $ 10 do të shprehej si 0.1 dhe një çmim final prej $ 120 si 1.2.

Figura 2.8: Një shembull i një grupi të përputhshëm. Ky është klubi i njëjtë i golfit (një shofer i Taylormade Burner 09) që shitet nga personi i saktë i njëjtë ("budgetgolfer"), por disa prej këtyre shitjeve janë kryer në kushte të ndryshme (p.sh. çmime të ndryshme fillestare). Riprodhuar me leje nga Einav et al. (2015) , figura 1b.

Kujtojnë se Einav dhe kolegët ishin të interesuar në efektin e çmimit të fillimit në rezultatet e ankandit. Së pari, ata përdorën regresionin linear për të vlerësuar se çmimet më të larta fillestare ulin probabilitetin e një shitjeje dhe se çmimet më të larta të nisjes rrisin çmimin përfundimtar të shitjes (kushtëzuar me një shitje që ndodh). Në vetvete, këto vlerësime - të cilat përshkruajnë një marrëdhënie lineare dhe janë mesatarisht mbi të gjitha produktet - nuk janë aq interesante. Pastaj, Einav dhe kolegët përdorën madhësinë masive të të dhënave të tyre për të krijuar një shumëllojshmëri vlerësimesh më delikate. Për shembull, duke vlerësuar efektin veças për një shumëllojshmëri të çmimeve të ndryshme fillestare, ata kanë gjetur se marrëdhënia midis çmimit fillestar dhe çmimit të shitjes është jolineare (figura 2.9). Në veçanti, për fillimin e çmimeve ndërmjet 0.05 dhe 0.85, çmimi fillestar ka shumë pak ndikim në çmimin e shitjes, një gjetje që u humb plotësisht nga analiza e tyre e parë. Më tej, në vend se të mesatarja mbi të gjitha artikujt, Einav dhe kolegët vlerësuan ndikimin e çmimit të nisjes për 23 kategori të ndryshme të artikujve (p.sh., furnizimet për kafshë, elektronikë dhe memorabilitë sportive) (figura 2.10). Këto vlerësime tregojnë se për artikujt më të veçantë, siç është çmimi i nisjes së memorabilisë, ka një efekt më të vogël në probabilitetin e një shitjeje dhe një efekt më të madh në çmimin përfundimtar të shitjes. Për më tepër, për artikujt më të mallrave, siç janë DVD-të, çmimi i nisjes nuk ka pothuajse asnjë ndikim në çmimin përfundimtar. Me fjalë të tjera, një mesatare që kombinon rezultatet nga 23 kategori të ndryshme të artikujve fsheh dallime të rëndësishme midis këtyre artikujve.

Figura 2.9: Lidhja midis çmimit fillestar të ankandit dhe probabilitetit të shitjes (a) dhe çmimit të shitjes (b). Ekziston afërsisht një lidhje lineare midis çmimit fillestar dhe probabilitetit të shitjes, por një marrëdhënie jolineare mes çmimit fillestar dhe çmimit të shitjes; për fillimin e çmimeve ndërmjet 0.05 dhe 0.85, çmimi fillestar ka shumë pak ndikim në çmimin e shitjes. Në të dyja rastet, marrëdhëniet janë në thelb të pavarura nga vlera e artikullit. Përshtatur nga Einav et al. (2015) , figurat 4a dhe 4b.

Figura 2.10: Vlerësimet nga secila kategori e artikujve; pika e fortë është vlerësimi për të gjitha kategoritë e grupuara së bashku (Einav et al. 2015) . Këto vlerësime tregojnë se për artikujt më të dallueshëm - si p.sh. memorabilitë - çmimi fillestar ka një efekt më të vogël në probabilitetin e shitjes ( \(x\) -axis) dhe një efekt më të madh në çmimin përfundimtar të shitjes ( \(y\) -aks). Përshtatur nga Einav et al. (2015) , figura 8.

Edhe nëse nuk jeni veçanërisht të interesuar për ankandet në eBay, ju duhet të admironi mënyrën se si figura 2.9 dhe figura 2.10 ofrojnë një kuptim më të pasur të eBay sesa vlerësimet e thjeshta që përshkruajnë një marrëdhënie lineare dhe kombinojnë shumë kategori të ndryshme të artikujve. Më tej, megjithëse do të ishte shkencërisht e mundur të gjenerroheshin këto vlerësime më delikate me eksperimente në terren, kostoja do të bënte eksperimente të tilla në thelb të pamundura.

Ashtu si me eksperimentet natyrore, ka një numër mënyrash që përputhja mund të çojë në vlerësime të këqija. Unë mendoj se shqetësimi më i madh me vlerësimet e përputhjes është se ata mund të jenë të njëanshëm nga gjërat që nuk janë përdorur në përputhjen. Për shembull, në rezultatet e tyre kryesore, Einav dhe kolegët kishin përputhjen e saktë në katër karakteristika: numri i shitësit ID, kategoria e artikullit, titulli i artikullit dhe nëntitulli. Nëse artikujt ishin të ndryshëm në mënyra që nuk përdoreshin për përputhjen, atëherë kjo mund të krijonte një krahasim të padrejtë. Për shembull, nëse "budgetgolfer" uli çmimet për Shoferin e Burner 09 të Taylormade në dimër (kur klubet e golfit janë më pak të njohura), atëherë mund të duket se çmimet më të ulëta të nisjes çojnë në çmime më të ulëta përfundimtare, kur në fakt kjo do të ishte një objekt variacioni sezonal në kërkesë. Një qasje për të adresuar këtë shqetësim është të provoni shumë lloje të ndryshme përputhjesh. Për shembull, Einav dhe kolegët përsërisnin analizën e tyre, ndërkohë që ndryshonin dritaren kohore të përdorur për përputhjen (grupet e përputhura përfshinin artikujt në shitje brenda një viti, brenda një muaji dhe njëkohësisht). Për fat të mirë, ata gjetën rezultate të ngjashme për të gjitha dritaret e kohës. Një shqetësim i mëtejshëm me përputhjen lind nga interpretimi. Vlerësimet nga përputhja zbatohen vetëm për të dhënat e përputhura; ato nuk zbatohen për rastet që nuk mund të përputhen. Për shembull, duke e kufizuar hulumtimin e tyre në artikujt që kishin lista të shumëfishta, Einav dhe kolegët po përqëndrohen në shitësit profesionistë dhe gjysmë-profesionalë. Kështu, kur interpretojmë këto krahasime, duhet të kujtojmë se ato zbatohen vetëm për këtë nëngrup të eBay.

Përputhja është një strategji e fuqishme për të gjetur krahasime të drejta në të dhënat jo eksperimentale. Për shumë shkencëtarë të shoqërisë, përputhja ndjehet e dyta për eksperimentet, por kjo është një besim që mund të rishikohet, pak. Përputhja në të dhëna masive mund të jetë më mirë se një numër i vogël i eksperimenteve në terren kur (1) heterogjeniteti në efekte është i rëndësishëm dhe (2) janë matur variablet e rëndësishme të nevojshme për përputhjen. Tabela 2.4 jep disa shembuj të tjerë se si përputhja mund të përdoret me burime të mëdha të të dhënave.

Në përfundim, vlerësimi i efekteve shkakësore nga të dhënat jo-eksperimentale është e vështirë, por mund të përdoren qasje të tilla si eksperimentet natyrore dhe përshtatjet statistikore (p.sh. përputhja). Në disa situata, këto qasje mund të shkojnë keq, por kur të vendosen me kujdes, këto qasje mund të jenë një plotësim i dobishëm për qasjen eksperimentale që unë e përshkruaj në kapitullin 4. Për më tepër, këto dy qasje duket se mund të përfitojnë nga rritja e vazhdueshme, në sistemet e mëdha të të dhënave.