2.4.3 experimente Apropierea

Putem aproxima experimente pe care nu le putem face sau nu le putem face. Două abordări care beneficiază în special de sursele de date mari sunt experimentele naturale și potrivirea.

Unele întrebări științifice și politice importante sunt cauzale. De exemplu, care este efectul unui program de formare profesională asupra salariilor? Un cercetător care încearcă să răspundă la această întrebare ar putea compara câștigurile persoanelor care s-au înscris pentru instruire celor care nu au făcut acest lucru. Dar cât de multă diferență de salarii între aceste grupuri se datorează instruirii și cât de mult se datorează diferențelor preexistente dintre persoanele care se înscriu și cele care nu fac acest lucru? Aceasta este o întrebare dificilă și este una care nu dispare în mod automat cu mai multe date. Cu alte cuvinte, preocuparea privind eventualele diferențe preexistente apare indiferent de numărul de lucrători care se află în datele dvs.

În multe situații, cea mai puternică modalitate de a estima efectul cauzal al unui anumit tratament, cum ar fi formarea profesională, este de a efectua un experiment controlat în mod aleatoriu, unde un cercetător eliberează aleatoriu tratamentul pentru unii oameni și nu pentru alții. Voi dedica întregul capitol 4 experimentelor, așa că aici mă voi concentra pe două strategii care pot fi utilizate cu date non-experimentale. Prima strategie depinde de căutarea unui lucru care se întâmplă în lume, care la întâmplare (sau aproape în mod aleatoriu) atribuie tratamentul unor persoane și nu altuia. A doua strategie depinde de adaptarea statistică a datelor non-experimentale în încercarea de a explica diferențele preexistente între cei care au făcut și nu au primit tratamentul.

Un sceptic ar putea susține că ambele strategii ar trebui evitate deoarece necesită ipoteze puternice, ipoteze greu de evaluat și care, în practică, sunt adesea încălcate. În timp ce sunt de acord cu această afirmație, cred că merge prea departe. Cu siguranță este adevărat că este dificil să se facă estimări cauzale în mod fiabil din date non-experimentale, dar nu cred că asta înseamnă că nu ar trebui să încercăm niciodată. În special, abordările non-experimentale pot fi utile dacă constrângerile logistice vă împiedică să efectuați un experiment sau dacă constrângerile etice înseamnă că nu doriți să derulați un experiment. În plus, abordările non-experimentale pot fi utile dacă doriți să profitați de datele deja existente pentru a proiecta un experiment controlat în mod aleatoriu.

Înainte de a continua, trebuie de asemenea remarcat faptul că realizarea estimărilor cauzale este unul dintre cele mai complexe teme din cercetarea socială și unul care poate duce la o dezbatere intensă și emoțională. În cele ce urmează, voi oferi o descriere optimistă a fiecărei abordări pentru a construi o intuiție despre ea, apoi voi descrie unele dintre provocările care apar atunci când utilizează această abordare. Mai multe detalii despre fiecare abordare sunt disponibile în materialele de la sfârșitul acestui capitol. Dacă intenționați să utilizați oricare dintre aceste abordări în propriile cercetări, vă recomand să citiți una dintre numeroasele cărți excelente despre inferența cauzală (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .

O abordare pentru a face estimări cauzale din datele non-experimentale este de a căuta un eveniment care a repartizat aleator un tratament pentru unii oameni și nu pentru alții. Aceste situații se numesc experimente naturale . Unul dintre cele mai clare exemple ale unui experiment natural provine din cercetarea lui Joshua Angrist (1990) măsoară efectul serviciilor militare asupra câștigurilor. În timpul războiului din Vietnam, Statele Unite au mărit dimensiunea forțelor sale armate printr-un proiect. Pentru a decide care cetățeni vor fi chemați în slujba, guvernul american a ținut o loterie. Fiecare dată de naștere a fost scrisă pe o bucată de hârtie și, după cum se arată în figura 2.7, aceste bucăți de hârtie au fost selectate una câte una pentru a determina ordinea în care tinerii ar fi chemați să servească (femeile tinere nu erau supuse la proiect). Pe baza rezultatelor, bărbații născuți la 14 septembrie au fost numiți în primul rând, bărbații născuți în 24 aprilie au fost numiți al doilea și așa mai departe. În cele din urmă, în această loterie, bărbații născuți în 195 de zile diferite au fost elaborați, în timp ce bărbații născuți în 171 de zile nu erau.

Figura 2.7: Congresmanul Alexander Pirnie (R-NY) a desenat prima capsulă pentru proiectul serviciului selectiv pe 1 decembrie 1969. Joshua Angrist (1990) combinat proiectul de loterie cu datele câștigurilor din Administrația de securitate socială pentru a estima efectul serviciului militar privind câștigurile. Acesta este un exemplu de cercetare folosind un experiment natural. Sursa: US Service Selective System (1969) / Wikimedia Commons .

Deși s-ar putea să nu fie imediat evident, o loterie de draft are o asemănare critică cu un experiment controlat în mod aleatoriu: în ambele situații, participanții sunt repartizați aleatoriu pentru a primi un tratament. Pentru a studia efectul acestui tratament randomizat, Angrist a profitat de un sistem de date întotdeauna pe mare: Administrația de Securitate Socială din Statele Unite, care colectează informații despre câștigurile practic din toate locurile de muncă ale americanilor. Prin combinarea informațiilor despre cine a fost selectat în mod aleatoriu în proiectul de loterie cu datele privind câștigurile obținute în evidențele administrative guvernamentale, Angrist a concluzionat că câștigurile veteranilor au fost cu aproximativ 15% mai mici decât câștigurile unor non-veterani comparabili.

După cum ilustrează acest exemplu, uneori forțele sociale, politice sau naturale atribuie tratamente într-un mod care poate fi influențat de cercetători și, uneori, efectele acestor tratamente sunt captate în surse de date întotdeauna pe mari date. Această strategie de cercetare poate fi rezumată după cum urmează: \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]

Pentru a ilustra această strategie în era digitală, să luăm în considerare un studiu realizat de Alexandre Mas și Enrico Moretti (2009) care a încercat să estimeze efectul colaborării cu colegii productivi asupra productivității unui lucrător. Înainte de a vedea rezultatele, merită să subliniem că există așteptări conflictuale pe care le puteți avea. Pe de o parte, vă puteți aștepta ca lucrul cu colegii productivi să conducă un lucrător să-și sporească productivitatea din cauza presiunii colegilor. Sau, pe de altă parte, s-ar putea să te aștepți ca cei care muncesc din greu să-i ducă pe un muncitor să se relaxeze, pentru că oricum munca va fi făcută de colegii ei. Cea mai clară modalitate de a studia efectele peerului asupra productivității ar fi un experiment controlat în mod aleatoriu, în care lucrătorii sunt repartizați la întâmplare pentru a se deplasa cu lucrători cu niveluri de productivitate diferite și apoi productivitatea rezultată este măsurată pentru toată lumea. Cercetătorii nu controlează programul lucrătorilor în nici o afacere reală, astfel încât Mas și Moretti au trebuit să se bazeze pe un experiment natural care implică casieri la un supermarket.

În acest supermarket, datorită modului în care s-a făcut programarea și a modului în care schimburile s-au suprapus, fiecare casier avea colaboratori diferiți în diferite momente ale zilei. Mai mult, în acest supermarket, alocarea casierilor nu avea nicio legătură cu productivitatea colegilor lor și cu cât era magazinul ocupat. Cu alte cuvinte, chiar dacă programarea casierilor nu a fost determinată de o loterie, era ca și când muncitorii erau uneori repartizați la întâmplare pentru a lucra cu colegii de înaltă (sau scăzut) productivitate. Din fericire, acest supermarket avea, de asemenea, un sistem de verificare a vârstei digitale care urmări articolele pe care fiecare casier le scanau în orice moment. Din aceste date din istoricul de verificare, Mas și Moretti au reușit să creeze o măsură precisă, individuală și întotdeauna de productivitate: numărul de elemente scanate pe secundă. Combinând aceste două lucruri - variația naturală a productivității de la egal la egal și măsura întotdeauna a productivității - Mas și Moretti au estimat că, dacă un casier a fost alocat colegilor care erau cu 10% mai productiv decât media, productivitatea acestuia ar crește cu 1,5% . Mai mult, ei au folosit dimensiunea și bogăția datelor lor pentru a explora două aspecte importante: eterogenitatea acestui efect (pentru ce tipuri de lucrători este efectul mai mare?) Și mecanismele care stau la baza efectului o productivitate mai mare?). Vom reveni la aceste două aspecte importante - eterogenitatea efectelor și mecanismelor tratamentului - în capitolul 4, când vom discuta mai detaliat experimentele.

Generalizând din aceste două studii, tabelul 2.3 rezumă alte studii care au aceeași structură: folosind o sursă de date întotdeauna pentru a măsura efectul unor variații aleatorii. În practică, cercetătorii folosesc două strategii diferite pentru a găsi experimente naturale, ambele putând fi fructuoase. Unii cercetători încep cu o sursă de date întotdeauna și caută evenimente aleatorii în lume; alții încep un eveniment aleatoriu în lume și caută surse de date care captează impactul acesteia.

În discuția până în prezent despre experimentele naturale, am lăsat un punct important: trecerea de la ceea ce natura a oferit la ceea ce doriți poate fi uneori destul de dificilă. Să revenim la exemplul de proiect din Vietnam. În acest caz, Angrist era interesat de estimarea efectului serviciului militar asupra câștigurilor. Din păcate, serviciul militar nu a fost repartizat aleatoriu; mai degrabă a fost elaborat, care a fost repartizat aleatoriu. Cu toate acestea, nu toți cei care au fost desemnați servesc (au existat o varietate de scutiri), și nu toți cei care au slujit au fost desemnați (oamenii ar putea să se ofere voluntar pentru a servi). Deoarece elaborarea a fost atribuită la întâmplare, un cercetător poate estima efectul de a fi elaborat pentru toți bărbații în proiect. Dar Angrist nu a vrut să știe efectul de a fi elaborat; dorea să știe efectul de a servi în armată. Pentru a face această estimare, sunt totuși necesare ipoteze și complicații suplimentare. În primul rând, cercetătorii trebuie să presupună că singura modalitate în care câștigurile afectate sunt elaborate este prin serviciul militar, o presupunere numită restricție de excludere . Această ipoteză ar putea fi greșită dacă, de exemplu, bărbații care au fost elaborați au rămas în școală mai mult pentru a evita servirea sau dacă angajatorii erau mai puțin probabil să angajeze bărbați care au fost pregătiți. În general, restricția de excludere este o ipoteză critică și, de obicei, este greu de verificat. Chiar dacă restricția de excludere este corectă, este încă imposibil să estimăm efectul serviciului asupra tuturor bărbaților. În schimb, se pare că cercetătorii nu pot decât să estimeze efectul asupra unui anumit subset al bărbaților numiți compliers (bărbați care ar servi atunci când au fost elaborați, dar nu ar servi atunci când nu au fost elaborați) (Angrist, Imbens, and Rubin 1996) . Compilierii nu erau totuși populația inițială de interes. Observați că aceste probleme apar chiar și în cazul relativ curat al loteriei de proiect. Un alt set de complicații apare atunci când tratamentul nu este atribuit de o loterie fizică. De exemplu, în studiile lui Mas și Moretti despre casiere, se ridică întrebări suplimentare cu privire la presupunerea că repartizarea colegilor este în esență aleatorie. Dacă această ipoteză ar fi fost încălcată puternic, s-ar putea bloca estimările. În concluzie, experimentele naturale pot fi o strategie puternică pentru a face estimări cauzale din date non-experimentale, iar sursele de date mari ne măresc capacitatea de a valorifica experimentele naturale atunci când apar. Cu toate acestea, probabil că veți avea nevoie de îngrijiri - și uneori chiar de ipoteze puternice - pentru a trece de la ceea ce natura a oferit estimării pe care o doriți.

A doua strategie pe care aș vrea să vă spun despre efectuarea estimărilor cauzale din datele non-experimentale depinde de ajustarea statistică a datelor non-experimentale în încercarea de a explica diferențele preexistente între cei care au făcut și nu au primit tratamentul. Există multe astfel de abordări de ajustare, dar mă voi concentra pe o potrivire numită. În corespondență, cercetătorul analizează datele non-experimentale pentru a crea perechi de persoane care sunt similare, cu excepția faptului că cineva a primit tratamentul și nu a făcut-o. În procesul de potrivire, cercetătorii sunt, de fapt, și tăierea ; ceea ce înseamnă eliminarea cazurilor în care nu există o potrivire evidentă. Astfel, această metodă ar fi mai bine numită potrivire și tăiere, dar voi rămâne cu termenul tradițional: potrivire.

Un exemplu de putere de potrivire a strategiilor cu surse masive de date non-experimentale provine din cercetarea comportamentului consumatorilor de către Liran Einav și colegii săi (2015) . Ei au fost interesați de licitațiile care au loc pe eBay, iar în descrierea activității lor, mă voi concentra asupra efectului prețului de pornire al licitației asupra rezultatelor licitației, cum ar fi prețul de vânzare sau probabilitatea unei vânzări.

Modul cel mai naiv de a estima efectul prețului de pornire asupra prețului de vânzare ar fi calcularea pur și simplu a prețului final pentru licitații cu prețuri de pornire diferite. Această abordare ar fi bine dacă doriți să anticipați prețul de vânzare, având în vedere prețul de pornire. Dar dacă întrebarea dvs. privește efectul prețului de pornire, atunci această abordare nu va funcționa deoarece nu se bazează pe comparații corecte; licitațiile cu prețuri de pornire mai mici ar putea fi destul de diferite de cele cu prețuri de pornire mai mari (de exemplu, acestea ar putea fi pentru diferite tipuri de bunuri sau ar include diferite tipuri de vânzători).

Dacă sunteți deja conștient de problemele care pot apărea atunci când faceți estimări cauzale din date non-experimentale, puteți săriți abordarea naivă și luați în considerare rularea unui experiment pe câmp în care să vindeți un anumit element - de exemplu, un club de golf - setul de parametri de licitație - de exemplu, transportul gratuit și licitația deschisă timp de două săptămâni - dar cu prețuri de pornire atribuite aleatoriu. Prin compararea rezultatelor de piață rezultate, acest experiment de teren ar oferi o măsurare foarte clară a efectului prețului de pornire asupra prețului de vânzare. Dar această măsurătoare ar fi valabilă numai pentru un anumit produs și set de parametri de licitație. Rezultatele pot fi diferite, de exemplu, pentru diferite tipuri de produse. Fără o teorie puternică, este dificil să extrapolam de la acest experiment unic la întreaga gamă de experimente posibile care ar fi putut fi executate. Mai mult, experimentele pe câmp sunt suficient de costisitoare încât ar fi imposibil să executați fiecare variație pe care ați dori să o încercați.

Spre deosebire de abordările naive și experimentale, Einav și colegii săi au abordat a treia abordare: potrivirea. Principalul truc în strategia lor este de a descoperi lucruri similare experimentelor pe teren care s-au întâmplat deja pe eBay. De exemplu, figura 2.8 arată unele dintre cele 31 de listări pentru exact același club de golf - un Taylormade Burner 09 Driver - fiind vândut de exact același vânzător - "budgetgolfer". Cu toate acestea, aceste 31 de înregistrări au caracteristici puțin diferite, prețul, datele de încheiere și taxele de expediere. Cu alte cuvinte, este ca și cum "budgetgolfer" face experimente pentru cercetători.

Aceste liste de șofer Taylormade Burner 09 care sunt vândute de "budgetgolfer" sunt un exemplu de set de liste de potrivire, în care exact același articol este vândut de exact același vânzător, dar de fiecare dată cu caracteristici ușor diferite. În buletinele masive ale eBay există literalmente sute de mii de seturi de potrivire care implică milioane de liste. Astfel, comparativ cu compararea prețului final pentru toate licitațiile cu un preț de pornire dat, Einav și colegii au comparat seturile potrivite. Pentru a combina rezultatele comparațiilor din aceste sute de mii de seturi de potrivire, Einav și colegii și-au reexaminat prețul de pornire și prețul final în ceea ce privește valoarea de referință a fiecărui element (de exemplu, prețul mediu de vânzare). De exemplu, dacă driverul Taylormade Burner 09 a avut o valoare de referință de 100 USD (pe baza vânzărilor sale), atunci un preț de pornire de 10 USD ar fi exprimat ca 0,1 și un preț final de 120 $ ca 1,2.

Figura 2.8: Un exemplu de set de potrivire. Acesta este exact același club de golf (un șofer Taylormade Burner 09) care este vândut de aceeași persoană ("budgetgolfer"), dar unele dintre aceste vânzări au fost efectuate în condiții diferite (de exemplu, prețuri de pornire diferite). Reprodus cu permisiunea lui Einav et al. (2015) , figura 1b.

Reamintim că Einav și colegii au fost interesați de efectul prețului de pornire asupra rezultatelor licitației. În primul rând, au utilizat o regresie liniară pentru a estima că prețurile de pornire mai mari reduc probabilitatea unei vânzări și că prețurile de pornire mai mari măresc prețul final de vânzare (condiționată de o vânzare care are loc). Prin ele însele, aceste estimări - care descriu o relație liniară și sunt medii pentru toate produsele - nu sunt toate interesante. Apoi, Einav și colegii au folosit dimensiunea masivă a datelor pentru a crea o varietate de estimări mai subtile. De exemplu, prin estimarea efectului separat pentru o varietate de prețuri de pornire diferite, au constatat că relația dintre prețul de pornire și prețul de vânzare este neliniare (figura 2.9). În special, pentru a începe prețurile între 0,05 și 0,85, prețul de pornire are un impact foarte mic asupra prețului de vânzare, o constatare care a fost complet ratată de prima lor analiză. În plus, Einav și colegii au estimat impactul prețului de pornire pentru 23 de categorii diferite de articole (de exemplu, consumabile pentru animale de companie, electronice și memorabilii sportive) (figura 2.10). Aceste estimări arată că pentru mai multe elemente distinctive - cum ar fi memorabilia - prețul de pornire are un efect mai mic asupra probabilității unei vânzări și asupra efectului mai mare asupra prețului final de vânzare. În plus, pentru mai multe elemente comodificate, cum ar fi DVD-urile, prețul de pornire nu are aproape niciun impact asupra prețului final. Cu alte cuvinte, o medie care combină rezultatele din 23 de categorii diferite de articole ascunde diferențe importante între aceste elemente.

Figura 2.9: Relația dintre prețul inițial al licitației și probabilitatea unei vânzări (a) și a prețului de vânzare (b). Există aproximativ o relație liniară între prețul de pornire și probabilitatea de vânzare, dar o relație neliniare între prețul de pornire și prețul de vânzare; pentru a începe prețurile între 0,05 și 0,85, prețul de pornire are un impact foarte mic asupra prețului de vânzare. În ambele cazuri, relațiile sunt practic independente de valoarea elementului. Adaptat de la Einav et al. (2015) , figurile 4a și 4b.

Figura 2.10: Estimări din fiecare categorie de articole; Punctul solid este estimarea pentru toate categoriile grupate împreună (Einav et al. 2015) . Aceste estimări arată că pentru mai multe elemente distinctive - cum ar fi memorabilia - prețul de pornire are un efect mai mic asupra probabilității unei vânzări ( \(x\) -axis) și un efect mai mare asupra prețului final de vânzare ( \(y\) -axă). Adaptat de la Einav et al. (2015) , figura 8.

Chiar dacă nu sunteți deosebit de interesat de licitațiile de pe eBay, trebuie să admirați faptul că figura 2.9 și figura 2.10 oferă o înțelegere mai bună a eBay decât simplele estimări care descriu o relație liniară și combină multe categorii diferite de articole. În plus, deși ar fi posibil din punct de vedere științific să se genereze aceste estimări mai subtile cu experimente pe teren, costul ar face ca astfel de experimente să fie în esență imposibile.

Ca și în cazul experimentelor naturale, există o serie de modalități prin care potrivirea poate duce la estimări incorecte. Cred că cea mai mare preocupare cu estimările potrivite este că ele pot fi părtinitoare de lucruri care nu au fost utilizate în potrivirea. De exemplu, în rezultatele lor principale, Einav și colegii au făcut exact potrivirea cu patru caracteristici: numărul de identificare a vânzătorului, categoria de articole, titlul articolului și subtitrarea. Dacă elementele au fost diferite în moduri care nu au fost utilizate pentru potrivire, atunci aceasta ar putea crea o comparație nedreaptă. De exemplu, dacă "budgetgolfer" a redus prețurile pentru șoferul Taylormade Burner 09 în timpul iernii (când cluburile de golf sunt mai puțin populare), atunci ar putea părea că prețurile de pornire mai mici conduc la scăderea prețurilor finale, când, de fapt, ar fi un artifact variația sezonieră a cererii. O abordare a abordării acestei preocupări încearcă multe tipuri diferite de potrivire. De exemplu, Einav și colegii și-au repetat analiza în timp ce variază intervalul de timp utilizat pentru potrivire (seturile potrivite includ elemente de vânzare în decurs de un an, în decurs de o lună și simultan). Din fericire, au găsit rezultate similare pentru toate ferestrele de timp. O preocupare suplimentară cu potrivirea provine din interpretare. Estimările din potrivire se aplică numai datelor potrivite; acestea nu se aplică cazurilor care nu au putut fi potrivite. De exemplu, prin limitarea cercetării la articole care au avut mai multe înregistrări, Einav și colegii se concentrează pe vânzători profesioniști și semi-profesioniști. Astfel, atunci când interpretăm aceste comparații, trebuie să ne amintim că ele se aplică doar acestui subset al eBay.

Matching este o strategie puternică pentru a găsi comparații corecte în datele non-experimentale. Pentru mulți oameni de știință socială, potrivirea se consideră a fi cea mai bună pentru a experimenta, dar aceasta este o credință care poate fi revizuită, ușor. Potrivirea datelor masive ar putea fi mai bună decât un număr mic de experimente pe teren atunci când (1) eterogenitatea efectelor este importantă și (2) au fost măsurate variabilele importante necesare pentru potrivire. Tabelul 2.4 furnizează alte exemple privind modul în care se poate utiliza potrivirea cu sursele de date mari.

În concluzie, estimarea efectelor cauzale din datele non-experimentale este dificilă, însă pot fi utilizate abordări precum experimentele naturale și ajustările statistice (de exemplu, potrivirea). În unele situații, aceste abordări pot fi greșite, dar atunci când sunt implementate cu atenție, aceste abordări pot fi o completare utilă a abordării experimentale pe care o descriu în capitolul 4. Mai mult, aceste două abordări par foarte probabil să beneficieze de pe urma creșterii, pe, sisteme de date mari.