4.3 Două dimensiuni ale experimentelor: laborator-câmp și analog-digital

Experimentele de laborator oferă un control, experimente de teren oferă realism și experimente de teren digitale combină controlul și realism la scară.

Experimentele vin în diferite forme și dimensiuni. În trecut, cercetătorii au considerat că este util să organizeze experimente de-a lungul unui continuum între experimentele de laborator și experimentele pe teren . Acum, totuși, cercetătorii ar trebui să organizeze experimente de-a lungul unui al doilea continuum între experimentele analogice și experimentele digitale . Acest spațiu de design bidimensional vă va ajuta să înțelegeți punctele forte și punctele slabe ale diferitelor abordări și să evidențiați zonele cu cele mai mari oportunități (figura 4.1).

Figura 4.1: Schema spațiului de proiectare pentru experimente. În trecut, experimentele au variat de-a lungul dimensiunii câmpului de laborator. Acum, acestea diferă și în ceea ce privește dimensiunea analogică-digitală. Acest spațiu de design bidimensional este ilustrat de patru experimente pe care le descriu în acest capitol. În opinia mea, zona cea mai mare oportunitate este experimentele câmpului digital.

O dimensiune prin care pot fi organizate experimente este dimensiunea câmpului de laborator. Multe experimente în domeniul științelor sociale sunt experimente de laborator în care studenții de licență îndeplinesc sarcini ciudate într-un laborator de creditare. Acest tip de experiment domină cercetarea în psihologie deoarece permite cercetătorilor să creeze setări foarte controlate pentru a izola și a testa exact teoriile specifice despre comportamentul social. Cu toate acestea, pentru anumite probleme, ceva se simte cam ciudat în ceea ce privește tragerea unor concluzii clare despre comportamentul uman de la oameni atât de neobișnuiți, care îndeplinesc astfel de sarcini neobișnuite într-un cadru atât de neobișnuit. Aceste preocupări au dus la o mișcare spre experimentele pe teren . Experimentele pe teren combină proiectarea puternică a experimentelor de control randomizate cu grupuri mai reprezentative de participanți care îndeplinesc sarcini mai des întâlnite în setări mai naturale.

Deși unii oameni se gândesc la experimentele de laborator și pe teren ca metode concurente, este mai bine să le gândim ca fiind complementare, cu puncte forte și puncte slabe diferite. De exemplu, Correll, Benard, and Paik (2007) folosit atât un experiment de laborator, cât și un experiment pe teren în încercarea de a găsi sursele "pedepsei materne". În Statele Unite, mamele câștigă mai puțini bani decât femeile fără copii, comparând femeile cu abilități similare care lucrează în locuri de muncă similare. Există multe explicații posibile pentru acest tipar, dintre care unul este că angajatorii sunt părtinitoare față de mame. (Interesant, opusul pare să fie adevărat pentru părinți: au tendința de a câștiga mai mult decât bărbații fără copii comparați.) Pentru a evalua posibila părtinire față de mame, Correll și colegii au făcut două experimente: una în laborator și una în domeniu.

În primul rând, într-un experiment de laborator, aceștia au spus participanților, care erau studenți la facultate, că o companie efectuează o căutare de locuri de muncă pentru o persoană care să conducă noul departament de marketing din Coasta de Est. Elevilor i sa spus că firma își dorea ajutorul în procesul de angajare și li sa cerut să revizuiască rezumatele mai multor candidați potențiali și să evalueze candidații pe o serie de dimensiuni, cum ar fi inteligența, căldura și angajamentul de a lucra. În plus, elevii au fost întrebați dacă ar recomanda angajarea reclamantului și ceea ce ar recomanda ca salariu inițial. Cu toate acestea, fără să fie cunoscute studenților, CV-urile au fost construite în mod specific pentru a fi similare, cu excepția unui singur lucru: unele dintre ele au semnalat maternitatea (prin implicarea în listarea unei asociații de părinți-profesori), iar altele nu. Correll și colegii au constatat că studenții au fost mai puțin probabil să recomande angajarea mamei și că le-a oferit un salariu mai mic de începere. Mai mult, printr-o analiză statistică atât a deciziilor, cât și a deciziilor legate de angajare, Correll și colegii au constatat că dezavantajele mamei au fost în mare măsură explicate prin faptul că au fost evaluate mai puțin în ceea ce privește competența și angajamentul. Astfel, acest experiment de laborator a permis Correll și colegilor să evalueze un efect cauzal și să ofere o posibilă explicație pentru acest efect.

Desigur, s-ar putea să fim sceptici în ceea ce privește tragerea concluziilor cu privire la întreaga piață a muncii din SUA, bazată pe deciziile a câtorva sute de studenți care probabil nu au avut niciodată un loc de muncă cu normă întreagă, să nu mai vorbim de angajat pe cineva. Prin urmare, Correll și colegii au efectuat, de asemenea, un experiment complementar pe câmp. Ei au răspuns la sute de deschideri de locuri de muncă anunțate cu scrisori de intenție false și CV-uri. Similar cu materialele prezentate elevilor, unele reluări au semnalat maternitatea, iar altele nu. Correll și colegii au descoperit că mamele erau mai puțin susceptibile de a fi chemate înapoi pentru interviuri decât femeile fără egal. Cu alte cuvinte, angajatorii reali care iau decizii consecvente într-o atmosferă naturală s-au comportat la fel ca și studenții. Au luat decizii similare din același motiv? Din păcate, nu știm. Cercetătorii nu au putut cere angajatorilor să evalueze candidații sau să-și explice deciziile.

Această pereche de experimente dezvăluie multe despre laboratoarele și experimentele pe teren în general. Experimentele de laborator oferă cercetătorilor aproape un control total asupra mediului în care participanții iau decizii. De exemplu, în experimentul de laborator, Correll și colegii au reușit să se asigure că toate CV-urile au fost citite într-un cadru liniștit; în experimentele din teren, unele dintre CV-uri s-ar putea să nu fi fost citite nici măcar. Mai mult, deoarece participanții la laboratorul știu că sunt studiați, cercetătorii sunt adesea capabili să colecteze date suplimentare care pot explica de ce participanții își iau deciziile. De exemplu, Correll și colegii i-au cerut participanților la experimentul de laborator să evalueze candidații pe diferite dimensiuni. Acest tip de date despre proces ar putea ajuta cercetătorii să înțeleagă mecanismele care stau la baza diferențelor în modul în care participanții tratează CV-urile.

Pe de altă parte, aceleași caracteristici identice pe care le-am descris drept avantaje sunt uneori considerate dezavantaje. Cercetătorii care preferă experimente pe teren susțin că participanții la experimentele de laborator ar putea acționa foarte diferit, deoarece știu că sunt studiați. De exemplu, în cadrul experimentului de laborator, participanții ar fi putut ghici obiectivul cercetării și i-ar fi modificat comportamentul, astfel încât să nu apară părtinitoare. Mai mult, cercetătorii care preferă experimente pe teren ar putea susține că diferențele mici din CV-uri nu pot fi decât într-un mediu de laborator foarte curat și steril și, prin urmare, experimentul de laborator va supraestima efectul maternității asupra deciziilor de angajare reale. În cele din urmă, mulți susținători ai experimentelor pe teren critică încrederea experților de laborator pe participanții la WEIRD: în principal studenți din țările occidentale, educate, industrializate, bogate și democratice (Henrich, Heine, and Norenzayan 2010a) . Experimentele realizate de Correll și colegi (2007) ilustrează cele două extreme ale continuumului de laborator. Între aceste două extreme există, de asemenea, o varietate de modele hibride, inclusiv abordări cum ar fi aducerea studenților non-studenți într-un laborator sau intrarea în câmp, dar care încă au participanții să facă o sarcină neobișnuită.

În plus față de dimensiunea câmpului de laborator care a existat în trecut, vârsta digitală înseamnă că cercetătorii au acum o a doua dimensiune majoră de-a lungul căreia experimentele pot varia: analog-digital. La fel cum există experimente de laborator pure, experimente de câmp pur și o varietate de hibrizi între acestea, există experimente analice pure, experimente digitale pure și o varietate de hibrizi. Este dificil să se ofere o definiție formală a acestei dimensiuni, însă o definiție utilă de lucru este că experimentele digitale complet sunt experimente care utilizează infrastructura digitală pentru a recruta participanți, a randomiza, a oferi tratamente și a măsura rezultatele. De exemplu, studiul lui Restivo și lui van de Rijt (2012) despre barnstars și Wikipedia a fost un experiment complet digital, deoarece a folosit sisteme digitale pentru toți cei patru pași. De asemenea, experimentele pe deplin analogice nu utilizează infrastructura digitală pentru nici unul dintre acești patru pași. Multe dintre experimentele clasice din psihologie sunt experimente pe deplin analogice. Între aceste două extreme, există parțial experimente digitale care utilizează o combinație de sisteme analogice și digitale.

Când unii oameni se gândesc la experimente digitale, ei se gândesc imediat la experimentele online. Acest lucru este nefericit, deoarece oportunitățile de a rula experimentele digitale nu sunt doar online. Cercetătorii pot efectua parțial experimente digitale prin utilizarea dispozitivelor digitale în lumea fizică pentru a oferi tratamente sau a măsura rezultatele. De exemplu, cercetătorii ar putea utiliza telefoane inteligente pentru a furniza tratamente sau senzori în mediul construit pentru a măsura rezultatele. De fapt, după cum vom vedea mai târziu în acest capitol, cercetătorii au folosit deja contoarele de energie la domiciliu pentru a măsura rezultatele experimentelor privind consumul de energie care implică 8,5 milioane gospodării (Allcott 2015) . Pe măsură ce dispozitivele digitale devin din ce în ce mai integrate în viața oamenilor și senzorii devin integrați în mediul construit, aceste oportunități de a desfășura parțial experimente digitale în lumea fizică vor crește dramatic. Cu alte cuvinte, experimentele digitale nu sunt doar experimente online.

Sistemele digitale creează noi posibilități de experimentare peste tot în cadrul continuumului de laborator. În experimentele de laborator pure, de exemplu, cercetătorii pot utiliza sisteme digitale pentru măsurarea mai bună a comportamentului participanților; un exemplu de acest tip de măsurare îmbunătățită este echipamentul de urmărire a ochilor care oferă măsuri precise și continue de localizare a viziunii. Vârsta digitală creează și posibilitatea de a rula online experimente de laborator. De exemplu, cercetătorii au adoptat rapid Amazon Mechanical Turk (MTurk) pentru a recruta participanți pentru experimente on-line (figura 4.2). MTurk se potrivește cu "angajatorii" care au sarcini care trebuie completate cu "lucrători" care doresc să-și îndeplinească aceste sarcini pentru bani. Spre deosebire de piețele tradiționale ale forței de muncă, sarcinile implicate, de obicei, necesită doar câteva minute pentru a fi finalizate, iar întreaga interacțiune dintre angajator și lucrător este online. Deoarece MTurk mimează aspecte ale experimentelor tradiționale de laborator - oamenii plătiți pentru a-și îndeplini sarcinile pe care nu le-ar face liber - este în mod natural potrivit pentru anumite tipuri de experimente. În esență, MTurk a creat infrastructura pentru gestionarea unui grup de participanți - recrutarea și plătirea de persoane - iar cercetătorii au profitat de această infrastructură pentru a accesa un grup de participanți întotdeauna disponibili.

Figura 4.2: Articole publicate folosind date de la Amazon Mechanical Turk (MTurk). MTurk și alte piețe ale forței de muncă online oferă cercetătorilor o modalitate convenabilă de a recruta participanții la experimente. Adaptat de la Bohannon (2016) .

Sistemele digitale creează și mai multe posibilități pentru experimente de tip câmp. În special, ele permit cercetătorilor să combine datele de control strânse și de proces care sunt asociate cu experimentele de laborator cu participanții mai diversi și mai multe setări naturale care sunt asociate cu experimentele de laborator. În plus, experimentele pe câmpuri digitale oferă, de asemenea, trei oportunități care au avut tendința de a fi dificilă în experimentele analogice.

În primul rând, în timp ce majoritatea experimentelor de laborator analogice și de teren au sute de participanți, experimentele pe câmpuri digitale pot avea milioane de participanți. Această modificare a scării se datorează faptului că unele experimente digitale pot produce date la cost variabil zero. Adică, odată ce cercetătorii au creat o infrastructură experimentală, creșterea numărului de participanți nu duce la creșterea costului. Creșterea numărului de participanți cu un factor de 100 sau mai mult nu este doar o schimbare cantitativă ; este o schimbare calitativă , deoarece permite cercetătorilor să învețe lucruri diferite de la experimente (de exemplu, eterogenitatea efectelor tratamentului) și să deruleze desene experimentale complet diferite (de exemplu, experimente în grupuri mari). Acest punct este atât de important, mă voi întoarce la sfârșitul capitolului, când vă ofer sfaturi despre crearea experimentelor digitale.

În al doilea rând, în timp ce majoritatea experimentelor de laborator analogice și de teren tratează participanții ca widgeturi care nu se disting, experimentele pe terenuri digitale utilizează frecvent informații de fond despre participanții la etapele de proiectare și analiză ale cercetării. Această informație de bază, care se numește informație de pre-tratament , este adesea disponibilă în experimentele digitale, deoarece acestea se desfășoară pe lângă sistemele de măsurare întotdeauna (vezi capitolul 2). De exemplu, un cercetător de la Facebook are mult mai multe informații înainte de tratament despre persoanele din domeniul experimentului digital pe care un cercetător universitar le are în legătură cu oamenii din experimentul său de câmp analogic. Acest tratament prealabil permite realizarea de proiecte experimentale mai eficiente - cum ar fi blocarea (Higgins, Sävje, and Sekhon 2016) și recrutarea (Eckles, Kizilcec, and Bakshy 2016) a participanților (Eckles, Kizilcec, and Bakshy 2016) și o analiză mai (Eckles, Kizilcec, and Bakshy 2016) cum ar fi estimarea eterogenității efectelor tratamentului (Athey and Imbens 2016a) și ajustarea covariată pentru o precizie îmbunătățită (Bloniarz et al. 2016) .

În al treilea rând, în timp ce numeroase experimente de laborator analogice și de câmp oferă tratamente și măsoară rezultatele într-o perioadă relativ comprimată de timp, unele experimente de câmp digital se întâmplă pe perioade mult mai lungi. De exemplu, experimentul lui Restivo și al lui van de Rijt a avut rezultatele măsurate zilnic timp de 90 de zile, iar unul dintre experimentele pe care vi le voi spune mai târziu în capitolul (Ferraro, Miranda, and Price 2011) urmărit rezultatele pe parcursul a trei ani, cost. Aceste trei informații privind dimensiunile, informația de pre-tratament și datele de tratament longitudinale și rezultate apar cel mai frecvent atunci când experimentele se desfășoară pe lângă sistemele de măsurare întotdeauna (vezi capitolul 2 pentru mai multe informații despre sistemele de măsurare permanente).

În timp ce experimentele pe câmpuri digitale oferă numeroase posibilități, aceștia împărtășesc, de asemenea, unele deficiențe atât în ​​laboratoarele analogice, cât și în experimentele pe teren analogic. De exemplu, experimentele nu pot fi folosite pentru a studia trecutul și pot estima doar efectele tratamentelor care pot fi manipulate. De asemenea, deși experimentele sunt, fără îndoială, utile pentru ghidarea politicilor, orientările exacte pe care le pot oferi sunt oarecum limitate din cauza unor complicații cum ar fi dependența de mediu, problemele de conformare și efectele de echilibru (Banerjee and Duflo 2009; Deaton 2010) . Experimentele pe câmpuri digitale măresc și preocupările etice create de experimentele pe teren - un subiect pe care îl voi adresa mai târziu în acest capitol și în capitolul 6.