4.3 Două dimensiuni ale experimentelor: laborator-câmp și analog-digital
Experimentele de laborator oferă un control, experimente de teren oferă realism și experimente de teren digitale combină controlul și realism la scară.
Experimentele vin în multe forme și mărimi diferite. Dar, în ciuda acestor diferențe, cercetătorii au descoperit că este util pentru a organiza experimente de-a lungul unui proces continuu intre experimente de laborator si experimente pe teren. Acum, cu toate acestea, cercetătorii ar trebui să organizeze , de asemenea , experimente de-a lungul unui proces continuu între experimente analogice și digitale experimente. Acest spatiu de design bidimensional vă va ajuta să înțelegeți punctele forte și punctele slabe ale diferitelor abordări și sugerează domenii de cea mai mare oportunitate (Figura 4.1).
Figura 4.1: Schema de spațiu de proiectare pentru experimente. In trecut, experimentele au variat de-a lungul dimensiunii de laborator-câmp. Acum, ele variază, de asemenea, cu privire la dimensiunea-analog-digital. În opinia mea, zona cea mai mare oportunitate este experimente de teren digitale.
In trecut, principala cale pe care cercetatorii au organizat experimente a fost de-a lungul dimensiunii de laborator-câmp. Majoritatea experimentelor in stiintele sociale sunt experimente de laborator în cazul în care elevii de licență desfășoară sarcini ciudate într - un laborator pentru curs de credit. Acest tip de experiment domină cercetarea în domeniul psihologiei, deoarece permite cercetatorilor sa creeze tratamente foarte specifice, concepute pentru a testa teorii foarte specifice cu privire la comportamentul social. Pentru anumite probleme, cu toate acestea, ceva se simte un pic ciudat a trage concluzii puternice cu privire la comportamentul uman de la astfel de oameni neobișnuite care efectuează astfel de sarcini neobișnuite într-un astfel de decor neobișnuit. Aceste preocupări au condus la o mișcare spre experimente pe teren. Experimentele pe teren combină designul puternic al experimentelor randomizate de control cu mai multe grupuri reprezentative de participanți, îndeplinind sarcini mai frecvente, în mai multe setări naturale.
Cu toate că unii oameni cred că de experimente de laborator și de teren ca metode concurente, cel mai bine este să ne gândim la ele ca metode complementare cu diferite puncte tari și puncte slabe. De exemplu, Correll, Benard, and Paik (2007) , utilizat atât un experiment de laborator și un experiment pe teren , în încercarea de a găsi sursele "pedeapsa maternității". In Statele Unite, mamele castiga mai putini bani decat femeile fara copii, chiar și atunci când care compară femeile cu abilități similare, care lucrează în locuri de muncă similare. Există mai multe explicații posibile pentru acest model, iar unul este faptul că angajatorii sunt părtinitoare împotriva mamelor. (Interesant, opusul pare să fie adevărat pentru tați: ele tind să câștige mai mult decât bărbații fără copii comparabile). În scopul de a evalua posibila prejudecată împotriva mamelor, Correll si colegii sai au alergat doua experimente: unul în laborator și unul din domeniu.
În primul rând, într-un experiment de laborator Correll si colegii a spus participanților, care au fost studenti de colegiu, că o companie de start-up de comunicații cu sediul în California, a fost efectuarea unei căutări de muncă pentru o persoană să conducă noul departament de marketing Coasta de Est. Elevii au fost spus că compania a dorit ajutorul lor în procesul de angajare și au fost rugați să revizuiască CV-urile mai multor potențiali candidați și pentru a evalua candidații cu privire la un număr de dimensiuni, cum ar fi inteligența lor, căldura, și angajamentul de a lucra. În plus, studenții au fost întrebați dacă ar recomanda angajarea solicitantului și ceea ce le-ar recomanda ca un salariu de pornire. Fără știrea studenților, cu toate acestea, CV-urile au fost construite special pentru a fi similare, cu excepția unui singur lucru: unele dintre CV-uri au semnalat maternitatea (prin listarea implicarea într-o asociație părinte-profesor), iar unii nu au. Correll a constatat că elevii au fost mai putin probabil sa recomande angajarea mamelor și le-a oferit salariu de pornire mai mic. În plus, printr-o analiză statistică a ambelor evaluări și deciziile legate de angajare, Correll a constatat că dezavantajele mamelor au fost explicate în mare parte de faptul că mamele au fost evaluate mai mici în ceea ce privește competența și angajamentul. Cu alte cuvinte, Correll susține că aceste trăsături sunt mecanismul prin care mamele sunt dezavantajate. Astfel, acest experiment de laborator a permis Correll si colegii pentru a măsura un efect cauzal și să ofere o posibilă explicație pentru acest efect.
Desigur, s-ar putea să fie sceptic cu privire la a trage concluzii cu privire la întreaga piață a forței de muncă din SUA în baza deciziilor de câteva sute de studenți care au avut niciodată, probabil, un loc de muncă cu normă întreagă, să nu mai vorbim angajat oameni. Prin urmare, Correll si colegii sai au efectuat, de asemenea, un experiment pe teren complementar. Cercetatorii au raspuns la sute de deschideri de locuri de muncă promovate prin trimiterea în scrisori de intentie false si CV-uri. Similar cu materialele prezentate la studenti, unele CV-uri au semnalat maternitatea și unii nu au. Correll si colegii sai au descoperit ca mamele au fost mai putin probabil sa se sunat inapoi pentru interviuri decat femeile fara copii la fel de calificare. Cu alte cuvinte, angajatorii reale de luare a deciziilor pe cale de consecință într-un cadru natural deosebit s-au comportat la fel ca studentii. Au lua decizii similare, din același motiv? Din păcate, noi nu știm. Cercetatorii nu au putut să solicite angajatorilor să evalueze candidații sau să explice deciziile lor.
Această pereche de experimente dezvaluie multe despre experimente de laborator și pe teren, în general. Experimentele de laborator oferă cercetătorilor lângă un control total al mediului în care participanții sunt luarea deciziilor. Astfel, de exemplu, în experimentul de laborator, Correll a fost în măsură să se asigure că toate CV-urile au fost citite într-un cadru liniștit; în experiment pe teren, unele dintre CV-uri s-ar putea să nu fi fost chiar citit. În plus, pentru că participanții la setarea de laborator știu că acestea sunt studiate, cercetatorii sunt de multe ori în măsură să colecteze date suplimentare care vă pot ajuta să înțeleagă de ce participanții iau decizii. De exemplu, Correll a cerut participanților la experiment de laborator pentru a evalua candidații pe diferite dimensiuni. Acest tip de date de proces ar putea ajuta cercetatorii sa inteleaga mecanismele din spatele diferentele in modul in care participantii trata CV - uri.
Pe de altă parte, aceste aceleași caracteristici exacte pe care le-am descris ca fiind avantaje sunt considerate, de asemenea, uneori dezavantaje. Cercetatorii care au prefera experimente de teren susțin că participanții la experimente de laborator ar putea acționa în mod foarte diferit atunci când sunt observate îndeaproape. De exemplu, în laborator participanții la experiment s-ar fi ghicit scopul cercetării și a modificat comportamentul lor, astfel încât să nu apară părtinitoare. In plus, cercetatorii care prefera experimente de teren s-ar putea argumenta că diferențele mici pe CV-uri pot sta doar într-un mediu foarte curat, de laborator steril, și, astfel, experimentul de laborator se va supra-estima efectul maternității asupra deciziilor reale de angajare. În cele din urmă, mulți susținători de experimente de teren critica experimente de laborator bazându -se pe participanți WEIRD: în principal studenți din Europa de Vest, Educata industrializată, Rich, și țările democratice (Henrich, Heine, and Norenzayan 2010) . Experimentele de catre Correll si colegii (2007) ilustrează cele două extreme pe continuumul de laborator-câmp. Între aceste două extreme, există o varietate de modele hibride, inclusiv abordări, cum ar fi aducerea non-studenți într-un laborator sau de a merge în teren, dar în continuare participanților să efectueze o sarcină neobișnuită.
În plus față de dimensiunea de laborator-câmp care a existat în trecut, era digitală înseamnă că cercetătorii au acum o a doua dimensiune majoră a lungul căreia experimentele pot varia:-analog-digital. La fel cum există experimente de laborator pure, experimente de teren curat și o varietate de hibrizi între ele, există experimente pure analogice, experimente digitale pure, și o varietate de hibrizi. Este dificil de a oferi o definiție formală a acestei dimensiuni, dar o definiție de lucru util este faptul că experimentele pe deplin digitale sunt experimente care fac utilizarea infrastructurii digitale pentru a recruta participanți, randomiza, livreze tratamente, si masura rezultatelor. De exemplu, Restivo și van de Rijt lui (2012) studiul barnstars și Wikipedia a fost un experiment complet digital , deoarece a folosit sisteme digitale pentru toate cele patru etape. De asemenea complet experimentele analogice sunt experimente care nu fac utilizarea infrastructurii digitale pentru oricare dintre aceste patru etape. Multe dintre experimentele clasice în psihologie sunt experimente analogice. Între aceste două extreme există parțial experimente digitale care utilizează o combinație de sisteme analogice și digitale pentru cele patru etape.
Critically, posibilitățile de a rula experimente digitale nu sunt doar on-line. Cercetatorii pot rula experimente partial digitale prin utilizarea dispozitivelor digitale din lumea fizică, în scopul de a oferi tratamente sau măsura rezultatelor. De exemplu, cercetatorii ar putea folosi telefoanele inteligente pentru a oferi tratamente sau senzori în mediul construit pentru a măsura rezultatele. De fapt, după cum vom vedea mai târziu în acest capitol, cercetatorii au folosit deja contoare de energie acasă pentru a masura rezultatele in experimente cu privire la normele sociale și a consumului de energie care implică 8.5 milioane de gospodării (Allcott 2015) . Ca dispozitive digitale devin din ce în ce integrate în viața oamenilor și senzori devin integrate în mediul construit, aceste oportunități pentru a rula experimente parțial digitale în lumea fizică va crește dramatic. Cu alte cuvinte, experimente digitale nu sunt doar experimente on-line.
Sistemele digitale creează noi posibilități pentru experimente de pretutindeni de-a lungul continuumului de laborator-câmp. In experimentele de laborator pure, de exemplu, cercetătorii pot utiliza sisteme digitale de măsurare mai fină a comportamentului participanților; un exemplu de acest tip de măsurare îmbunătățită este un echipament de urmărire prin ochi, care prevede măsuri precise și continue ale privirii de locație. Era digitală creează, de asemenea, posibilitatea de a rula experimente de laborator cum ar fi on-line. De exemplu, cercetătorii au adoptat rapid Amazon Mechanical Turk (MTurk) pentru a recruta participanți pentru experimente on-line (Figura 4.2). MTurk se potrivește "angajatorilor", care au sarcini care trebuie să fie completate cu "muncitori" care doresc să completeze aceste sarcini pentru bani. Spre deosebire de piețele tradiționale ale forței de muncă, cu toate acestea, sarcinile implicate de obicei, necesită doar câteva minute pentru a finaliza și întreaga interacțiunea dintre angajator și lucrător este virtuală. Pentru că imita MTurk aspecte ale experimentelor de plată tradiționale de laborator oameni pentru a finaliza sarcinile pe care nu le-ar face pentru liber este potrivit in mod natural pentru anumite tipuri de experimente. În esență, MTurk a creat infrastructura pentru gestionarea unui grup de participanți-recrutare și de plată pe oameni și cercetătorii au profitat de această infrastructură la robinet într-o piscină mereu la dispoziția participanților.
Figura 4.2: Lucrări publicate folosind date de la Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk și alte piețe ale muncii online oferă cercetătorilor un mod convenabil de a recruta participanți pentru experimente.
Experimentele digitale a crea mai multe posibilități pentru experimente de câmp cum ar fi. Experimentele pe teren digitale pot oferi date de control și de proces strâns pentru a înțelege mecanismele posibile (cum ar fi experimente de laborator) si mai diversificate de participanți care iau decizii reale într-un mediu natural (cum ar fi experimente pe teren). În plus față de această combinație de caracteristici bune de experimente anterioare, experimente de teren digitale oferă, de asemenea, trei oportunități care au fost dificile în experimente de laborator și de teren analogice.
În primul rând, în timp ce cele mai multe experimente de laborator și de teren analogice au sute de participanți, experimente de teren digitale pot avea milioane de participanți. Această modificare în scală se datorează faptului că unele experimente digitale pot produce date la costuri variabile zero. Adică, odată ce cercetătorii au creat o infrastructură experimentală, creșterea numărului de participanți în mod obișnuit nu crește costul. Creșterea numărului de participanți cu un factor de 100 sau mai mult , nu este doar o schimbare cantitativă, aceasta este o schimbare calitativă, deoarece permite cercetatorilor sa invete lucruri diferite de experimente ( de exemplu, eterogenitatea efectelor tratamentului) și a alerga complet diferite modele experimentale ( de exemplu, experimentele de grup de mari dimensiuni). Acest punct este atât de important, mă voi întoarce să-l spre sfârșitul capitolului când am oferit sfaturi despre crearea de experimente digitale.
În al doilea rând, în timp ce cele mai multe experimente de laborator și de teren analogice trata participantii ca widget-uri pot fi distinse, experimente de teren digitale folosesc adesea informații generale despre participanții la etapele de proiectare și analiză a cercetării. Aceste informații de fond, care se numește informație de pre-tratament, este adesea disponibil în experimente digitale , deoarece acestea au loc în medii măsurate pe deplin. De exemplu, un cercetator de la Facebook are mult mai multe informații de pre-tratament decât un cercetător proiectarea unui experiment de laborator standard, cu studenții. Această informație de pre-tratament permite cercetatorilor sa se deplaseze dincolo de tratarea participanților la widget-uri ca nu pot fi distinse. Mai precis, informații de pre-tratare permite servicii de proiectare- o astfel mai eficiente experimentale ca blocarea (Higgins, Sävje, and Sekhon 2016) și de recrutare vizate de participanți (Eckles, Kizilcec, and Bakshy 2016) -și analiza , cum ar fi estimarea mai profundă a eterogenitate a efectelor tratamentului (Athey and Imbens 2016a) și ajustarea covarianță pentru o mai bună precizie (Bloniarz et al. 2016) , (Bloniarz et al. 2016) .
În al treilea rând, în timp ce numeroase experimente de laborator analogice și domeniu livreze tratamente si rezultate măsură într-o cantitate relativ comprimat de timp, unele experimente de teren digitale implică tratamente care pot fi livrate în timp și efectele pot fi, de asemenea, măsurate în timp. De exemplu, Restivo și van de Rijt de experiment are rezultatul măsurat zilnic timp de 90 de zile, iar unul dintre experimente eu voi spune despre mai târziu , în capitolul (Ferraro, Miranda, and Price 2011) Circuite rezultatele de peste 3 ani , la , practic , nu a costat. Aceste trei posibilități de dimensiune, informatii de pre-tratament și tratament longitudinal și rezultatul de date-sunt cele mai frecvente atunci când experimentele sunt rulate pe partea de sus a întotdeauna pe sistemele de măsurare (a se vedea capitolul 2 pentru mai mult pe întotdeauna pe sistemele de măsurare).
In timp ce experimente de teren digitale oferă multe posibilități, acestea prezintă, de asemenea, unele puncte slabe, cu atât laborator analogice și experimente de teren. De exemplu, experimentele nu pot fi folosite pentru a studia trecut și se poate estima doar efectele tratamentelor care pot fi manipulate. De asemenea, cu toate că experimentele sunt , fără îndoială , utile pentru a orienta politica, orientarea exactă care le pot oferi este oarecum limitat din cauza unor complicatii , cum ar fi dependența de mediu, probleme de conformare, precum și efectele de echilibru (Banerjee and Duflo 2009; Deaton 2010) . În cele din urmă, experimente de teren digitale amplifica problemele etice create de experimente pe teren. Sustinatorii de experimente de teren trompeta capacitatea lor de a interveni unobtrusively și aleatoriu în deciziile subsecvente făcute de milioane de oameni. Aceste caracteristici oferă anumite avantaje științifice, dar ele pot face, de asemenea, experimente de teren etic complexe (cred despre ea ca cercetatori tratarea oameni ca "sobolani de laborator", pe o scară largă). În plus, în plus față de posibilele efectelor nocive participanților, experimente de teren digitale, din cauza dimensiunii lor, se poate ridica de asemenea, preocupările legate de perturbarea sistemelor sociale de lucru (de exemplu, preocupările legate de perturbarea sistemului de recompense Wikipedia dacă Restivo și van der Rijt a dat prea multe barnstars) .
