4.6.2 Înlocuiți, Căutare, și reduce

A face experimentul mai uman prin înlocuirea experimentelor cu studii de bază non-experimentale, rafinarea tratamentelor, precum și reducerea numărului de participanți.

Cea de a doua piesă de sfaturi pe care aș vrea să ofere despre proiectarea experimentelor digitale se referă la etică. Pe măsură ce experimentul Restivo și van de Rijt pe barnstars în emisiuni Wikipedia, a scăzut costurile înseamnă că etica va deveni o parte tot mai importantă a designului cercetării. În plus față de cadrele etice ghidează subiecții umani de cercetare pe care o voi descrie în capitolul 6, cercetatorii de proiectare experimente digitale pot desena, de asemenea, pe idei etice dintr-o altă sursă: principiile etice dezvoltate pentru a ghida experimente care implică animale. În special, în principiile lor de carte de reper ale tehnicii experimentale prin metode umane, Russell and Burch (1959) a propus trei principii care ar trebui să ghideze cercetarea pe animale: Replace, Rafinare și să reducă. Aș vrea să propun ca aceste trei R poate fi, de asemenea, utilizat-o ușor modificată formă pentru a ghida proiectarea experimentelor umane. În special,

• Înlocuiți: Înlocuiți experimentele cu metode mai puțin invazive, dacă este posibil
• Rafinare: Rafinare tratamentul pentru a face cât mai inofensive posibil
• Reducerea: Reducerea numărului de participanți din cadrul experimentului cât mai mult posibil

Pentru a face concret aceste trei R și arată modul în care acestea pot duce la o mai bună și mai uman design experimental, voi descrie un experiment pe teren online, care a generat dezbateri etice. Atunci voi descrie modul în care cei trei R sugerează schimbări concrete și practice în proiectarea experimentului.

Unul dintre experimentele de teren digitale dezbătute cel mai etic este "emoțională Contagion" , care a fost realizat de Adam Kramer, Jamie Gillroy, și Jeffrey Hancock (2014) . Experimentul a avut loc pe Facebook și a fost motivată de un amestec de întrebări științifice și practice. La acea vreme, modul dominant pe care utilizatorii au interacționat cu Facebook a fost News Feed, un set de algoritmic, curatoriată actualizări de stare Facebook de la prietenii de pe Facebook ale unui utilizator. Unii critici ai Facebook au sugerat că, deoarece News Feed are cea mai mare parte pozitive posturi de prieteni manifestare off lor cele mai recente partid-ar putea determina utilizatorii să se simtă trist pentru că viața lor par mai puțin interesante în comparație. Pe de altă parte, poate că efectul este exact opusul; Poate văd prietenul tău cu un timp bun ar face să te simți fericit? În scopul de a aborda aceste ipoteze concurente și pentru a avansa intelegerea modului in care emotiile unei persoane sunt afectate de prietenii ei "emoțiile-Kramer si colegii sai au condus un experiment. Cercetatorii au plasat la aproximativ 700.000 de utilizatori in patru grupuri timp de o săptămână: un grup de "negativitatea redus", pentru care mesajele cu cuvinte negative (de exemplu, trist) au fost blocate la întâmplare de la apariția News Feed; un grup de "pozitivitate a redus", pentru care posturi cu cuvinte pozitive (de exemplu, fericit) au fost blocate la întâmplare; și două grupuri de control. În grupul de control pentru grupul "negativității redus", posturile au fost blocate în mod aleatoriu la aceeași rată ca și grupul "negativității redus", dar fără a ține cont de conținutul emoțional. Grupul de control pentru grupul "pozitivitate a redus", a fost construit într-un mod paralel. Design-ul acestui experiment ilustrează faptul că grupul de control adecvat nu este întotdeauna una cu nici o schimbare. Mai degrabă, uneori, grupul de control primește un tratament, în scopul de a crea o comparație exactă pe care o întrebare de cercetare necesită. În toate cazurile, posturile care au fost blocate de la News Feed erau încă disponibile utilizatorilor prin alte părți ale site-ului Facebook.

Kramer si colegii sai au descoperit ca pentru participanții la pozitivitatea redus condiție, procentul de cuvinte pozitive în actualizările lor de stare a scăzut și procentul de cuvinte negative, a crescut. Pe de altă parte, pentru participanții la starea negativitate redus, procentul de cuvinte pozitive a crescut și procentul cuvintelor negative, a scăzut (figura 4.23). Cu toate acestea, aceste efecte au fost destul de mici: diferența în cuvinte pozitive și negative între tratamente și controale a fost de aproximativ 1 la 1000 de cuvinte.

Figura 4.23: Dovezi de contaminare emoțională (Kramer, Guillory, and Hancock 2014) . Procent de cuvinte pozitive și negative prin cuvinte condiție experimentală. Barele reprezintă estimate erori standard.

Am pus o discuție asupra aspectelor științifice ale acestui experiment în secțiunea Bibliografie la sfârșitul capitolului, dar, din păcate, acest experiment este cel mai cunoscut pentru a genera dezbateri etice. La doar câteva zile după ce această lucrare a fost publicat în Proceedings al Academiei Nationale de Stiinte, a existat un protest enorm de atat cercetatori si presa. Ultragiu în jurul lucrării sa axat pe două puncte principale: 1) participanți nu a furnizat nici un acord dincolo de standard, termenii-de-serviciu Facebook pentru un tratament care unele gândit ar putea provoca efecte dăunătoare asupra participanților și 2), studiul nu a suferit terțe părți etice de revizuire (Grimmelmann 2015) . Cu privire la întrebările etice ridicate în această dezbatere a provocat revista de a publica rapid o "expresie editorială de îngrijorare" rare cu privire la etica și procesul de evaluare etică pentru cercetare (Verma 2014) . În anii următori, experimentul a continuat să fie o sursă de dezbateri intense și dezacord, iar acest dezacord poate fi avut efectul nedorit de a conduce în umbre multe alte experimente care sunt efectuate de către companiile (Meyer 2014) .

Dat fiind faptul că de fond despre Contagion emoțională, aș dori acum să arate că 3 R poate sugera concrete, imbunatatiri practice pentru studii reale (indiferent ce s-ar putea crede personal despre etica acestui experiment particular). Primul R este Înlocuiți: cercetătorii ar trebui să caute să înlocuiască experimente cu tehnici mai puțin invazive și riscante, dacă este posibil. De exemplu, mai degrabă decât să fie difuzate un experiment, cercetatorii ar putea fi exploatat un experiment natural. Așa cum s-a descris în Capitolul 2, experimentele naturale sunt situații în care se întâmplă ceva în lume, care se apropie repartizarea aleatorie a tratamentelor (de exemplu, o loterie pentru a decide cine va fi elaborat în armată). Avantajul unui experiment natural este faptul că cercetătorul nu trebuie să livreze tratamente; mediul face asta pentru tine. Cu alte cuvinte, cu un experiment natural, cercetatorii nu ar fi avut nevoie pentru a manipula experimental News Feed-uri ale oamenilor.

De fapt, aproape concomitent cu experimentul emoțional Contagion, Coviello et al. (2014) a fost exploatarea ceea ce ar putea fi numit un emoțională experiment natural contagiunea. Abordarea lor, care foloseste o tehnica numita variabile instrumentale, este un pic mai complicat, dacă nu ați mai văzut-o înainte. Așa că, pentru a explica de ce a fost nevoie, să construiască la ea. Prima idee că unii cercetători ar putea avea de a studia contagiune emoțională ar fi să se compare postările în zilele în care News Feed-ul a fost foarte pozitiv pentru postările în zilele în care News Feed-ul a fost foarte negativ. Această abordare ar fi bine dacă obiectivul a fost doar pentru a prezice conținutul emoțional al posturilor tale, dar această abordare este problematică în cazul în care obiectivul este de a studia efectul cauzal al News Feed pe postările. Pentru a vedea problema cu acest design, ia în considerare Ziua Recunostintei. In SUA, posturi pozitive Spike și posturi negative, fir cu plumb pe Ziua Recunostintei. Astfel, la Ziua Recunostintei, cercetatorii ar putea vedea că News Feed-ul a fost foarte pozitiv și că ai postat lucruri pozitive. Însă, postările tale pozitive ar fi putut fi cauzate de Ziua Recunostintei nu de conținutul News Feed-ul. În schimb, în ​​scopul de a estima efectul cauzal cercetatorii au nevoie de ceva care schimbă conținutul News Feed fără a schimba în mod direct emoțiile. Din fericire, există ceva de genul asta se întâmplă tot timpul: vremea.

Coviello si colegii sai au descoperit ca o zi ploioasă în orașul cuiva va fi, în medie, proporția de a reduce posturile care sunt pozitive cu aproximativ 1 punct procentual și crește proporția de posturi care sunt negative cu aproximativ 1 punct procentual. Apoi, Coviello si colegii sai au exploatat acest fapt pentru a studia contagiune emoțională fără a fi nevoie de a manipula experimental oricui News Feed. În esență, ceea ce au făcut-o măsură este modul în care posturile dumneavoastră au fost afectate de vremea în orașele în care locuiesc prietenii. Pentru a vedea de ce acest lucru are sens, imaginează-ți că trăiești în New York City si ai un prieten care locuiește în Seattle. Acum, imaginați-vă că într-o zi începe să plouă în Seattle. Această ploaie în Seattle nu va afecta în mod direct starea ta de spirit, dar va provoca News Feed-ul să fie mai puțin pozitiv și mai negativ din cauza posturilor prietenului. Astfel, ploaia din Seattle manipuleaza aleatoriu feed-urile de știri. Transformând această intuiție într-o procedură statistică fiabilă este complicată (și abordarea exactă folosită de Coviello și colegii este un non-standard de biți), așa că am pus o discuție mai detaliată în secțiunea de lectură suplimentară. Cel mai important lucru de retinut despre Coviello si abordarea colegului este că acesta le-a permis să studieze contagiune emoțională fără a fi nevoie de a rula un experiment care ar putea aduce prejudicii participanților, iar acesta poate fi cazul în care, în multe alte setări pe care le puteți înlocui experimentele cu alte tehnici.

În al doilea rând , în cele 3 RS Rafinare: cercetătorii ar trebui să caute să perfecționeze tratamentele lor , în scopul de a provoca cel mai mic posibil prejudiciu. De exemplu, mai degrabă decât blocarea conținutului care a fost fie pozitiv sau negativ, cercetatorii ar putea fi amplificat de conținut care a fost pozitiv sau negativ. Acest design stimularea s-ar fi schimbat conținutul emoțional al participanților la News Feed-uri, dar s-ar fi adresat unul dintre preocuparea pe care criticii au exprimat: că experimentele ar fi putut cauza participanților să pierdeți informații importante în hrana lor News. Cu design-ul utilizat de Kramer si colegii, un mesaj care este important este ca probabil să fie blocat ca unul care nu este. Cu toate acestea, cu un design stimulare, mesajele pe care le-ar fi deplasate ar fi cele care sunt mai puțin importante.

În cele din urmă, al treilea R este reduce: cercetătorii ar trebui să caute să reducă numărul de participanți la experimentul lor, dacă este posibil. In trecut, această reducere a avut loc în mod natural, deoarece costul variabil al experimentelor analogice a fost ridicat, care încurajate cercetarea să optimizeze designul și analiza acestora. Cu toate acestea, atunci când există date de la zero costuri variabile, cercetătorii nu se confruntă cu o constrângere cost asupra dimensiunii experimentului lor, iar acest lucru are potențialul de a conduce la experimente inutil de mari.

De exemplu, Kramer si colegii sai ar putea fi folosite informații de pre-tratament cu privire la participanții-lor, cum ar fi tratarea prealabilă a posta comportament pentru a face analiza lor să fie mai eficientă. Mai precis, mai degrabă decât a comparat proporția de cuvinte pozitive în tratament și control al condițiilor, Kramer si colegii sai ar fi comparat schimbarea proporției cuvintelor pozitive între condiții; o abordare adesea numită diferență-in-diferențe și care este strâns legată de proiectarea mixt pe care am descris mai devreme în capitolul (figura 4.5). Asta este, pentru fiecare participant, cercetatorii ar fi putut crea un scor de schimbare (comportament post-tratament - un comportament de pre-tratament) și apoi a comparat scorurile de schimbare ale participanților la tratament și control al condițiilor. Această abordare diferență-in-diferente este mai eficient punct de vedere statistic, ceea ce inseamna ca cercetatorii pot realiza aceeași încredere statistică folosind eșantioane mult mai mici. Cu alte cuvinte, prin faptul că nu tratează participanții la fel ca "widget-uri", cercetatorii pot obține de multe ori estimări mai precise.

Fără a avea datele brute este dificil să se știe exact cât de mult mai eficient o abordare diferenta-in-diferente ar fi fost în acest caz. Dar, Deng et al. (2013) a raportat că , în trei experimente on - line pe motorul de căutare Bing au fost în măsură să reducă variația estimărilor cu aproximativ 50%, iar rezultate similare au fost raportate pentru unele experimente on - line de la Netflix (Xie and Aurisset 2016) . Această reducere variație de 50% înseamnă că cercetătorii contagiunea emoțională ar fi putut să reducă eșantionul lor în jumătate în cazul în care au folosit un ușor diferite metode de analiză. Cu alte cuvinte, cu o schimbare mica in analiza, 350.000 de oameni ar fi putut fi scutit de participarea la experiment.

La acest moment s-ar putea să vă întrebați de ce cercetătorii ar trebui să aibă grijă în cazul în care 350.000 de persoane au fost în Contagiunea emoțională inutil. Există două caracteristici particulare ale Contagiunea emoțională care fac îngrijorare cu o dimensiune excesivă corespunzătoare, iar aceste caracteristici sunt împărtășite de mai multe experimente de câmp digitale: 1) există o incertitudine cu privire la posibilitatea experimentul va provoca daune la cel puțin unii dintre participanți și 2) participarea nu a fost voluntar. In experimentele cu aceste două caracteristici, se pare recomandabil să se păstreze experimentele cât mai mic posibil.

In concluzie, cele trei R's-înlocuire, Rafinare și Reduce-prevadă principii care pot ajuta cercetătorii să își dezvolte etica în proiectele lor experimentale. Desigur, fiecare dintre aceste posibile modificări contagiunii emoțională introduce compromisuri. De exemplu, probe din experimentele naturale nu este întotdeauna la fel de curat ca probe de la experimente randomizate și creșterea ar fi fost mult mai dificil de implementat logistic decât să blocheze. Așa că, în scopul de a sugera aceste modificări nu a fost acela de a ghici a doua decizii ale altor cercetători. Mai degrabă a fost pentru a ilustra modul în care trei R ar putea fi aplicate într-o situație reală.