4.4 Trecerea dincolo de experimente simple

Hai să trecem dincolo de experimente simple. Trei concepte sunt utile pentru experimente bogate: valabilitate, eterogenitatea efectelor tratamentului și mecanism.

Cercetatorii care sunt noi pentru experimente de multe ori se concentreze pe o întrebare foarte specifică, îngust: face acest tratament "munca"? De exemplu, are un apel telefonic de la un voluntar să încurajeze pe cineva să voteze? Are un buton de schimbare site-ul de la albastru la rata de clic creștere verde? Din păcate, frazare liber despre ce "funcționează" ascunde faptul că experimentele nu s-au concentrat în sens restrâns vă spun într-adevăr dacă un tratament "funcționează" într-un sens general. Mai degrabă, în sens restrâns sa concentrat experimente răspunde la o întrebare mult mai specifică: ceea ce este efectul mediu al acestui tratament specific cu această implementare specifică pentru această populație de participanți în acest moment? O să sun experimente care să se concentreze pe această temă îngustă experimente simple.

Experimente simple pot furniza informații valoroase, dar ele nu reușesc să răspundă la mai multe întrebări care sunt atât de importante și interesante, cum ar fi: sunt acolo unii oameni pentru care tratamentul a avut un efect mai mare sau mai mică ?; există un alt tratament care ar fi mai eficace ?; și cum acest experiment se referă la teorii sociale mai largi?

În scopul de a arăta valoarea de a trece dincolo de experimente simple, să ia în considerare unul dintre experimentele mele preferate teren analogice, un studiu de P. Wesley Schultz si colegii cu privire la relația dintre normele sociale și consumul de energie (Schultz et al. 2007) , (Schultz et al. 2007) . Schultz si colegii sai au atârnat doorhangers pe 300 de gospodării din San Marcos, California, iar aceste doorhangers livrate mesaje diferite menite să încurajeze conservarea energiei. Apoi, Schultz si colegii au masurat efectul acestor mesaje asupra consumului de energie electrică, atât după o săptămână și trei săptămâni; vezi Figura 4.3 pentru o descriere mai detaliată a proiectării experimentale.

Figura 4.3: Schema de proiectare de la Schultz et al. (2007) . Experimentul a implicat teren de a vizita aproximativ 300 de gospodării din San Marcos, California, de cinci ori pe o perioada de opt săptămâni. La fiecare vizita cercetatorii au luat manual o citire de la contor de energie al casei. Pe doua dintre vizitele cercetatorii au plasat doorhangers pe casa furnizarea unor informații cu privire la utilizarea lor de energie. Întrebarea de cercetare a fost modul în care conținutul acestor mesaje ar avea impact asupra consumului de energie.

Experimentul a avut două condiții. În prima condiție, gospodăriile populației au primit sfaturi de economisire a energiei generale (de exemplu, în loc de a folosi ventilatoare de aer condiționat) și informații cu privire la consumul de energie de uz casnic lor în comparație cu media consumului de energie în vecinătatea lor. Schultz si colegii sai au numit aceasta conditie normativ descriptiv , deoarece informațiile cu privire la utilizarea energiei în vecinătatea lor au furnizat informații cu privire la comportamentul tipic ( de exemplu, o normă descriptivă). Atunci când Schultz si colegii sai se uita la consumul de energie care rezultă în acest grup, tratamentul părea să aibă nici un efect, fie pe termen scurt sau pe termen lung; cu alte cuvinte, tratamentul nu pare să "munca" (Figura 4.4).

Dar, din fericire, Schultz et al. (2007) nu a rezolvat această analiză simplistă. Înainte de începerea experimentului au motivat că utilizatorii grele de energie electrică oameni peste medie-ar putea reduce consumul lor, și că utilizatorii de lumină de energie electrică oameni sub medie-ar putea crește de fapt consumul lor. Cand au uitat la datele, exact ceea ce au găsit (Figura 4.4). Astfel, ceea ce arata ca un tratament care avea nici un efect a fost de fapt un tratament care a avut două efecte de compensare. Cercetatorii au numit această creștere a contraproductive în rândul utilizatorilor de lumină un efect de bumerang.

Figura 4.4: Rezultatele de la Schultz et al. (2007) . Primul panou arată că tratamentul norma descriptivă are un efect de tratament medie estimată la zero. Cu toate acestea, al doilea panou arată că acest efect mediu de tratament este de fapt compus din două efecte de compensare. Pentru utilizatorii grele, tratamentul a scăzut de utilizare, dar pentru utilizatorii de lumina, tratamentul a crescut de utilizare. În cele din urmă, al treilea panou arată că al doilea tratament, care a folosit norme descriptive și încetare, au avut aproximativ același efect asupra utilizatorilor grele, dar, ceea ce a atenuat efectul de bumerang asupra utilizatorilor de lumină.

În plus, Schultz si colegii sai au anticipat această posibilitate, iar în cea de a doua condiții în care au desfășurat un tratament ușor diferit, unul conceput în mod explicit pentru a elimina efectul de bumerang. Gospodăriile din a doua condiție a primit sfaturi de exact același tratament general de economisire a energiei și a informațiilor cu privire la consumul de energie de uz casnic lor în comparație cu lor cartier, cu un singur plus minuscul: pentru persoanele cu un consum sub medie, cercetatorii au adaugat un :) si pentru persoanele cu un consum peste medie au adaugat o :(. Aceste emoticon - uri au fost concepute pentru a declansa ceea ce cercetatorii numit norme în încetare. normele se referă la percepția președințială a ceea ce este aprobat în mod obișnuit (și respinse) , în timp ce normele descriptive se referă la percepția a ceea ce se face în mod obișnuit (Reno, Cialdini, and Kallgren 1993) .

Prin adăugarea acestei o emoticon mica, cercetatorii au redus dramatic efectul de bumerang (Figura 4.4). Astfel, prin aceasta schimbare o simplă schimbare care a fost motivată de o teorie abstractă socială psihologică (Cialdini, Kallgren, and Reno 1991) -ORAȘUL cercetătorii au reușit să transforme un program dintr - una care nu părea să lucreze într - unul care a lucrat, și, în același timp, ei au putut să contribuie la înțelegerea generală a modului în care normele sociale afectează comportamentul uman.

În acest moment, cu toate acestea, s-ar putea observa că ceva este un pic diferit despre acest experiment. În special, experimentul Schultz si colegii sai nu are într-adevăr un grup de control, în același mod în care randomizat, controlat de experimente fac. Comparația între acest design și proiectarea de Restivo și van de Rijt ilustrează diferențele dintre cele două modele majore utilizate de către cercetători. În între intrasubiectiv desene sau modele, cum ar fi Restivo și van de Rijt, există un grup de tratament și un grup de control, și în intrasubiective comportamentul participanților este comparat înainte și după tratament (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Într-un experiment la același subiect este ca și în cazul în care fiecare participant acționează ca propriul său grup de control. Concentrația de spațiu dintre subiecți modele este că oferă o protecție împotriva confounders (așa cum am descris mai devreme), iar puterea de experimente intrasubiective este crescută de precizie în estimări. Atunci când fiecare participant acționează ca propriul lor de control, variația între-participant este eliminat (a se vedea apendicele tehnic). Pentru a prevestesc un care va veni mai târziu , când am oferi sfaturi cu privire la proiectarea experimentelor digitale, există un design -ul final, numit un design mixt, care combină precizia îmbunătățită a desenelor și modelelor intrasubiective și protecția împotriva intricate a între-subiecți desene sau modele.

Figura 4.5: Trei modele experimentale. Standard randomizat experimente controlate Utilizați între-subiecți desene sau modele. Un exemplu de proiectare între-subiecți este Restivo și van de Rijt a lui (2012) experimentul privind barnstars și contribuțiile la Wikipedia: cercetatorii au impartit aleatoriu participanti in grupuri de tratament și de control, a dat participanților la grupul de tratament un barnstar, și au comparat rezultatele pentru cele două grupuri. Un al doilea tip de design este un design intrasubiective. Cele două experimente în Schultz și colegul lui (2007) studiu cu privire la normele sociale și utilizarea energiei ilustrează un design în cadrul intrasubiectiv: cercetatorii au comparat utilizarea energiei electrice a participanților , înainte și după primirea tratamentului. Intrasubiective oferă o precizie statistică îmbunătățită prin eliminarea între varianța subiect ( a se vedea apendicele tehnic), dar acestea sunt deschise confounders posibile ( de exemplu, schimbări în vreme între pre-tratament și tratament perioada) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Intrasubiective sunt, de asemenea, măsuri, uneori numite repetate desene sau modele. În cele din urmă, desene sau modele mixte se combină precizia îmbunătățită a intrasubiective și protecția împotriva intricate a între-subiecți desene sau modele. Într-un design mixt, un cercetător compară modificarea rezultatelor pentru persoanele aflate în tratament și grupurile de control. Atunci când cercetătorii au deja informații de pre-tratare, așa cum este cazul în multe experimente digitale, desene sau modele mixte sunt de preferat între-subiecți desene sau modele, din cauza câștigurilor în precizie (a se vedea apendicele tehnic).

În general, proiectarea și rezultatele Schultz et al. (2007) arată valoarea de a trece dincolo de experimente simple. Din fericire, nu trebuie să fie un geniu pentru a crea experimente de genul asta. Oamenii de stiinta sociale s-au dezvoltat trei concepte care vă va ghida spre experimente creative mai bogate și mai multe: 1) valabilitate, 2) eterogeneitatea efectelor tratamentului, și 3) mecanisme. Asta este, dacă vă păstrați aceste trei idei în minte în timp ce proiectarea experimentului, va crea in mod natural mai multe experimente interesante și utile. Pentru a ilustra aceste trei concepte în acțiune, voi descrie un număr de follow-up experimente parțial digitale de teren care au construit pe un design elegant și rezultate interesante în Schultz et al. (2007) . După cum veți vedea, printr-un design mai atentă, punerea în aplicare, analiză și interpretare, aveți prea poate trece dincolo de experimente simple.