Əlavə şərh

Bu bölmədə bir povest kimi oxumaq üçün daha çox, bir sened kimi istifadə üçün nəzərdə tutulmuşdur.

• Giriş (Bölmə 4.1)

sosial tədqiqat şərti haqqında suallar tez-tez mürəkkəb və mürəkkəb olur. Causal qrafik əsasında səbəbiyyət üçün fundamental yanaşma üçün bax Pearl (2009) , və potensial nəticələri əsasında fundamental yanaşma üçün, bax Imbens and Rubin (2015) (və bu fəsildə texniki Əlavə). Bu iki yanaşma arasında bir müqayisə üçün bax Morgan and Winship (2014) . Bir qarışa müəyyən bir formal yanaşma üçün bax VanderWeele and Shpitser (2013) .

fəsil, mən eksperimental və qeyri-təcrübə data səbəb təxminlər etmək qabiliyyəti arasında parlaq xətt kimi görünürdü nə yaratmışdır. Əslində, mən fərq blurrier olduğunu düşünürəm. Məsələn, hər kəs smoking biz insanlar siqaret məcbur bir randomizə nəzarət sınaq görülən heç baxmayaraq xərçəng səbəb olur ki, qəbul edir. Qeyri-eksperimental məlumatlar səbəb təxminlər edilməsi haqqında əla kitab uzunluğu müalicə üçün bax Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , və Dunning (2012) .

Fəsil 1 və 2 Freedman, Pisani, and Purves (2007) təcrübələr, nəzarət təcrübələr arasında fərqlər bir aydın tətbiqi təklif və nəzarət təcrübələr randomizə.

Manzi (2012) randomizə nəzarət təcrübələr fəlsəfi və statistik underpinnings bir maraqlı və oxunaqlı tətbiqi təmin edir. O, həmçinin biznes sınaq hakimiyyəti maraqlı real-dünya nümunələri təmin edir.

• Təcrübələr hansılardır? (Bölmə 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) eksperimental dizayn və analiz statistik aspektləri yaxşı tətbiqi təmin edir. Iqtisadiyyat: Əlavə, bir çox müxtəlif sahələrdə təcrübə istifadə əla müalicə var (Bardsley et al. 2009) , sosiologiya (Willer and Walker 2007; Jackson and Cox 2013) , psixologiya (Aronson et al. 1989) , Siyasi Elm (Morton and Williams 2010) , və sosial siyasət (Glennerster and Takavarasha 2013) .

iştirakçı işə qəbul (məsələn, nümunə) əhəmiyyəti eksperimental tədqiqat qiymətləndirib altında tez-tez. Müalicə təsiri əhalinin heterogen əgər Lakin, sonra nümunə vacibdir. Longford (1999) o təsadüfi seçmə ilə əhali sorğu kimi təcrübələr düşüncə tədqiqatçılar üçün müdafiə edərkən aydın bu nöqtəyə edir.

• Təcrübələr iki ölçüləri: laboratoriya sahəsində və analoq (Bölmə 4.3)

Mən laboratoriya və sahə təcrübələr arasında təqdim dichotomy bir az sadələşdirilmiş edir. Əslində, digər tədqiqatçılar sahəsində təcrübələr müxtəlif formaları ayrı-ayrı xüsusi olanları, daha ətraflı typologies təklif (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Sorğu təcrübələr və sosial təcrübələr Survey təcrübələr mövcud tədqiqatların infrastrukturundan istifadə eksperimentlər və alternativ versiyasını cavab müqayisə. Bundan əlavə, orada laboratoriya və sahə dichotomy daxil səliqəli uyğun olmayan sosial alimlər tərəfindən həyata keçirilir təcrübələr iki növ (bəzi sorğu təcrübələr Fəsil 3-də təqdim olunur) eyni sualları; sorğu təcrübələr haqqında daha ətraflı bax Mutz (2011) . Sosial təcrübələr müalicə yalnız bir hökumət tərəfindən həyata keçirilə bilər ki, bəzi sosial siyasət təcrübələr var. Sosial təcrübələr yaxından qiymətləndirilməsi proqram bağlıdır. Siyasət təcrübələr haqqında daha ətraflı məlumat üçün, bax Orr (1998) , Glennerster and Takavarasha (2013) , və Heckman and Smith (1995) .

Bülletenlərinin bir sıra mücərrəd laboratoriya və sahə təcrübələr müqayisədə (Falk and Heckman 2009; Cialdini 2009) və siyasi elmlər xüsusi təcrübələr yekunlarına baxımından (Coppock and Green 2015) , iqtisadiyyat (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) və psixologiya (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) laboratoriya və sahə təcrübələr nəticəsində müqayisə üçün gözəl tədqiqat dizayn təklif edir.

Onlar yaxından bəzən tələb effektləri deyilir müşahidə olunur bilirik və onlar psixologiya tədqiq edilmişdir, çünki onların davranış dəyişən iştirakçıları haqqında narahatlıqlar (Orne 1962) və iqtisadiyyat (Zizzo 2009) . əsasən laboratoriya təcrübələr ilə bağlı olsa da, bu eyni məsələlər də sahə eksperimentlər üçün problemlər yarada bilər. Əslində, tələb təsiri də bəzən bir sahədə təcrübə irəli gəlir müddəti, Western Electric Company Hawthorne Works 1924-ci ildə başlayan xüsusi məşhur işıqlandırma təcrübələr Hawthorne təsiri deyilir (Adair 1984; Levitt and List 2011) . Həm tələb effektləri və Hawthorn təsiri yaxından 2-ci fəsildə müzakirə reaktiv ölçü ideyası ilə bağlı (həmçinin bax Webb et al. (1966) ).

Sahəsində təcrübələr Tarix İqtisadiyyat təsvir edilmişdir (Levitt and List 2009) , siyasi elmlər (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , psixologiya (Shadish 2002) və dövlət siyasəti (Shadish and Cook 2009) . sahəsində təcrübələr sürətlə görkəmli oldu sosial elm bir sahə beynəlxalq inkişaf edir. Iqtisadiyyat çərçivəsində işlərin müsbət baxılması üçün görmək Banerjee and Duflo (2009) , və tənqidi qiymətləndirilməsi üçün çox Deaton (2010) . Siyasi elm bu işin baxılması üçün görmək Humphreys and Weinstein (2009) . Nəhayət, sahəsində təcrübələr ilə məşğul etik problemlər siyasi elmlər tədqiq edilmişdir (Humphreys 2015; Desposato 2016b) və inkişaf iqtisadiyyat (Baele 2013) .

Fəsildə, mən pre-müalicə məlumat təxmin müalicə təsiri dəqiq yaxşılaşdırılması üçün istifadə edilə bilər ki, təklif, lakin bu yanaşma haqqında bəzi müzakirələr var: Freedman (2008) , Lin (2013) , və Berk et al. (2013) ; görmək Bloniarz et al. (2016) Daha ətraflı məlumat üçün.

• Sadə təcrübələr kənarda hərəkət (Bölmə 4.4)

qüvvədə müalicə təsiri heterogenliyi və mexanizmlər: Mən üç anlayışlar diqqət üçün seçilmiş etdik. Bu anlayışlar müxtəlif sahələrdə müxtəlif adları var. Məsələn, psixoloq vasitəçilər və moderatörleriyle odaklanarak sadə təcrübələr kənarda hərəkət edirlər (Baron and Kenny 1986) . vasitəçilərin ideyası I mexanizmlərinin zəng nə ilə əsir və moderatörleriyle ideyası I xarici etibarlılıq (bu, müxtəlif vəziyyətlərdə run əgər məsələn, təcrübə nəticələri fərqli olardı) və müalicə təsiri heterogenliyi (adlandırdıqları tərəfindən əsir məsələn, digər insanlar çox bəzi insanlar) üçün böyük təsiri var.

Sınaq Schultz et al. (2007) effektiv müdaxilələr dizayn üçün istifadə edilə bilər necə sosial nəzəriyyələr göstərir. Təsirli müdaxilələr dizayn nəzəriyyəsinin rolu haqqında daha ümumi arqument üçün bax Walton (2014) .

• İstifadə (Bölmə 4.4.1)

Daxili və xarici etibarlılıq anlayışlar ilk təqdim edilmişdir Campbell (1957) . Bax Shadish, Cook, and Campbell (2001) , daha ətraflı tarixi və statistik nəticə qüvvədə daxili etibarlılıq diqqətlə hazırlanması üçün etibarlılıq, və xarici etibarlılığını tikintisi.

Təcrübələr statistik nəticə qüvvədə ilə bağlı məsələlərin ümumi üçün çox Gerber and Green (2012) (ictimai elm perspektiv üçün) və Imbens and Rubin (2015) (statistik perspektiv üçün). Online sahədə təcrübələr xüsusi yarana statistik nəticə qüvvədə bəzi məsələləri belə asılı data ilə inam intervalları yaratmaq üçün computationally səmərəli üsulları kimi məsələlər daxildir (Bakshy and Eckles 2013) .

Daxili etibarlılıq kompleks sahəsində təcrübələr təmin etmək üçün çətin ola bilər. Misal üçün, bax Gerber and Green (2000) , Imai (2005) və Gerber and Green (2005) səsvermə haqqında bir kompleks sahəsində təcrübə həyata keçirilməsi haqqında müzakirələr üçün. Kohavi et al. (2012) və Kohavi et al. (2013) online sahədə təcrübələr interval etibarlılıq problemləri nəzərə giriş təmin edir.

daxili qüvvədə ilə bir əsas narahatlıq Randomizasyon ilə problemləri var. potensial Randomizasyon ilə problemləri aşkar etmək üçün bir yolu müşahidə əlamətlərin müalicə və nəzarət qrupları müqayisə edir. Müqayisə Bu cür balans çek adlanır. Bax Hansen and Bowers (2008) çek balans və görmək üçün statistik yanaşma Mutz and Pemantle (2015) balans çek haqqında narahatlıq üçün. Məsələn, balans istifadə yoxlamaq Allcott (2011) (; sites 2, 6 və 8 Cədvəl 2) Randomizasyon OPower təcrübələr bəzi təcrübələr üç düzgün həyata deyil ki, bəzi sübutlar var ki, tapılmadı. Digər yanaşmalar üçün, bax Imbens and Rubin (2015) , Fəsil 21.

daxili qüvvədə ilə bağlı digər əsas narahatlıqlar var: 1) müalicə qrupunda hər kəs, həqiqətən, müalicə alıb qeyri-uyğunluq, bir tərəfli, iki müalicə qrupunda hər kəs müalicə və bəzi alır qeyri-uyğunluq, qat 2) nəzarət qrupu insanlar müalicə nəzarət vəziyyətdə insanlara müalicə vəziyyətdə insanların üzərində dağılmaları müalicə, nəticələr bir iştirakçılara qiymətləndirilir deyil 3) aşınma və 4) müdaxilə almaq. Bax Gerber and Green (2012) Bölümler 5, 6, 7, və bu məsələlərin hər daha 8.

Tikinti qüvvədə daha çox üçün, bax Westen and Rosenthal (2003) , və tikintisi böyük data mənbələri qüvvədə haqqında daha çox Lazer (2015) və bu kitabın Fəsil 2.

Xarici etibarlılıq bir aspekti bir müdaxilə test ayardır. Allcott (2015) site seçilməsi təmayüllü diqqətli nəzəri və empirik müalicə təmin edir. Bu məsələ də müzakirə olunur Deaton (2010) . Çox sites təkrar olunur əlavə, Home Energy Report müdaxilə də müstəqil çox tədqiqat qrupları tərəfindən tədqiq edilmişdir (məsələn, Ayres, Raseman, and Shih (2013) ).

• Müalicə təsiri heterogenliyi (Bölmə 4.4.2)

Sahəsində təcrübələr müalicə təsiri heterogenliyi əla ümumi üçün, Fəsil 12, görəcəksiniz Gerber and Green (2012) . Tibbi məhkəmə müalicə təsiri heterogenliyi tətbiqi üçün bax Kent and Hayward (2007) , Longford (1999) , və Kravitz, Duan, and Braslow (2004) . müalicə təsiri heterogenliyi ümumiyyətlə pre-müalicə xüsusiyyətləri əsasında fərqlər yönəldir. Siz post-müalicə nəticələri əsasında heterogenliyi istəyirsinizsə, onda daha mürəkkəb approachs belə əsas təbəqələşmə kimi tələb olunur (Frangakis and Rubin 2002) ; görmək Page et al. (2015) baxılması üçün.

Bir çox tədqiqatçılar xətti reqressiya istifadə müalicə təsiri heterogenliyi qiymətləndirmək, lakin yeni metodları misal üçün, maşın öyrənmə etibar Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) və Athey and Imbens (2016a) .

Çünki çox müqayisə problemləri və ". Balıqçılıq" çox müqayisə haqqında ünvan narahatlıqlar kömək edə bilər statistik yanaşmalar bir sıra var təsiri heterogenliyi tapıntıları haqqında bəzi skeptisizm var (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "Balıqçılıq" haqqında narahatlıq üçün bir yanaşma psixologiya getdikcə ümumi çevrilir pre-qeydiyyat edir (Nosek and Lakens 2014) , Siyasi Elm (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) və iqtisadiyyat (Olken 2015) .

Öyrənilməsi Costa and Kahn (2013) təcrübə ev təsərrüfatlarının yalnız yarısı demoqrafik məlumat bağlı bilmişlər. bu təhlili ilə məlumat və mümkün problemlərin maraqlı Oxucular orijinal kağız müraciət etməlidir.

• Mexanizmlər (Bölmə 4.4.3)

Mexanizmləri olduqca vacibdir, lakin onlar öyrənmək çox çətin ola. Mexanizmləri haqqında araşdırma yaxından psixologiya vasitəçilərin öyrənilməsi ilə bağlı (lakin həmçinin bax VanderWeele (2009) iki fikir arasında dəqiq müqayisə üçün). Belə inkişaf yanaşma kimi tapmaq mexanizmləri Statistika yanaşmalar, Baron and Kenny (1986) , olduqca ümumi. Təəssüf ki, bu prosedurlar bəzi güclü fərziyyələr asılı çıxır ki, (Bullock, Green, and Ha 2010) və bir çox mexanizmlər olduqda bir çox hallarda gözləyə bilər kimi, əziyyət (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) və Imai and Yamamoto (2013) bəzi təkmilləşdirilmiş statistik metodlardan təklif edirik. Bundan əlavə, VanderWeele (2015) həssaslıq təhlili hərtərəfli yanaşma, o cümlədən mühüm nəticələr bir sıra kitab uzunluğu müalicə təklif edir.

A ayrı-ayrı yanaşma birbaşa mexanizmi (məsələn, verilməsi dənizçilərin vitamin C) manipulyasiya üçün cəhd təcrübələr yönəlmişdir. Təəssüf ki, bir çox sosial elm parametrləri var tez-tez çox mexanizmləri və bu başqaları dəyişmədən bir dəyişiklik müalicə dizayn çətindir. Bəzi yanaşmalar təcrübi değiştirerek mexanizmləri təsvir edilir Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , və Pirlott and MacKinnon (2016) .

Təsvir Nəhayət, mexanizmləri də elm fəlsəfə uzun bir tarixi var Hedström and Ylikoski (2010) .

• Mövcud mühit istifadə (Bölmə 4.5.1.1)

Ayrı-seçkilik ölçmək üçün qiyabi işlər və audit işlər istifadəsi üzrə daha ətraflı məlumat üçün bax: Pager (2007) .

• Öz təcrübə yaradın (Bölmə 4.5.1.2)

Siz qurmaq təcrübələr iştirakçıları cəlb etmək üçün ən ümumi yol Amazon Mechanical Turk (MTurk) təşkil edir. ənənəvi laboratoriya eksperimentlər ödəyən adam bir MTurk mimics aspektləri onlar pulsuz bir çox tədqiqatçılar üçün deyil ki, vəzifələri başa çatdırmaq üçün, çünki artıq ənənəvi daha sürətli və daha ucuz məlumatların toplanması nəticəsində insan subyektləri təcrübələr iştirakçıları Turkers (MTurk on işçilər) istifadə başlayıb on-kampus laboratoriya eksperimentlər (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

MTurk işə iştirakçıları ilə eksperimentlər böyük gücü maddi: onlar tədqiqatçılar tez və lazım olduğu kimi iştirakçıları cəlb etməyə imkan verir. laboratoriya təcrübələr run həftə bilər və sahəsində təcrübələr qurmaq ay çəkə bilər, halbuki, MTurk işə iştirakçıları ilə eksperimentlər gün davam edə bilər. Məsələn, Berinsky, Huber, and Lenz (2012) 8 dəqiqə təcrübə iştirak etmək bir gün 400 subyektləri cəlb edə bildik. Bundan başqa, bu iştirakçıları (Fəsillər 3 müzakirə kimi, sorğular və kütləvi əməkdaşlıq, o cümlədən 5) faktiki olaraq hər hansı bir məqsəd üçün cəlb edilə bilər. işə qəbul Bu rahatlığı tədqiqatçılar sürətli ardıcıllıqla müvafiq təcrübələr ardıcıllığı çalıştırabilirsiniz deməkdir.

öz eksperimentlər üçün MTurk iştirakçıların cəlb əvvəl bilmək dörd mühüm şey var. Birincisi, bir çox tədqiqatçılar Turkers cəlb eksperimentlər bir qeyri-spesifik skeptisizm var. bu skeptisizm xüsusi deyil, çünki dəlil ilə qarşı çətindir. Lakin Turkers istifadə tədqiqatlar bir neçə il sonra, indi bu skeptisizm xüsusilə lazım deyil ki, bağlaya bilər. digər əhali və digər əhali nəticələrinə Turkers ilə eksperimentlər nəticələri müqayisə çox işlər Turkers demoqrafik müqayisə çox araşdırmalar var. Bütün bu işləri nəzərə alaraq, mən bu barədə düşünmək üçün ən yaxşı yolu Turkers çox tələbələr lakin bir az daha fərqli kimi, ağlabatan rahatlığı nümunə var ki, hesab edir ki, (Berinsky, Huber, and Lenz 2012) . Belə ki, tələbələr bəzi ağlabatan əhali deyil, bütün eksperimental tədqiqat kimi, Turkers ağlabatan bəzi əhali deyil, bütün araşdırma. Siz Turkers ilə işləmək üçün gedir, onda bu müqayisəli tədqiqatların çox oxumaq və onların nüanslar anlamaq üçün əhəmiyyət kəsb edir.

İkincisi, tədqiqatçılar Turk təcrübələr daxili qüvvədə artırılması üçün ən yaxşı təcrübələri inkişaf etmiş və siz öyrənmək və bu ən yaxşı təcrübələr əməl etməlidir (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Məsələn, Turkers istifadə tədqiqatçılar qafil iştirakçıları aradan qaldırılması üçün Eleyiciler istifadə etmək tövsiyə olunur (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (həm də çox DJ Hauser and Schwarz (2015b) və DJ Hauser and Schwarz (2015a) ). Siz qafil iştirakçıları aradan qaldırılması deyilsə, daha sonra müalicə hər hansı bir təsiri xəbərsiz iştirakçıların təqdim səs-küy həyata yuyulur bilər, və praktikada qafil iştirakçıların sayı əhəmiyyətli ola bilər. Huber və həmkarları sınaq olaraq (2012) iştirakçıların 30% əsas diqqət Eleyiciler bilmədi. Turkers ümumi bir problem qeyri-sadəlövh iştirakçıları (Chandler et al. 2015) .

Üçüncüsü, digital təcrübələr bəzi digər formaları nisbətən, MTurk təcrübələr miqyaslı bilməz Stewart et al. (2015) hər hansı bir zamanda MTurk yalnız haqqında 7000 insanlar var ki, qiymətləndirir.

Nəhayət, MTurk öz qaydaları və normaları ilə bir icma bilməlidir ki (Mason and Suri 2012) . Siz eksperimentlər çalıştırmak üçün gedir ki, bir ölkənin mədəniyyəti haqqında tapmaq üçün cəhd edin ki, eyni şəkildə, mədəniyyət və Turkers normaları haqqında daha çox tapmaq üçün cəhd etməlidir (Salehi et al. 2015) . Və siz uygunsuz və ya qeyri-etik bir şey varsa Turkers sizin təcrübə haqqında söhbət olacaq bilməlidir ki, (Gray et al. 2016) .

MTurk onlar kimi, laboratoriya kimi olub, təcrübələr iştirakçıları cəlb etmək inanılmaz yoldur Huber, Hill, and Lenz (2012) , və ya daha çox sahəsində kimi, Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , və Mao et al. (2016) .

• Öz məhsul qurmaq (Bölmə 4.5.1.3)

Siz öz məhsul yaratmaq üçün çalışırıq düşünürük, mən sizə MovieLens qrupu tərəfindən təklif məsləhət oxumaq məsləhətdir Harper and Konstan (2015) . onların təcrübəsindən əsas fikir hər uğurlu layihə üçün bir çox uğursuzluqlar var ki. Məsələn, MovieLens qrup belə tam uğursuzluqlar idi GopherAnswers kimi digər məhsulları başlayıb (Harper and Konstan 2015) . bir məhsul yaratmaq üçün cəhd isə uğursuz bir tədqiqatçı başqa bir misal Arden adlı online oyun qurmaq Edward Kastronovanın cəhddir. Maliyyə $ 250,000 baxmayaraq, layihə flop idi (Baker 2008) . GopherAnswers və Arden kimi layihələr təəssüf ki, daha çox ümumi MovieLens kimi layihələr çox var. 1) iştirakçıları, çünki, məsələn, onlar ödənilmir (təmin edir nə məhsul istifadə və onlar deyil: Mən uğurla təkrar sınaq üçün məhsullar tikdiyi hər hansı digər tədqiqatçılar bilmədiyini dedi Nəhayət, burada mənim meyarlar könüllü elm yardım) və 2) məhsul bir çox fərqli təcrübə (müxtəlif iştirakçı hovuz ilə, yəni eyni təcrübə neçə dəfə) üçün istifadə edilmişdir. digər nümunələri bilirsinizsə, xahiş edirik Mənə bildirin.

• Güclü Partner (Bölmə 4.5.2)

Mən texnologiya şirkətləri tez-tez müzakirə Pasterin quadrant ideyası eşitdim və bu Google tədqiqat səylərini təşkil edir (Spector, Norvig, and Petrov 2012) .

Bond və həmkarlarının öyrənilməsi (2012) də onları qəbul edənlərin dostlarının bu müalicə təsiri aşkar etmək üçün çalışır. Çünki təcrübə dizayn, bu spillovers cleanly aşkar etmək çətindir; maraqlı oxucu görmək lazımdır Bond et al. (2012) daha ətraflı müzakirə üçün. Bu təcrübə səs təşviq etmək səylərinə siyasi elm təcrübələr uzun bir ənənə hissəsidir (Green and Gerber 2015) . Onlar Pasterin quadrant çünki bu get-out-səs təcrübələr hissəsində rast gəlinir. Bu davranış dəyişikliyi və sosial təsiri haqqında daha ümumi nəzəriyyə test üçün maraqlı bir davranış ola bilər səsvermə və səsvermə artırmaq üçün motivasiya bir çox insanlar var, var.

Digər tədqiqatçılar belə siyasi partiyalar, QHT-lər və biznes kimi tərəfdaş təşkilatlarla sahəsində eksperimentlər çalışan haqqında məsləhət təmin (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Digərləri təşkilatlarla əməkdaşlıq tədqiqat dizayn təsir göstərə bilər necə haqqında məsləhət təklif (Green, Calfano, and Aronow 2014; King et al. 2007) . Partnership də etik suallara gətirib çıxara bilər (Humphreys 2015; Nickerson and Hyde 2016) .

• Design məsləhət (Bölmə 4.6)

Siz təcrübə çalışan əvvəl təhlili plan yaratmaq gedir, mən hesabat qaydaları oxu başlamaq ki, gəlir. CONSORT qaydalar (məhkəmə Consolidated Standard Hesabat) tibb hazırlanmışdır (Schulz et al. 2010) və sosial araşdırma üçün modifikasiya (Mayo-Wilson et al. 2013) . Qaydalar Əlaqəli set Eksperimental siyasi elmlər jurnalı redaktorları tərəfindən hazırlanmışdır (Gerber et al. 2014) (həmçinin bax Mutz and Pemantle (2015) və Gerber et al. (2015) ). Nəhayət, hesabat qaydalar psixologiya hazırlanmışdır (Group 2008) , və həmçinin bax Simmons, Nelson, and Simonsohn (2011) .

Bir analiz plan yaratmaq Əgər pre-qeydiyyat başqaları sizin nəticələri var etimad artacaq, çünki it-qeydiyyatdan pre nəzərə alınmalıdır. Siz tərəfdaşı ilə iş əgər Bundan əlavə, o, nəticələr gördükdən sonra analiz dəyişdirmək üçün ortaq qabiliyyətini məhdudlaşdırmaq edəcək. Pre-qeydiyyat psixologiya getdikcə ümumi çevrilir (Nosek and Lakens 2014) , Siyasi Elm (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) və iqtisadiyyat (Olken 2015) .

Sizin pre-analiz plan oluştururken bəzi tədqiqatçılar da təxmin müalicə təsiri dəqiq yaxşılaşdırılması üçün reqressiya və müvafiq yanaşmalar istifadə ki, xəbərdar olmalıdır və bu yanaşma haqqında bəzi müzakirələr var: Freedman (2008) , Lin (2013) , və Berk et al. (2013) ; görmək Bloniarz et al. (2016) Daha ətraflı məlumat üçün.

Online sahəsində eksperimentlər üçün xüsusi Design məsləhət də təqdim olunur Konstan and Chen (2007) və Chen and Konstan (2015) .

• Sıfır dəyişən dəyəri data yaradın (Bölmə 4.6.1)

MusicLab təcrübələr haqqında daha ətraflı məlumat üçün, bax Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) və Salganik (2007) . Qalib-almaq-bütün bazarlarında daha ətraflı məlumat üçün, bax Frank and Cook (1996) . Ümumiyyətlə untangling uğurlar və bacarıq haqqında daha ətraflı məlumat üçün, bax Mauboussin (2012) , Watts (2012) , və Frank (2016) .

çağırış: tədqiqatçılar ehtiyatla istifadə etməlidir iştirakçı ödənişləri aradan qaldırılması üçün başqa yanaşma var. çox online sahədə təcrübələr iştirakçılar əsasən kompensasiya heç təcrübələr daxil tərtib olunur. Bu yanaşma nümunələri Restivo və van de Rijt nin daxildir (2012) Vikipediya və Bond və həmkarı ilə mükafatların təcrübə (2012) səs insanları təşviq təcrübə. Bu təcrübələr həqiqətən sıfır dəyişən dəyəri yoxdur, onlar tədqiqatçılar sıfır dəyişən dəyəri var. Bu təcrübələr çox dəyəri hər bir iştirakçı üçün çox kiçik olsa da, kiçik xərclər iştirakçı böyük sayı tez əlavə edə bilərsiniz qoyub. kütləvi online eksperimentlər çalışan tədqiqatçılar, tez-tez bir çox insanlar üçün tətbiq zaman bu kiçik təsiri əhəmiyyətli ola bilər ki, deyərək kiçik təxmin müalicə təsiri əhəmiyyətini haqq qazandırmaq. eyni düşüncə tədqiqatçılar iştirakçıların tətbiq xərcləri aiddir. Sizin təcrübələr bir dəqiqə sərf etmək bir milyon adam səbəb varsa, təcrübə hər hansı bir şəxs üçün çox zərərli deyil, lakin ümumilikdə bu zaman demək olar ki, iki il sərf etmişdir.

Iştirakçılara sıfır dəyişən dəyəri ödəniş yaratmaq üçün başqa bir yanaşma lotereya da sorğu tədqiqat istifadə edilmişdir ki, bir yanaşma istifadə edir (Halpern et al. 2011) . Nəhayət, dizayn haqqında daha çox rahat istifadəçi təcrübə görmək Toomim et al. (2011) .

• Dəyişdirin saflaşdırmaq və azaltmaq (Bölmə 4.6.2)

Burada üç R orijinal anlayışlar var Russell and Burch (1959) :

"Dəyişdirilməsi hissiz maddi şüurlu yaşayan ali heyvanlar üçün əvəz deməkdir. Azaldılması bir məbləği və dəqiq məlumat əldə etmək üçün istifadə heyvanların sayının azalması deməkdir. Zəriflik hallarının və ya hələ istifadə etmək lazımdır ki, bu heyvanların tətbiq qeyri-insani prosedurların şiddəti hər hansı azalma deməkdir. "

Mən Fəsil 6. təsvir etik prinsipləri yalnış deyil təklif üç R Əksinə, onlar insan təcrübələr qəbulu həmin prinsiplər-beneficence-xüsusi daha hazırlanmış versiyası biridir.

Mənəvi yoluxma nəzərə zaman, bu təcrübə tərcümə zaman unutmayın üçün üç qeyri-etik məsələlər var. Birincisi, bu, təcrübə faktiki detalları nəzəri iddiaları qoşulmaq necə aydın deyil; başqa sözlə, tikintisi qüvvədə haqqında suallar var. 1) aydın deyil, çünki müsbət və mənfi söz sayar adam postda Sözlər onların emosiyaların yaxşı göstəricisidir ki, həqiqətən iştirakçıların emosional dövlət yaxşı göstəricisidir ki, aydın deyil və 2) bu aydın deyil tədqiqatçılar istifadə xüsusi hiss analiz texnika etibarlı emosiyaların nəticə çıxarmaq edə (Beasley and Mason 2015; Panger 2016) . Başqa sözlə, qərəzli siqnal pis tədbir ola bilər. İkincisi, təcrübə dizayn və analiz bizə ən təsirləndi (yəni, müalicə təsiri heterogenliyi heç təhlili var) və mexanizmi ola bilər nə olan haqqında heç bir şey deyir. Bu halda, tədqiqatçılar haqqında iştirakçılara məlumat çox idi, lakin onlar mahiyyətcə analiz widgets kimi müalicə edildi. Üçüncüsü, bu təcrübə təsiri ölçüsü çox kiçik idi müalicə və nəzarət şərtləri arasında fərq təxminən 1 1000 sözlər var. Onların Yazıda, Kramer və həmkarları milyonlarla insanın yüzlərlə News hər gün Feed daxil çünki bu ölçüdə bir təsiri əhəmiyyətli işi etmək. Başqa sözlə, onlar məcmu böyük hər bir şəxs üçün kiçik ki, hətta təsiri mübahisə. Bu arqument qəbul olsa bu ölçüdə bir təsiri emosional yoluxma haqqında daha çox ümumi elmi sual ilə bağlı vacibdir, əgər, o, hələ də aydın deyil. Kiçik təsiri əhəmiyyətli olan hallar daha çox üçün çox Prentice and Miller (1992) .

Ilk R (dəyişdirilməsi) baxımından Mənəvi Contagion təcrübə müqayisə (Kramer, Guillory, and Hancock 2014) və emosional yoluxma təbii təcrübə (Coviello et al. 2014) hərəkət ilə məşğul ticarət-off haqqında bəzi ümumi dərslər təklif edir təbii təcrübələr təcrübələr (və qeyri-eksperimental data təcrübələr təxmini ki cəhdi uyğun kimi digər yanaşmalar, Fəsil 2 bax). etik faydaları ilə yanaşı, qeyri-eksperimental tədqiqatlar eksperimental keçid də maddi yerləşdirmək iqtidarında müalicə öyrənmək üçün tədqiqatçılar imkan verir. Bu etik və maddi-texniki faydaları, lakin dəyərində gəlir. təbii təcrübələr ilə tədqiqatçılar az iştirakçıların Randomizasyon işə qəbulu kimi şeylər nəzarət və müalicə xarakteri var. Məsələn, bir müalicə kimi yağış bir məhdudiyyət həm də pozitif artırır və mənfilik azalır edir. eksperimental öyrənilməsi, lakin Kramer və həmkarları müstəqil pozitif və mənfilik tənzimləmək edə bildik.

Istifadə xüsusi yanaşma Coviello et al. (2014) daha da hazırlanmış Coviello, Fowler, and Franceschetti (2014) . Instrumental dəyişənlər üçün bir giriş üçün çox Angrist and Pischke (2009) (az formal) və ya Angrist, Imbens, and Rubin (1996) (daha formal). Instrumental dəyişənlərin bir şübhə qiymətləndirilməsi üçün bax Deaton (2010) , və zəif alətləri (yağış zəif aləti) ilə instrumental dəyişənlərin giriş üçün bax Murray (2006) .

Ümumiyyətlə, təbii eksperimentlər üçün yaxşı bir giriş Dunning (2012) , və Rosenbaum (2002) , Rosenbaum (2009) , və Shadish, Cook, and Campbell (2001) eksperimentlər olmadan səbəbli təsiri qiymətləndirilməsi haqqında yaxşı fikir təklif edirik.

ikinci R (Ayrıntılandırma) baxımından, mesajları artırmaq ismarışları blok Mənəvi yoluxma dizayn dəyişən nəzərə elmi və maddi-texniki ticarət-off var. Məsələn, News Feed texniki icrası bu ismarışlarını artırmaq ilə təcrübə daha çox ismarıcları blok ilə bir eksperiment etmək əhəmiyyətli dərəcədə daha asan edir halda ola bilər (ismarışlarını blok ilə təcrübə bir qat kimi tətbiq edilə bilər ki, qeyd əsas sisteminin dəyişiklik) üçün heç bir ehtiyac olmadan News Feed sisteminin top. Elmi, lakin təcrübə tərəfindən nəzəriyyəsi aydın digər üzərində bir dizayn gəlir etməyib.

Təəssüf ki, mən blok və News Feed məzmunu artırmaq nisbi mahiyyəti haqqında əhəmiyyətli əvvəl araşdırma xəbərdar deyiləm. Həmçinin, mən onlara az zərərli etmək üçün müalicə emalı haqqında çox araşdırma görməmişəm; bir istisna deyil Jones and Feamster (2015) Internet senzura ölçü işi hesab edir, (I Encore işə əlaqələr Fəsil 6 müzakirə bir mövzu (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Üçüncü R (Azaldılması) baxımından ənənəvi enerji təhlili yaxşı bir giriş Cohen (1988) . Pre-müalicə dəyişəni dizayn mərhələsində və təcrübələr təhlili mərhələsində daxil edilə bilər; Fəsil 4 Gerber and Green (2012) , həm də yanaşmalar yaxşı bir giriş təmin edir, və Casella (2008) bir daha dərin müalicə edir. Randomizasyon bu pre-müalicə informasiya istifadə Techniques adətən ya eksperimental dizayn və ya laylı eksperimental dizayn (terminologiya icmalar arasında ardıcıl istifadə olunmur) blok deyilir; bu texnika dərin Fəsil 3. See müzakirə örtüklü seçmə üsulları ilə bağlı Higgins, Sävje, and Sekhon (2016) kütləvi eksperimentlər bu dizayn istifadə daha çox. Pre-müalicə dəyişəni də analiz mərhələsində daxil edilə bilər. McKenzie (2012) daha ətraflı sahəsində təcrübələr təhlil fərq-in-fərqlər yanaşma araşdırır. Bax Carneiro, Lee, and Wilhelm (2016) müalicə təsiri təxminlər dəqiq artırmaq üçün müxtəlif yanaşmalar arasında ticarət-off on daha çox. dizayn və ya təhlili mərhələsində (və ya hər ikisi) at pre-müalicə dəyişəni daxil etmək üçün cəhd olub qərar verərkən Nəhayət, hesab üçün bir neçə amillər var. Tədqiqatçılar onlar "balıq" deyil ki, göstərmək istəyirəm qəbulu (Humphreys, Sierra, and Windt 2013) , faydalı ola bilər dizayn mərhələsində pre-müalicə dəyişəni istifadə (Higgins, Sävje, and Sekhon 2016) . Iştirakçıları ardıcıl gəlməsi maddi çətin ola bilər dizayn mərhələsində pre-müalicə məlumat istifadə xüsusilə online sahədə təcrübələr hallarda, misal üçün bax Xie and Aurisset (2016) .

Bu fərq-fərqlər fərqi-in-bir vasitə daha çox daha çox səmərəli ola bilər nə haqqında intuisiya bir az əlavə dəyər. Bir çox online nəticələr çox yüksək ixtilaf var (bax, məsələn, Lewis and Rao (2015) və Lamb et al. (2015) ) və zamanla nisbətən sabitdir. Bu halda, dəyişiklik hesab statistik test güc artırılması, əhəmiyyətli dərəcədə kiçik ixtilaf var. Bu daha tez-tez istifadə olunur yaxınlaşdı bir səbəbi digital yaş əvvəlində bu pre-müalicə nəticələrini üçün ümumi idi ki. bu barədə düşünmək üçün daha konkret bir şəkildə müəyyən bir gündəlik həyata kilo səbəb olub ölçmək üçün bir sınaq təsəvvür edir. Bir fərq-in-bir vasitə yanaşma varsa, sizin smeta əhalinin çəkilər dəyişkənlik gəlir dəyişkənlik olacaq. Bir fərq-in-fərq yanaşma varsa, lakin, çəkilər ki, təbii baş verən variasiya xaric olur və daha asan müalicə səbəb bir fərq aşkar edə bilərsiniz.

Sizin təcrübə iştirakçılarının sayını azaltmaq üçün bir mühüm yol Kramer və həmkarları ilə təbii təcrübə müşahidə təsiri ölçüləri əsasında həyata bilər bir güc təhlili aparmaq deyil Coviello et al. (2014) və ya Kramer qeyri-eksperimental tədqiqat əvvəllər (2012) (əslində bu bu fəslin sonunda fəaliyyəti). güc təhlili bu istifadə tipik bir az fərqli olduğunu görürsünüz. analog yaş, tədqiqatçılar ümumiyyətlə onların öyrənilməsi çox kiçik idi ki, əmin etmək üçün güc təhlili etdi (yəni, altında powered). İndi isə tədqiqatçılar onların öyrənilməsi çox böyük deyil ki, əmin etmək üçün güc təhlil etmək lazımdır (yəni, artıq-powered).

Repurpose: Nəhayət, mən dördüncü R əlavə hesab. Yəni onlar öz orijinal tədqiqat sualı həll etmək lazımdır çox tədqiqatçılar daha eksperimental data ilə özlərini tapmaq əgər, onlar yeni sual data repurpose ki, edir. Məsələn, Kramer və həmkarları tədqiqat sualı həll etmək üçün lazım olduğundan daha çox məlumat ilə özlərini bir fərq-in-fərqlər Tahmincisi istifadə və aşkar olduğunu düşünün. Əksinə tam həcmdə veri istifadə edərək heç-dən, onlar emosional ifadə müalicə pre funksiyası kimi təsiri ölçüsü tədqiq edə bilərdi. Just kimi Schultz et al. (2007) müalicə təsiri bəlkə News Feed təsiri artıq xoşbəxt (və ya kədərli) mesaj göndərmək üçün meyl insanlar üçün fərqli idi, yüngül və ağır istifadəçilər üçün fərqli idi ki, tapılmadı. "Balıqçılıq" gətirib çıxara bilər repurposing (Humphreys, Sierra, and Windt 2013) və "p-Hacking" (Simmons, Nelson, and Simonsohn 2011) , lakin bu əsasən vicdanlı hesabat birləşməsi ilə addressable olunur (Simmons, Nelson, and Simonsohn 2011) , pre-qeydiyyat (Humphreys, Sierra, and Windt 2013) , və çox uyğun qarşısını almaq üçün cəhd maşın öyrənmə üsulları.