Нэмэлт тайлбар

Энэ хэсэг нь хүүрнэл гэж уншиж болно гэхээсээ илүү, лавлагаа болгон ашиглах зорилготой юм.

• Танилцуулга (Хэсэг 4.1)

Нийгмийн судалгааны учир шалтгааны талаар асуулт ихэвчлэн төвөгтэй, будилсан байдаг. Учир шалтгааны график дээр суурилсан учир шалтгааны нь суурь арга үзнэ үү Pearl (2009) болон боломжит үр дүнд үндэслэн суурь арга нь харж Imbens and Rubin (2015) (мөн энэ бүлэгт техникийн хавсралтыг). Энэ хоёр арга хооронд нь харьцуулан үзнэ үү Morgan and Winship (2014) . Нь confounder тодорхойлох албан ёсны арга үзнэ үү VanderWeele and Shpitser (2013) .

бүлэгт би туршилтын болон төрийн бус туршилт өгөгдлөөс учир шалтгааны тооцоог хийх нь бидний чадвар хооронд тод шугам шиг санагдсан зүйл бий. Бодит байдал дээр би ялгаа blurrier гэж бодож байна. Жишээ нь, хүн бүр тамхи татах нь бид хүмүүс тамхи шаарддаг нь санамсаргүй хяналттай туршилт хэзээ ч хийсэн ч хорт хавдар үүсгэдэг гэдгийг хүлээн зөвшөөрдөг. Бус туршилтын өгөгдөл нь учир шалтгааны тооцоог гаргах маш сайн ном урт эмчилгээ үзнэ үү Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , болон Dunning (2012) .

2-р бүлэг 1- Freedman, Pisani, and Purves (2007) туршилт, хяналттай туршилт хооронд ялгаа болгон тодорхой танилцуулга өргөж, хяналттай туршилт санамсаргүй.

Manzi (2012) санамсаргүй хяналттай туршилт, гүн ухааны статистик суурь болно болгон гайхамшигтай, уншихад хялбар танилцуулж байгаа юм. Энэ нь мөн бизнесийг туршилтын хүчний сонирхолтой бодит ертөнц жишээ болно.

• Туршилт гэж юу вэ? (Хэсэг 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) туршилтын загвар, дүн шинжилгээ хийх статистикийн асуудлаар сайн танилцуулга хангана. Эдийн засаг: Цаашилбал, олон салбарт туршилт ашиглах нь маш сайн эмчилгээ байдаг (Bardsley et al. 2009) , социологи (Willer and Walker 2007; Jackson and Cox 2013) , сэтгэл зүй (Aronson et al. 1989) , улс төрийн шинжлэх ухаан (Morton and Williams 2010) , нийгмийн бодлого (Glennerster and Takavarasha 2013) .

оролцогч ажилд авах (жишээ нь, дээж авах) ач холбогдол туршилтын судалгаа дутуу үнэлдэг нь элбэг байдаг. Гэсэн хэдий ч, эмчилгээний үр нөлөө нь хүн амын төрлийн бус байгаа бол дараа нь дээж авах нь чухал юм. Longford (1999) тэр haphazard дээж нь хүн амын судалгааны талаар туршилтын бодож судлаачдын зорьдог үед тодорхой энэ цэг болгож байна.

• Туршилтын хоёр хэмжээс: лабораторийн-хээрийн болон аналог дижитал (Хэсэг 4.3)

Би лабораторийн, хээрийн туршилт хооронд танилцуулсан албанд жаахан хялбаршуулсан байна. Ер нь, бусад судлаачид хээрийн туршилтын янз бүрийн хэлбэрийг тусад нь тодорхой хүмүүст нь илүү нарийвчилсан төлөв санал болгож байна (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Судалгаа туршилт, нийгмийн туршилт судалгаа туршилт нь одоо байгаа судалгааг дэд бүтцийг ашиглан туршилт, өөр хувилбаруудын хариултыг харьцуулсан: Цаашилбал, тэнд лабораторийн, хээрийн дихотоми руу цэвэрхэн багтахгүй байхгүй бол нийгмийн шинжлэх ухааны эрдэмтэд гүйцэтгэсэн туршилт өөр хоёр төрлийн байдаг. нэг асуулт (зарим судалгаа туршилт Бүлэг 3-д үзүүлэв); судалгаа туршилтын талаар дэлгэрэнгүй үзнэ үү Mutz (2011) . Нийгмийн туршилт эмчилгээ нь зөвхөн Засгийн газраас хэрэгжүүлж болох зарим нэг нийгмийн бодлого нь туршилт юм. Нийгмийн туршилт нягт үнэлгээ програмтай холбоотой юм. Бодлогын туршилт талаар дэлгэрэнгүй үзнэ үү Orr (1998) , Glennerster and Takavarasha (2013) болон Heckman and Smith (1995) .

Баримт бичиг нь хэд хэдэн Хураангуй доторх лаборатори, хээрийн туршилт харьцуулахад байна (Falk and Heckman 2009; Cialdini 2009) , улс төрийн шинжлэх ухааны тодорхой туршилтын үр дүнгийн хувьд (Coppock and Green 2015) , эдийн засаг (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) болон сэтгэл зүйн (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) лабораторийн болон хээрийн туршилтын үр дүнг харьцуулах сайхан судалгааны загварыг санал болгож байна.

Учир нь тэд хоорондоо нягт ажиглаж, заримдаа эрэлт нөлөө гэж нэрлэдэг байна мэддэг бөгөөд тэд сэтгэл суралцсан байна, учир нь тэдний зан үйлийг өөрчлөх оролцогчдын тухай асуудал (Orne 1962) эдийн засаг, (Zizzo 2009) . ихэвчлэн лабораторийн туршилт холбоотой хэдий ч, эдгээр асуудал болон хээрийн туршилт нь асуудал үүсгэж болох юм. Ер нь, эрэлт нөлөө заримдаа Hawthorne нөлөө, хээрийн туршилтын эхтэй Хугацааг, Баруун бүсийн цахилгаан компанийн Hawthorne ажил үед 1924 онд эхэлсэн, ялангуяа алдартай гэрэлтүүлгийн туршилт гэж нэрлэдэг (Adair 1984; Levitt and List 2011) . Аль аль нь эрэлт нөлөө, долоогоно нөлөө Бүлэг 2-т хэлэлцсэн реактив хэмжилтийн санаа нягт холбоотой (үзнэ үү Webb et al. (1966) ).

Хээрийн туршилт түүх эдийн засгийн тайлбарласан байна (Levitt and List 2009) , Улс төрийн шинжлэх ухаан (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , сэтгэл зүйн (Shadish 2002) , болон олон нийтийн бодлого (Shadish and Cook 2009) . Хээрийн туршилт болсон хурдан алдартай нь нийгмийн шинжлэх ухааны нэг газар олон улсын хөгжлийн байна. Эдийн засгийн хүрээнд тухайн ажлын эерэг хянан үзнэ үү Banerjee and Duflo (2009) , мөн чухал үнэлгээний үзнэ үү Deaton (2010) . Улс төрийн шинжлэх ухаан энэ ажлын хянан үзнэ үү Humphreys and Weinstein (2009) . Эцэст нь хэлэхэд, хээрийн туршилт оролцож ёс зүйн асуудал нь улс төрийн шинжлэх ухааны чиглэлээр судалж байна (Humphreys 2015; Desposato 2016b) , хөгжлийн эдийн засаг (Baele 2013) .

Бүлэгт, би өмнөх эмчилгээ мэдээлэл тооцоо эмчилгээний үр нөлөөг нарийвчлалыг сайжруулах зорилгоор ашиглаж болно хэмээн санал болгосон боловч энэ хандлагын талаар зарим нэг хэлэлцэгдэж байгаа: Freedman (2008) , Lin (2013) болон Berk et al. (2013) ; үзнэ үү Bloniarz et al. (2016) Дэлгэрэнгүй мэдээллийг.

• Энгийн туршилт цааш хөдөлж (Хэсэг 4.4)

хүчинтэй байх, эмчилгээний үр нөлөөг нэгэн төрлийн, болон арга замуудын: Би гурван үзэл баримтлалын талаар анхаарч сонгосон байна. Эдгээр ойлголтууд өөр өөр салбарт өөр өөр нэртэй байдаг. Жишээ нь, сэтгэл судлаачид медиаторууд болон зохицуулагчид дээр анхаарлаа хандуулах нь энгийн туршилт цааш хөдөлж байдаг (Baron and Kenny 1986) . медиаторууд санаа би механизмыг гэж нэрлэдэг баригдсан бөгөөд зохицуулагчид санаа нь би гадаад хүчинтэй байх (жишээ нь, туршилтын үр дүн нь өөр өөр нөхцөл байдалд ажиллуулж байгаа юм бол өөр өөр байж болно) болон эмчилгээний үр нөлөөг олон төлөвт (нэрлэдэг баригджээ жишээ нь, бусад хүмүүстэй харьцуулахад зарим хүн) нь том нөлөө юм.

-Ийн туршилт Schultz et al. (2007) нийгмийн онол хэрхэн үр дүнтэй арга хэмжээг боловсруулахад ашиглаж болно харуулж байна. Үр дүнтэй арга боловсруулахад онолын үүрэг талаар илүү ерөнхий аргумент үзнэ үү Walton (2014) .

• Хүчинтэй байх хугацаа (Хэсэг 4.4.1)

Дотоод болон гадаад хүчинтэй байх үзэл баримтлалыг анх удаа нэвтрүүлсэн байна Campbell (1957) . Үзнэ үү Shadish, Cook, and Campbell (2001) , илүү дэлгэрэнгүй түүх, статистикийн дүгнэлт хүчинтэй байх, дотоод хүчин төгөлдөр нь болгоомжтой боловсруулах хүчин төгөлдөр, гадаад хүчин төгөлдөр байгуулах.

Туршилт статистик дүгнэлт хүчинтэй холбоотой асуудлаар тоймыг харж Gerber and Green (2012) (а нийгмийн шинжлэх ухааны талаас нь) болон Imbens and Rubin (2015) (а статистикийн талаас нь). Онлайн хээрийн туршилт тусгайлан гарч статистик дүгнэлт хүчинтэй байх зарим асуудал зэрэг хамааралтай мэдээлэл нь итгэх интервал бий болгох тооцооллын үр ашигтай арга гэх мэт асуудлыг багтаасан (Bakshy and Eckles 2013) .

Дотоод хүчин төгөлдөр цогц хээрийн туршилт нь хангахын тулд хэцүү байж болох юм. Жишээ нь, нь үзнэ үү Gerber and Green (2000) , Imai (2005) болон Gerber and Green (2005) санал хураалтын талаар цогц хээрийн туршилтын хэрэгжилтийн талаар маргаантай байна. Kohavi et al. (2012) болон Kohavi et al. (2013) онлайн хээрийн туршилт нь интервал хүчинтэй байх бэрхшээл болгон танилцуулах.

дотоод хүчин төгөлдөр байх нь нэг гол асуудал нь санамсаргүй нь асуудал юм. болзошгүй нь санамсаргүй нь асуудлыг илрүүлэхийн тулд нэг арга нь ажиглагдаж шинж дээр эмчилгээ, хяналтын бүлэг харьцуулах явдал юм. Харьцуулахад энэ төрлийн нэгэн үлдэгдэл шалгах гэж нэрлэдэг. Үзнэ үү Hansen and Bowers (2008) шалгалт тэнцвэржүүлж, мөн уулзах нь статистик арга нь Mutz and Pemantle (2015) тэнцэл шалгалтын тухай асуудал юм. Жишээ нь, тэнцэл ашиглан шалгах Allcott (2011) санамсаргүй байдалтай OPower туршилтын зарим туршилт гурван зөв хэрэгжиж гэсэн үг биш байсан зарим нэг нотолгоо байгаа нь тогтоогдсон (Хүснэгт 2-ыг үз, сайтуудыг 2, 6, 8). Бусад аргуудын хувьд үзнэ үү Imbens and Rubin (2015) , Бүлэг 21.

дотоод үндэслэлийг холбоотой бусад гол асуудал байдаг: 1) нэг талд оржээ бус дагаж мөрдөх, эмчилгээ бүлгийн хүн бүр үнэн хэрэгтээ эмчилгээ авсан, 2) хоёр бус, дагаж мөрдөх, эмчилгээ бүлгийн хүн бүр эмчилгээ, зарим нь хүлээн авсан оржээ хяналтын бүлэг хүмүүст эмчилгээ, 3) бууралтын, үр дүн нь зарим оролцогчдын хэмжиж байх, 4) хөндлөнгийн, эмчилгээ гаруй хүмүүсээс хяналтын нөхцөлд хүмүүст эмчилгээ нөхцөлд шүүрэлт хүлээн авдаг. Үзнэ үү Gerber and Green (2012) Chapters 5, 6, 7, эдгээр асуудлаар тус бүрийн талаар дэлгэрэнгүй 8.

Бүтцийг хүчинтэй байх талаар дэлгэрэнгүй үзнэ үү Westen and Rosenthal (2003) болон том мэдээллийн эх үүсвэр бүтцийг хүчинтэй байх, дээр дэлгэрэнгүй Lazer (2015) бөгөөд энэ нь номын бүлэг 2.

Гадаад хүчин төгөлдөр байх нэг асуудал нь арга туршиж байна тохиргоо юм. Allcott (2015) сайт сонгох хэвийсэн нь болгоомжтой онолын болон эмпирик эмчилгээ болно. Энэ асуудлыг мөн хэлэлцсэн байна Deaton (2010) . Олон газарт нь хувилагдах явдал гадна Нүүр хуудас Эрчим хүчний тайлан оролцоо нь мөн бие даан хэд хэдэн судалгааны бүлэг судалж байна (жишээ нь, Ayres, Raseman, and Shih (2013) ).

• Эмчилгээний үр нөлөөг олон төлөвт (Хэсэг 4.4.2)

Хээрийн туршилт нь эмчилгээний үр нөлөөг нэгэн төрлийн талаар маш сайн тоймыг хувьд нь Бүлэг 12-г үзнэ үү Gerber and Green (2012) . Эрүүл мэндийн туршилтаар эмчилгээний үр нөлөөг нь олон терлийн нь танилцуулах үзнэ үү Kent and Hayward (2007) , Longford (1999) болон Kravitz, Duan, and Braslow (2004) . эмчилгээний үр нөлөөг олон төлөвт ерөнхийдөө өмнөх эмчилгээний шинж чанар дээр суурилсан ялгаатай гол анхаарлаа хандуулдаг. Та дараах эмчилгээний үр дүнд үндэслэн нэгэн төрлийн сонирхож байгаа бол илүү нарийн approachs зэрэг үндсэн ангилал гэх мэт шаардлагатай байна (Frangakis and Rubin 2002) ; харж Page et al. (2015) нь хянаж байна.

Олон судлаачид шугаман регрессийн ашиглан эмчилгээний үр нөлөөг нэгэн төрлийн тооцох боловч шинэ арга жишээ нь, машин суралцах найдаж Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) болон Athey and Imbens (2016a) .

Олон харьцуулалт асуудал болон ". Загас" олон харьцуулахад-ий хаяг асуудлыг хувь нэмрээ оруулах боломжтой статистик арга нь олон янзын байдаг учир үр нөлөө нь нэгэн төрлийн дүгнэлтийн талаар зарим нэг эргэлзэх юм (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "Загас" тухай асуудал нэг арга нь урьдчилан бүртгэл, сэтгэл нь улам бүр түгээмэл болж байна (Nosek and Lakens 2014) , Улс төрийн шинжлэх ухаан (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) болон эдийн засгийн (Olken 2015) .

-Ын судалгаанд Costa and Kahn (2013) туршилтанд өрхийн дөнгөж тал хувь нь хүн ам зүйн мэдээлэл нь холбоотой байж чадсан юм. Энэ шинжилгээ нь дэлгэрэнгүй мэдээлэл болон болзошгүй асуудлууд сонирхсон уншигчид анхны цаасан талаар лавлах хэрэгтэй.

• Механизм (Хэсэг 4.4.3)

Механизм маш чухал байдаг, гэхдээ тэдгээр нь судлах нь маш хэцүү байх нь хаадаг юм. Механизмын тухай эрдэм шинжилгээний нягт сэтгэл медиаторууд судалгаанд холбоотой (гэхдээ үзнэ үү VanderWeele (2009) хоёр санаа хооронд нарийн харьцуулан). Ийм боловсруулсан арга болгон олох механизм статистикийн арга, Baron and Kenny (1986) , маш элбэг байдаг. Харамсалтай нь, энэ нь эдгээр журам нь зарим хүчтэй таамаглал шалтгаална гэдгийг хувирна (Bullock, Green, and Ha 2010) , нэг нь олон тохиолдолд хүлээж байж болох юм гэж олон механизм байдаг бол зовлон (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) болон Imai and Yamamoto (2013) зарим нь сайжруулсан статистикийн аргыг санал болгож байна. Цаашилбал, VanderWeele (2015) чухал үр дүнд, мэдрэмжийн шинжилгээ хийх иж бүрэн арга барил зэрэг хэд хэдэн ном, урт эмчилгээ санал болгож байна.

Тусдаа арга нь шууд механизмыг (жишээ нь, өгөх далайчид витамин C) удирдахыг оролдвол туршилт тал дээр анхаарна. Харамсалтай нь, олон нийгмийн шинжлэх ухааны тохиргоо тэнд ихэвчлэн олон механизм байдаг ба энэ нь бусдыг өөрчлөх ямар нэг өөрчлөлт эмчилгээ боловсруулах хэцүү юм. Зарим арга туршилтаар өөрчлөх механизм хэсэгт тайлбарлагдсан байгаа нь Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) болон Pirlott and MacKinnon (2016) .

Эцэст нь хэлэхэд, механизм нь урт удаан жилийн түүхтэй шинжлэх ухааны философи-д тайлбарласан шиг байна Hedström and Ylikoski (2010) .

• Одоо байгаа орчинд ашиглах нь (Хэсэг 4.5.1.1)

Ялгаварлан гадуурхах хэмжих захидал судалгаа, аудитын судалгаа хэрэглээний талаар илүү үзнэ үү Pager (2007) .

• Өөрийн туршилт барих (Хэсэг 4.5.1.2)

Таны бүтээх туршилт оролцогчдыг сонгон шалгаруулж авах хамгийн түгээмэл арга бол Amazon Механик Turk (MTurk) юм. уламжлалт лабораторийн туршилт цалинтай хүмүүс нь MTurk дуурайж асуудлыг тэд үнэ төлбөргүй олон судлаачдын хийж чадахгүй байсан ажлыг дуусгахын тулд Учир нь аль хэдийн Turkers (MTurk дээр ажилчид) уламжлалт илүү хурдан, хямд мэдээлэл цуглуулах үр дүнд хүний ​​албат туршилт оролцогчид болгон ашиглаж эхэлсэн байна дээр нь оюутны хотхонд лабораторийн туршилтууд (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

MTurk нь ажилд оролцогчдын туршилт хамгийн том хүч логистикийн байдаг: тэд судлаачид хурдан, шаардлагатай бол оролцогчдыг сонгон шалгаруулж авах боломжийг олгодог. лабораторийн туршилт ажиллуулахын тулд долоо хоног болно, хээрийн туршилт хүртэл тохируулахын тулд сар болно, харин MTurk нь ажилд оролцогчдын туршилт хоногийн дотор ажиллуулж болно. Жишээ нь, Berinsky, Huber, and Lenz (2012) 8 минутын туршилтад оролцох нэг өдрийн дотор 400 сэдвүүдийг сонгон шалгаруулж авах боломжтой байв. Цаашилбал, эдгээр оролцогчид (Бүлэг 3 хэлэлцсэн шиг, судалгаа, олон нийтийн хамтын ажиллагаа, түүний дотор 5) бараг ямар ч зорилгоор сонгон авч болно. ажилд Энэ хялбар судлаачид хурдан дараалан холбогдох туршилтын дарааллыг ажиллуулж болно гэсэн үг юм.

өөрийн туршилтанд MTurk авсан оролцогчдыг ажилд өмнө мэдэх дөрвөн чухал зүйл байдаг. Нэгдүгээрт, олон судлаачид Turkers оролцсон туршилт нь тодорхой бус итгэхгүй байна. Энэ эргэлзэх тодорхой биш юм, учир нь энэ нь нотлох баримтыг эсрэг хатуу юм. Гэсэн хэдий ч, Turkers ашиглан судалгааны хэдэн жилийн дараа бид одоо энэ эргэлзэх, ялангуяа чухал биш юм гэж дүгнэж болох юм. Бусад хүн амын болон бусад хүн ам нь үр Turkers нь туршилтын үр дүнг харьцуулан олон судалгаагаар Turkers-ын хүн ам зүйн харьцуулсан маш олон судалгаа байдаг байна. Энэ бүх ажлыг тул, би та энэ тухай бодох хамгийн сайн арга зам Turkers олон оюутан боловч арай илүү олон адил боломжийн ая тухтай жишээ байдаг гэж боддог (Berinsky, Huber, and Lenz 2012) . Тиймээс оюутнууд зарим нь боломжийн хүн амын биш харин бүх туршилтын судалгаа байдаг шиг, Turkers зарим нь боломжийн хүн амын боловч бүх судалгаа биш юм. Та Turkers хамтран ажиллах гэж байгаа бол эдгээр харьцуулсан судалгааны олон уншиж, тэдний ялгааг ойлгоход ач холбогдолтой.

Хоёрдугаарт, судлаачид Turk туршилт дотоод хүчин төгөлдөр нэмэгдүүлэх хамгийн сайн арга боловсруулсан байна, та нар талаар суралцаж, эдгээр хамгийн сайн туршлагыг дагах ёстой (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Жишээ нь, Turkers ашиглан судлаачид анхаарал муутай оролцогчдыг устгах screeners ашиглах нь зүйтэй юм (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (гэхдээ үзнэ үү DJ Hauser and Schwarz (2015b) болон DJ Hauser and Schwarz (2015a) ). Та анхаарал муутай оролцогчид устгаж байгаа бол, дараа нь эмчилгээний ямар нэгэн нөлөө анхаарал муутай оролцогчид танилцуулсан дуу чимээ гарч угааж болно, бодит анхаарал муутай оролцогчдын тоо үлэмж байж болно. Хубер, хамт олны туршилтад (2012) оролцогчдын 30% нь суурь анхаарал screeners чадаагүй. Turkers нийтлэг Өөр нэг асуудал бус, гэнэн оролцогчид байна (Chandler et al. 2015) .

Гуравдугаарт, тоон туршилт зарим бусад хэлбэрээр харьцуулахад, MTurk туршилт масштабаар чадахгүй, Stewart et al. (2015) тухайн үед MTurk зөвхөн 7000 орчим хүн байдаг гэсэн тооцоо гарчээ.

Эцэст нь хэлэхэд та MTurk өөрийн дүрэм, хэм хэмжээ нь олон нийтийн гэдгийг мэдэх хэрэгтэй (Mason and Suri 2012) . Хэрэв та улс та туршилт ажиллуулах гэж байсан соёлын талаар мэдэхийн тулд хичээх болно адил та соёл, Turkers хэм хэмжээг талаар илүү ихийг мэдэхийн тулд хичээх ёстой (Salehi et al. 2015) . Тэгээд та буруу эсвэл ёс зүйгүй ямар нэгэн зүйл хийх юм бол Turkers таны туршилтын талаар ярьж болно гэдгийг мэдэх хэрэгтэй (Gray et al. 2016) .

MTurk нь зэрэг, лабораторийн шиг байгаа эсэх, таны туршилт оролцогчдыг сонгон шалгаруулж авах нь маш тохиромжтой арга юм Huber, Hill, and Lenz (2012) , буюу түүнээс дээш талбайд шиг, зэрэг Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) болон Mao et al. (2016) .

• Өөрийн бүтээгдэхүүн бий болгох (Хэсэг 4.5.1.3)

Та өөрийн бүтээгдэхүүн бий болгох гэж оролдож бодож байгаа бол, би та MovieLens бүлгийн санал болгож зөвлөгөө уншихыг зөвлөж байна Harper and Konstan (2015) . Тэдний туршлагаас гол өгүүлжээ амжилттай төсөл тус бүрийн хувьд маш олон алдаа байдаг юм. Жишээ нь, MovieLens бүлэг зэрэг иж бүрэн алдаа байсан GopherAnswers зэрэг бусад бүтээгдэхүүн эхлүүлсэн (Harper and Konstan 2015) . бүтээгдэхүүн бий болгох оролдож байх зуур чадахгүй судлаач өөр нэг жишээ нь Эдвард Castronova-ын Arden хэмээх онлайн тоглоомыг барих оролдлого юм. Санхүүжилт 250,000 $ хэдий ч төсөл нь үнэ цэнэгүй байсан (Baker 2008) . GopherAnswers болон Arden гэх мэт төслүүд нь харамсалтай MovieLens шиг төсөл илүү их түгээмэл байдаг. Эцэст нь хэлэхэд, би амжилттай давтан туршилтад бүтээгдэхүүн барьсан нь бусад судлаачдын мэддэггүй байсан гэж байхад энд миний шалгуур байдаг: 1) оролцогч, учир нь энэ нь жишээ нь, тэд төлөөгүй байгаа тэдэнд олгодог вэ (-ийн бүтээгдэхүүн ашиглаж, тэд биш юм сайн дурынхан шинжлэх ухааныг туслах), 2) бүтээгдэхүүн нэгээс илүү өвөрмөц туршилт (өөрөөр хэлбэл, биш ч туршилт нь олон өөр өөр оролцогч сан нь удаа) хэрэглэсэн байна. та бусад жишээ нь мэдэж байгаа бол надад мэдэгдэнэ үү.

• Хүчирхэг нь Partner (Хэсэг 4.5.2)

Би технологийн компаниудын байнга хэлэлцэж Пастерийн-ийн квадрат санааг сонссон бөгөөд энэ нь Google-ийн эрдэм шинжилгээний ажлыг зохион байгуулах нь тусалдаг (Spector, Norvig, and Petrov 2012) .

Бонд болон түүний хамтрагчид "судалгаа (2012) мөн тэдгээрийг хүлээн авсан хүмүүсийн найз нөхөд эдгээр эмчилгээний үр нөлөөг илрүүлэх оролддог. Учир нь туршилтын загварын эдгээр үүдэн цэвэрхэн илрүүлэхэд хэцүү байх; сонирхсон уншигчид харах ёстой Bond et al. (2012) нь илүү нарийн хэлэлцүүлэгт. Энэ туршилт санал өгөх дэмжих ажилд улс төрийн шинжлэх ухааны туршилт урт уламжлалын нэг хэсэг юм (Green and Gerber 2015) . Тэд Пастерийн-ийн квадрат байдаг, учир нь эдгээр Эхлэх гарч, санал өгөх туршилт хэсэгт элбэг байдаг. Энэ зан өөрчлөлт, нийгмийн нөлөөллийн талаар илүү ерөнхий онолыг турших сонирхолтой зан байж болох санал хураалт болон санал хураалт нэмэгдүүлэх эрмэлзэлтэй байдаг олон хүмүүс байдаг юм.

Бусад судлаачид улс төрийн нам, төрийн бус байгууллага, бизнесийн зэрэг түнш байгууллагуудтай хамтран хээрийн туршилт ажиллуулах талаар зөвлөгөө өгсөн (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Бусад судалгааны загвар байгууллагуудтай хамтын ажиллагаа хэрхэн нөлөөлж болох талаар зөвлөгөөг санал болгож байна (Green, Calfano, and Aronow 2014; King et al. 2007) . Түншлэл нь ёс зүйн асуултад хүргэдэг (Humphreys 2015; Nickerson and Hyde 2016) .

• Дизайн зөвлөгөө (Хэсэг 4.6)

Хэрэв та өөрийн туршилт ажиллаж байгаа өмнө нь дүн шинжилгээ хийх төлөвлөгөө бий болгох гэж байгаа бол, би та тайлагналын заавар уншиж эхэлж санал болгож байна. Гэргийг удирдамж (туршилтаар нэгдсэн стандарт тайлагнал) анагаах ухаанд боловсруулсан байна (Schulz et al. 2010) , нийгмийн судалгааны хувьд өөрчлөгдсөн (Mayo-Wilson et al. 2013) . Удирдамж нь холбогдох багц туршилтын Улс төрийн шинжлэх ухааны сэтгүүлийн редакторууд боловсруулсан байна (Gerber et al. 2014) (үзнэ үү Mutz and Pemantle (2015) болон Gerber et al. (2015) ). Эцэст нь хэлэхэд, тайлагнах удирдамж сэтгэл боловсруулж байна (Group 2008) , мөн үзнэ үү Simmons, Nelson, and Simonsohn (2011) .

Хэрэв та дүн шинжилгээ хийх төлөвлөгөө бий бол та Учир нь өмнөх бүртгэлийн зарим нь таны үр дүнд бий итгэх итгэлийг нэмэгдүүлэх болно үүнийг урьдчилан бүртгүүлэх авч үзэх хэрэгтэй. Цаашилбал, та хамтран ажиллаж байгаа бол энэ нь үр дүнг хараад дараа шинжилгээ өөрчлөх нь таны хамтрагчийн чадварыг хязгаарлах болно. Урьдчилсан бүртгэл сэтгэл нь улам бүр түгээмэл болж байна (Nosek and Lakens 2014) , Улс төрийн шинжлэх ухаан (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) болон эдийн засгийн (Olken 2015) .

Таны өмнөх шинжилгээ хийх төлөвлөгөө бий боловч та зарим судлаачид бас тооцоолсон эмчилгээний үр нөлөө нарийвчлалыг сайжруулах регрессийг, холбогдох арга хэрэглэдэг гэж мэдэж байх ёстой, энэ хандлагын талаар зарим хэлэлцэгдэж байгаа: Freedman (2008) , Lin (2013) болон Berk et al. (2013) ; үзнэ үү Bloniarz et al. (2016) Дэлгэрэнгүй мэдээллийг.

Онлайн хээрийн туршилт тусгайлан дизайн зөвлөгөө мөн танилцуулсан байна Konstan and Chen (2007) ба Chen and Konstan (2015) .

• Тэг хувьсах зардлын мэдээллийг бий болгох (Хэсэг 4.6.1)

MusicLab туршилт талаар дэлгэрэнгүй үзнэ үү Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , болон Salganik (2007) . Ялагч авч, бүх зах зээл дээр илүү үзнэ үү Frank and Cook (1996) . Дэлгэрэнгүй ерөнхийдөө untangling аз, ур чадвар талаар дэлгэрэнгүй үзнэ үү Mauboussin (2012) , Watts (2012) , болон Frank (2016) .

цэргийн дайчилгаа: судлаачид болгоомжтой ашиглах хэрэгтэй оролцогч төлбөрийг арилгах бас нэг арга байна. Олон онлайн талбар туршилтын оролцогчид нь үндсэндээ туршилт болгон боловсруулж байгаа ч хэзээ ч нөхөн олговор. Энэ хандлагын жишээ Restivo болон ван де Rijt-ын орно (2012) Википедиа болон Бонд, хамтран зүтгэгч,-ын онд урамшууллын дээр туршилт (2012) санал өгөх хүмүүсийг дэмжих талаар туршилт. Эдгээр туршилтууд нь үнэхээр тэг хувьсах зардал байхгүй, тэд судлаачид тэг хувьсах зардал байна. Хэдийгээр эдгээр туршилтууд олон зардал оролцогч тус бүрт нь маш бага, жижиг зардал оролцогчдын асар их тоо хурдан хүртэл нэмж болно ногдуулна. их хэмжээний онлайн туршилт ажиллаж байгаа судлаачид ихэвчлэн олон хүн хэрэглэх үед эдгээр жижиг нөлөө чухал ач холбогдолтой болж чадна гэдгийг хэлж жижиг тооцоолсон эмчилгээний үр нөлөөг ач холбогдлыг тайлбарлах. яг адилхан сэтгэлгээ судлаачид оролцогчдын дээр ногдуулах зардал хамаарна. Таны туршилт нэг минут дэмий нэг сая хүн шалтгаан бол туршилт нь тухайн ямар нэг хүнд маш их хортой биш, харин нийт онд цаг хугацаанд бараг хоёр жил зарцуулсан юм.

Оролцогчдод тэг хувьсах зардлын төлбөрийг бий болгох өөр нэг арга нь сугалаанд мөн судалгаагаар судалгаанд хэрэглэж ирсэн арга замыг ашиглах явдал юм (Halpern et al. 2011) . Эцэст нь хэлэхэд, боловсруулах талаар дэлгэрэнгүй таатай хэрэглэгчийн туршлага үзнэ үү Toomim et al. (2011) .

• , Солих боловсронгуй болон багасгах (Section 4.6.2)

Энд гурван R анхны тодорхойлолт юм Russell and Burch (1959) :

"Солих insentient материал ухамсартай амьдарч буй өндөр амьтдын орлох гэсэн үг юм. Бууруулах нь өгөгдсөн хэмжээ, нарийн мэдээллийг олж авахад ашиглаж малын тоо буурсан гэсэн үг юм. Сайжруулахыг тохиолдол буюу эсвэл тэдгээр амьтад одоо ч гэсэн хэрэглэж байх ёстой хэрэглэж хүнлэг бус журмыг ноцтой ямар ч буурсан гэсэн үг. "

Гурван R-ийн I Бүлэг 6-д заасан ёс зүйн зарчмыг хэрэгсэхгүй болгож байхгүй бол санал Харин тэд хүний ​​туршилтын орчинд эдгээр зарчмуудыг-beneficence-тусгайлан нь илүү дэлгэрэнгүй хувилбар нэг юм.

Сэтгэл санааны хямралыг хэлэлцэхдээ энэ туршилтыг тайлбарлах авахдаа анхаарах гурван бус ёс зүйн асуудал байна. Нэгдүгээрт, энэ нь туршилтын бодит мэдээллийг онолын нэхэмжлэлд холбогдох хэр нь тодорхой бус юм; Өөрөөр хэлбэл, бүтцийг хүчинтэй байх тухай асуулт байдаг. Энэ нь эерэг, сөрөг үгийг тоо хүмүүс дараах үгс нь тэдний сэтгэл хөдлөл нь сайн үзүүлэлт юм гэдгийг 1) тодорхой биш юм, учир нь оролцогчдын сэтгэл санааны байдалд сайн үзүүлэлт нь үнэндээ байгаа нь тодорхой биш, 2) гэсэн нь тодорхой бус байна судлаачид хэрэглэсэн тодорхой үзэл дүн шинжилгээ хийх арга техник нь найдвартай сэтгэл хөдлөлөө хэлж чадах байна (Beasley and Mason 2015; Panger 2016) . Өөрөөр хэлбэл, нэг талыг барьсан дохионы муу арга байж болох юм. Хоёрдугаарт, туршилтын загвар, дүн шинжилгээ хийх нь бидэнд хэн хамгийн их нөлөөлсөн байна (өөрөөр хэлбэл, эмчилгээний үр нөлөөг нэгэн төрлийн ямар ч шинжилгээ байдаг) болон механизм байж болох талаар юу ч хэлж өгдөг. Энэ тохиолдолд, судлаачид оролцсон талаар мэдээлэл маш олон байсан, гэвч тэд үндсэндээ шинжилгээнд багажнуудын гэж үзнэ байна. Гуравдугаарт, энэ туршилтанд нөлөө хэмжээ маш бага байсан эмчилгээ, хяналтын нөхцөл ялгаа 1,000 хэлбэл 1 тухай асуудал юм. Тэдний цаас онд Kramer болон хамт олон сая хүн хэдэн зуун тэдний Мэдээ, өдөр бүр Feed хандаж, учир нь энэ хэмжээ нь үр нөлөө нь чухал ач холбогдолтой хэрэг болгож байна. Өөрөөр хэлбэл, тэд ч үр нөлөөг нь дүүргэгчийн том нь хүн бүрийн хувьд бага байдаг маргадаг. Хэрэв та энэ аргументыг хүлээн авч байсан ч, энэ нь одоо ч тодорхой биш энэ хэмжээ нь үр нөлөө нь сэтгэл санааны халдвар тараах талаар дэлгэрэнгүй ерөнхий шинжлэх ухааны асуулт холбоотой чухал юм уу юм. Нөхцөл байдал бага нөлөө чухал байдаг талаар дэлгэрэнгүй үзнэ үү Prentice and Miller (1992) .

Эхний R (солих), хувьд сэтгэл зүйн Contagion туршилт харьцуулах (Kramer, Guillory, and Hancock 2014) болон сэтгэл санааны халдвар байгалийн туршилт (Coviello et al. 2014) шилжих нь оролцсон нь борлуулах талаар зарим нэг ерөнхий хичээл санал болгож байна байгалийн туршилт туршилт (болон төрийн бус туршилтын өгөгдөлд туршилт ойролцоогоор гэж оролдлого тохирох гэх мэт өөр бусад арга Бүлэг 2-ийг үзнэ үү). ёс зүйн тэтгэмж гадна, төрийн бус туршилтын судалгаа туршилтын шилжих нь тэд тээвэр ложистикийн босгох боломжгүй байна эмчилгээг судлах судлаачид олгодог. Эдгээр нь ёс зүй, зохион ашиг Гэхдээ өртөг нь ирдэг. Байгалийн туршилт нь судлаачид оролцсон, нь санамсаргүй нь ажилд авах гэх мэт зүйлсийг хяналт бага, эмчилгээний шинж чанар байдаг. Жишээ нь, эмчилгээ зэрэг хур тунадас нэг хязгаарлалт нь аль алинд нь эерэг нэмэгдүүлж, сөрөг зүйлсийг бууруулж байгаа юм. туршилтын судалгаанд Гэхдээ Kramer болон хамт олон бие даан эерэг болон сөрөг зүйлсийг тохируулах боломжтой юм.

Ашиглаж байгаа тодорхой арга Coviello et al. (2014) цаашид боловсруулсан байна Coviello, Fowler, and Franceschetti (2014) . Багажийн хувьсагчуудын талаар танилцуулах нь харж Angrist and Pischke (2009) (бага албан ёсны), эсвэл Angrist, Imbens, and Rubin (1996) (илүү албан ёсны). Багажийн хувьсагчдыг дор эргэлзэж үнэлгээ үзнэ үү Deaton (2010) , сул дорой зэмсэг (бороо сул арга хэрэгсэл юм) нь багажийн хувьсагчуудын талаар танилцуулах нь харж Murray (2006) .

Ер нь, байгалийн туршилт нь тийм ч сайн танилцуулга бөгөөд Dunning (2012) , болон Rosenbaum (2002) , Rosenbaum (2009) болон Shadish, Cook, and Campbell (2001) туршилт ямар учир шалтгааны үр нөлөөг тооцох талаар сайн санаа санал болгож байна.

Хоёр дахь R (Сайжруулахыг) хувьд, шинжлэх ухаан, зохион худалдааны тохиролцоо бичлэгүүдийг нэмэгдүүлэх нь бичлэгүүдийг хаах нь сэтгэл санааны хямралыг загварыг өөрчлөх авч байна. Жишээ нь, Мэдээ тэжээл, техникийн шийдэл нь бичлэгүүдийг нэмэгдүүлэх нь туршилтын илүү бичлэгүүдийг хаах нь туршилт хийх нь нэлээд хялбар болгодог тохиолдол байж болно (бичлэгүүдийг хаах бүхий туршилт дээр нь давхарга болон хэрэгжүүлж болно гэдгийг анхаарна үндсэн системийн өөрчлөлт) нь ямар ч шаардлагагүйгээр News Feed системийн дээд. Шинжлэх ухааны Гэхдээ туршилтаар шийдвэрлэх онол нь тодорхой бусад нь нэг загварыг санал болгож байна.

Харамсалтай нь, би хаах болон News Feed агуулгыг нэмэгдүүлэх харьцангуй давуу талаар ихээхэн өмнө судалгааны мэдэх биш. Мөн би тэднийг бага хортой хийх эмчилгээг боловсронгуй болгох талаар их судалгаа харж байгаагүй байх; нэг нь мөн адил Jones and Feamster (2015) , интернэт хяналт хэмжилтийн хэрэг гэж үздэг (нэг сэдэв Би Encore судалгаагаар харилцаанд 6-р бүлэгт хэлэлцэх (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Гурав дахь R (бууруулах) хувьд, уламжлалт эрчим хүчний дүн шинжилгээ хийх нь тийм ч сайн танилцуулга бөгөөд Cohen (1988) . Өмнөх эмчилгээ covariates дизайн үе болон туршилтын шинжилгээ шатанд орсон болно; 4-р бүлэгт Gerber and Green (2012) аль аль нь арга нь тийм ч сайн танилцуулга заасан бөгөөд Casella (2008) илүү гүнзгий эмчилгээ болно. нь санамсаргүй энэ урьдчилан цэвэрлэх мэдээллийг ашиглах арга техник нь ерөнхийдөө аль туршилтын загвар болон давхаргаар туршилтын загвар (нэр томъёо орон нутгийн хэмжээнд тогтмол хэрэглэж байна) хаасан гэж нэрлэдэг байна; Эдгээр техник гүнзгий Бүлэг 3. үзнэ үү хэлэлцсэн давхаргаас дээж авах арга техник холбоотой Higgins, Sävje, and Sekhon (2016) их хэмжээний туршилт эдгээр загварыг ашиглах тухай илүү дэлгэрэнгүй байна. Өмнөх эмчилгээ covariates нь дүн шинжилгээ хийх шатанд орсон байж болно. McKenzie (2012) илүү дэлгэрэнгүй хээрийн туршилт шинжилгээ хийх нь ялгаа-д ялгаатай хандлагыг судлах. Үзнэ үү Carneiro, Lee, and Wilhelm (2016) эмчилгээний үр нөлөөг тооцооллын нарийвчлал нэмэгдүүлэх өөр өөр арга барилыг хооронд нь борлуулах талаар илүү байна. Эцэст нь хэлэхэд, зураг төсөл болон дүн шинжилгээ хийх үе (эсвэл аль аль нь) урьдчилан цэвэрлэх covariates оруулах оролдох эсэхийг шийдэх үед тэнд авч үзэх хэд хэдэн хүчин зүйл байдаг. Судлаачид тэд "загас" биш гэдгийг харуулахыг хүссэн нь орчинд (Humphreys, Sierra, and Windt 2013) , зураг төсөл шатанд урьдчилан цэвэрлэх covariates ашиглан тустай байж болох юм (Higgins, Sävje, and Sekhon 2016) . Оролцогчид дараалуулан ирж, ялангуяа онлайн хээрийн туршилт, зохион бүтээх үе шатанд урьдчилан цэвэрлэх мэдээллийг ашиглан тээвэр ложистикийн хэцүү байж болох тохиолдолд, жишээ нь үзнэ үү Xie and Aurisset (2016) .

Энэ нь яагаад ялгаа,-ялгаатай зөрүүгээр-д арга хэрэгсэл илүү их илүү үр дүнтэй байж болох тухай зөн совингоо нь жаахан нэмж үнэ цэнэтэй юм. Олон онлайн үр дүн нь маш өндөр хүлцэлтэй байна (үзнэ үү жишээ нь, Lewis and Rao (2015) болон Lamb et al. (2015) ) болон цаг хугацааны харьцангуй тогтвортой байна. Энэ тохиолдолд, өөрчлөлт оноо статистикийн туршилтын хүчийг нэмэгдүүлэх, ихээхэн бага хүлцэлтэй байна. Энэ дөхөж илүү их хэрэглэж байгаа бол нэг шалтгаан нь дижитал насны өмнө нь өмнөх эмчилгээний үр дүнг байх нь нийтлэг биш байсан байгаа юм. Энэ тухай бодох нь илүү тодорхой арга зам нь тодорхой дасгал тогтмол турах шалтгаан байгаа эсэхийг хэмжих туршилт төсөөлөх явдал юм. Хэрэв та ялгаа-д арга хандлагыг хийх бол, таны тооцоогоор хүн амын жин хувьсах ирдэг хувьсах байх болно. Хэрэв та ялгаа-д зөрүү хандлагыг хийх бол, хэдий ч, жин гэдгийг аяндаа үүсэх хэлбэлзэл арилгаж өгнө, та илүү хялбар эмчилгээний улмаас өөрчлөлт илрүүлж болно.

Таны туршилтанд оролцогчдын тоог бууруулах нэг чухал арга нь эрчим хүчний шинжилгээ, Kramer болон хамт олон байгалийн туршилт нь ажиглагдсан нөлөө хэмжээ дээр үндэслэн хийж болох байсан явуулах юм Coviello et al. (2014) болон Kramer аас бус туршилтын судалгаа өмнө нь (2012) (үнэн хэрэгтээ эдгээр энэ бүлгийн төгсгөлд үйл ажиллагаа). эрчим хүчний шинжилгээ энэ хэрэглээ нь ердийн арай өөр гэдгийг сануулж байна. (Өөрөөр хэлбэл, дор хүчирхэг) аналог нас, судлаачид ерөнхийдөө тэдний судалгаа нь хэтэрхий бага биш байсан гэдэгт итгэлтэй болгохын тулд эрчим хүчний дүн шинжилгээ хийв. (Өөрөөр хэлбэл, дээр хүчтэй) Одоо ч судлаачид эрчим хүч дүн шинжилгээ хийх нь тэдний судалгаа нь хэтэрхий том биш гэдгийг итгэлтэй болгохын тулд юу хийх ёстой.

Repurpose: Эцэст нь хэлэхэд, би нэмж дөрөв дэх R гэж үздэг. Энэ нь тэдний анхны судалгааны асуултыг шийдвэрлэх шаардлагатай илүү судлаачид илүү туршилтын өгөгдөл нь өөрсдийгөө олж чадвал тэд шинэ асуулт асуух мэдээллийг repurpose байх ёстой юм. Жишээ нь, Kramer болон хамт олон нь тэдний судалгааны асуултыг шийдвэрлэх шаардлагатай илүү мэдээлэл бүхий ялгаа-д ялгаатай estimator өөрсдийгөө ашиглаж, олсон гэж төсөөлдөг. Харин бүрэн дүүрэн хэмжээнд мэдээллийг ашиглан биш ч, тэдгээр нь урьдчилан цэвэрлэх сэтгэл санааны илэрхийлэх нь үйл ажиллагаа гэх мэт хүчин төгөлдөр хэмжээг судалж байж болох юм. Зүгээр л гэж Schultz et al. (2007) эмчилгээний үр нөлөө нь магадгүй Мэдээ тэжээлийн нөлөө нэгэнт аз жаргалтай (эсвэл гунигтай) зурвас илгээж хандлагатай хүмүүсийн хувьд өөр өөр байсан, хөнгөн, хүнд хэрэглэгчдийн хувьд өөр өөр байсан гэдгийг тогтоожээ. Repurposing "загас" хүргэж болох юм (Humphreys, Sierra, and Windt 2013) болон "х-хакердах" (Simmons, Nelson, and Simonsohn 2011) , харин эдгээр нь ихэвчлэн шударга мэдээлэх нь хослуулан хандаж болох (Simmons, Nelson, and Simonsohn 2011) , урьдчилан бүртгэл (Humphreys, Sierra, and Windt 2013) , ба түүнээс дээш тохируулагчийг зайлсхийх оролдлого машин сургалтын арга.