Дараагийн хэсгийг унш

• Танилцуулга (хэсэг 4.1)

Нийгмийн судалгааны учир шалтгааны талаархи асуултууд нь ихэвчлэн төвөгтэй, нарийн төвөгтэй байдаг. Үр дагаврын график дээр суурилсан учир шалтгааны үндэслэлд үндэслэн Pearl (2009) , боломжит үр дагаварт тулгуурласан суурь хандлагыг олж харна уу Imbens and Rubin (2015) . Эдгээр хоёр аргыг харьцуулахын тулд Morgan and Winship (2014) үзнэ үү. VanderWeele and Shpitser (2013) тодорхойлох албан ёсны арга барилын хувьд VanderWeele and Shpitser (2013) үзнэ үү.

Энэ бүлэгт туршилтын болон туршилтын бус өгөгдлүүдээс шалтгаалдаг тооцоо хийх чадамж хоёрын хоорондох тод шугам шиг санагдсан. Гэсэн хэдий ч бодит байдал дээр ялгаа илүү бүдгэрч байна гэж би боддог. Жишээ нь тамхи татдаг хүмүүст тамхи татахыг оролдсон санамсаргїй хяналттай туршилт хийгдээгїй ч тамхи татдаг. Туршилтын бус өгөгдлөөс шалтгаалан учир шалтгааны тооцоо хийх номны урт эмчилгээний хувьд Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , Dunning (2012) .

Freedman, Pisani, and Purves (2007) 1 ба 2-р бүлгүүд туршилтууд, хяналттай туршилтууд, санамсаргүй түүвэрлэсэн туршилтуудын хоорондох ялгааг Freedman, Pisani, and Purves (2007) .

Manzi (2012) нь санамсаргүй хяналттай туршилтын философи болон статистикийн үндэслэлийг гайхалтай, уншиж танилцуулсан. Энэ нь бизнесийн туршилт хийх хүчийг бодит жишээгээр үзүүлдэг. Issenberg (2012) улс төрийн кампанит ажилд туршилтын туршилт хийх гайхалтай танилцуулгыг өгдөг.

• Туршилт гэж юу вэ? (хэсэг 4.2)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, Athey and Imbens (2016b) нь туршилтын дизайн, дүн шинжилгээний статистик талуудыг сайн танилцуулах боломжийг олгодог. Эдийн засаг: Цаашилбал, олон салбарт туршилт ашиглах маш сайн эмчилгээ байдаг (Bardsley et al. 2009) , социологи (Willer and Walker 2007; Jackson and Cox 2013) , сэтгэл зүйн (Aronson et al. 1989) , улс төрийн шинжлэх ухаан (Morton and Williams 2010) , нийгмийн бодлого (Glennerster and Takavarasha 2013) .

Туршилтын судалгаанд оролцогчийн ажилд авах нь (жишээлбэл, түүвэрлэлт) чухал ач холбогдолтой байдаг. Гэсэн хэдий ч, эмчилгээний үр нөлөө хүн амын дунд олон янз байдаг бол дээж авах нь маш чухал юм. Longford (1999) энэ судалгааг эрдэмтэд судлаачдад зориулж дадлагагүй түүвэр судалгаа хийсэн гэж үздэг.

• Туршилтын хоёр хэмжигдэхүүн: лаб-талбар ба аналог-тоон (4.3-р хэсэг)

Лаборатори, хээрийн туршилтуудын хооронд тасралтгүй үргэлжлэх зүйл байгаа бөгөөд бусад судлаачид талбайн олон янзын туршилтуудыг тус тусад нь авч үзэхийг санал болгосон байна (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

Зарим баримт бичгүүд нь хийсвэрээр лаборатори болон талбайн туршилтуудыг харьцуулж үзсэн (Falk and Heckman 2009; Cialdini 2009) ба улс төр судлал (Coppock and Green 2015) , эдийн засгийн тодорхой туршилтуудын үр дүнгийн хувьд (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , сэтгэл зүй (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) нь лаборатори ба талбарын туршилтаас үр дүнг харьцуулах судалгааны сайн загварыг санал болгодог. Parigi, Santana, and Cook (2017) нь лабораторийн талбайн туршилтуудын зарим шинж чанаруудыг хэрхэн яаж хослуулах талаар тайлбарласан байдаг.

Оролцогсдын зан авирыг єєрчлєх нь анхаарал татаж байгаа учраас тэд заримдаа эрэл (Zizzo 2010) нєлєє гэж нэрлэдэг ба сэтгэл судлал (Orne 1962) , эдийн засагт (Zizzo 2010) судлагдсан байдаг. Хэдийгээр лабораторийн туршилттай холбоотой боловч эдгээр асуудлууд хээрийн туршилт хийхэд хүндрэл учруулж болзошгүй юм. Үнэн хэрэгтээ, нөлөөний нөлөөг заримдаа " Hawthorne " хэмээх нөлөөлөл гэж нэрлэдэг бөгөөд энэ нь 1924 онд Баруун бүсийн Цахилгаан Hawthorne Works (Adair 1984; Levitt and List 2011) эхэлсэн гэрэлтүүлгийн алдартай туршилтууд юм. Эрэлт хэрэгцээ хоёулаа хоѐрдугаар бүлэгт дурдсан реактив хэмжилтийн үзэл санаатай нягт холбоотой байдаг ( Webb et al. (1966) -ийг үз).

Талбайн туршилтууд нь эдийн засгийн урт хугацааны түүхтэй (Levitt and List 2009) , улс төрийн шинжлэх ухаан (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , сэтгэл судлал (Shadish 2002) , төрийн бодлого (Shadish and Cook 2009) . Шинжлэх ухаан, технологийн нэг хэсэг нь хээрийн туршилтыг түргэсгэх нь олон улсын хөгжилд ихээхэн нэрмээс болж байна. Banerjee and Duflo (2009) эдийн засагт хийгдсэн ажлуудыг эерэгээр үнэлэхийн тулд, Deaton (2010) үзнэ үү. Энэ ажлыг улс төрийн шинжлэх ухаанд дүн шинжилгээ хийхийн тулд Humphreys and Weinstein (2009) . Эцэст нь, талбайн туршилтаас үүсэх ёс зүйн сорилтыг улс төрийн шинжлэх ухаанд (Humphreys 2015; Desposato 2016b) болон хөгжлийн эдийн засаг (Baele 2013) .

Энэ хэсэгт эмчилгээний өмнөх мэдээллийг эмчилгээний үр нөлөөг нарийвчлан сайжруулахад ашиглаж болох боловч энэ аргын талаар зарим маргаан гарч байна. Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , мөн Bloniarz et al. (2016) дэлгэрэнгүй мэдээллийг авна уу.

Эцэст нь, лабораторийн талбайн хэмжигдэхүүнтэй нийцэхгүй нийгмийн шинжлэх ухааны судлаачдын гүйцэтгэдэг өөр хоёр туршилт байдаг: судалгаа шинжилгээний болон нийгмийн туршилт. Судалгааны туршилтууд нь одоо байгаа судалгаануудын дэд бүтцийг ашиглан туршилтуудыг хийж байгаа бөгөөд ижил асуултын хувилбаруудын хувилбаруудыг харьцуулах (зарим судалгааг 3-р бүлэгт үзүүлэв); Судалгааны туршилтуудын талаар илүү мэдээлэл авахыг хүсвэл Mutz (2011) үзнэ үү. Нийгмийн туршилтууд нь эмчилгээ нь зөвхөн засгийн газраас хэрэгжүүлж болох нийгмийн бодлогын зарим нэг туршилт юм. Нийгмийн туршилтууд нь хөтөлбөрийн үнэлгээнд хамаатай. Бодлогын туршилтуудын талаар дэлгэрэнгүй мэдээллийг Heckman and Smith (1995) , Orr (1998) , @ glennerster_running_2013-с үзнэ үү.

• Энгийн туршилтаас хэтэрсэн (4.4-р хэсэг)

Би гурван ухагдахуун дээр анхаарал төвлөрүүлэхийг сонгосон. Үүнд: хүчин төгөлдөр байдал, эмчилгээний үр дагавар, эмчилгээний үр дагавар, механизмууд. Эдгээр ойлголтууд өөр өөр салбарт өөр өөр нэртэй байдаг. Жишээ нь, сэтгэл судлаачид энгийн туршилтаас илүү зуучлагч , зохицуулагчид дээр анхаарлаа төвлөрүүлдэг (Baron and Kenny 1986) . Зуучлагчдын санаа нь миний механизм гэж нэрлэгддэг, зохицуулагчийн санаа нь гадаад хүчин зүйл гэж нэрлэдэг (жишээлбэл, өөр өөр нөхцөл байдалд ажиллаж байсан бол туршилтын үр дүн нь ялгаатай байх болно) болон эмчилгээний үр дагавар нь олон янз байдаг Жишээ нь зарим хүмүүсийн хувьд бусдынхаас илүү их нөлөө үзүүлдэг).

Schultz et al. (2007) үр дүнтэй үйл ажиллагааг төлөвлөхөд нийгмийн онолыг хэрхэн ашиглаж болохыг харуулж байна. Үр дүнтэй үйл ажиллагааг төлөвлөхөд онолын үүрэг рольтой холбоотой илүү ерөнхий нотолгооны талаар Walton (2014) үзнэ үү.

• Хүчин төгөлдөр байдал (хэсэг 4.4.1)

Дотоод болон гадаад хүчин төгөлдөр байдлын ойлголтуудыг Campbell (1957) анх танилцуулсан. Shadish, Cook, and Campbell (2001) үзнэ үү. Статистик дүгнэлт хүчин төгөлдөр байдал, дотоод хүчин төгөлдөр байдал, хүчин төгөлдөр байдал, хүчин төгөлдөр байдал, гаднах хүчин төгөлдөр байдлыг нягт нямбай боловсруулсан.

Туршилтад хүчинтэй байгаа статистик дүгнэлттэй холбоотой асуудлуудын тоймд Gerber and Green (2012) (нийгмийн ухааны үүднээс) болон Imbens and Rubin (2015) статистикийн талаас Imbens and Rubin (2015) . Онлайн талбарт туршилт хийх тусгайлсан статистик дүгнэлтийн зарим асуудал нь хамааралтай өгөгдөлтэй итгэх интервалыг бий болгох тооцоолох үр ашигтай аргуудтай холбоотой асуудлууд юм (Bakshy and Eckles 2013) .

Дотоод хүчин чадал нь талбайн туршилт хийхэд хүндрэлтэй байж болно. Жишээ нь, Gerber and Green (2000) , Imai (2005) , Gerber and Green (2005) нарыг санал асуулгын талаархи нарийн төвөгтэй туршилтын төслийг хэрэгжүүлэх талаар хэлэлцэх болно. Kohavi et al. (2012) , Kohavi et al. (2013) интернетийн талбарт интервалыг хүчинтэй байлгахад тулгарч буй сорилтуудыг танилцуулав.

Дотоод хүчин төгөлдөр байх нэг томоохон аюул занал бол санамсаргүй алдаа гарах магадлал юм. Санамсаргүй байдлаас гарах асуудлыг илрүүлэх нэг боломжит арга бол эмчилгээ, хяналтын бүлгийг ажиглагдах шинж чанаруудтай харьцуулах явдал юм. Энэ төрлийн харьцуулалтыг тэнцвэрийн шалгалт гэж нэрлэдэг. Hansen and Bowers (2008) харгалзан тэнцвэрийн шалгалтад тэнцвэртэй байдлыг шалгах статистикийн арга Mutz and Pemantle (2015) -ийг үзнэ үү. Жишээлбэл, тэнцвэрийн шалгалтыг ашиглан Allcott (2011) нь таамаглалын туршилтыг 3 удаа хийсэн (2-р хүснэгт, 2, 6 ба 8-р сайтуудыг үз). Бусад аргын хувьд Imbens and Rubin (2015) 21-р бүлгийг үзнэ үү.

Дотоод хүчин зүйлтэй холбоотой бусад гол асуудлууд: (1) нэг талдаа зөрчил гаргасан, эмчилгээний бүлгийн хүн бүр эмчилгээ хийлгээгүй, (2) хоёр талд зөрчил гаргасан, эмчилгээний бүлгийн хүн бүр эмчилгээг хүлээн авдаггүй, хяналтын бүлэг эмчилгээ хийлгэх, (3) эмчилгээ, үр дүнг зарим оролцогчдод хэмжихгүй байх, (4) хяналтын нөхцөлд байгаа хүмүүст эмчилгээ үйлчилгээ үзүүлэх нөхцлөөр хүмүүсийг асгарах үед хөндлөнгөөс оролцдог. Gerber and Green (2012) бүлгүүдийн 5, 6, 7, 8 бүлгийг үзнэ үү.

Хүчин төгөлдөр болохын тулд илүү ихийг олж авахын тулд Westen and Rosenthal (2003) үзнэ үү. Том мэдээллийн эх сурвалжийг Lazer (2015) ба энэ бүлгийн 2-р бүлэгт баталгаажуулахын тулд илүү ихийг хийх хэрэгтэй.

Гаднын хүчин төгөлдөр байдлын нэг тал бол хөндлөнгийн оролцоог шалгах нөхцөл байдал юм. Allcott (2015) сайтыг сонгон шалгаруулах алдаа онолын болон эмпирик эмчилгээг сайтар хийдэг. Энэ асуудлыг Deaton (2010) хэлэлцэх болно. Гаднын хүчин төгөлдөр байдлын өөр нэг тал нь ижил үйл ажиллагааны өөрчилсөн үйл ажиллагаа ижил төстэй үр дагавартай байх эсэх асуудал юм. Энэ тохиолдолд Schultz et al. (2007) , Allcott (2011) нь Schultz болон түүний хамтрагчид (1.7% versus 5%) анхны туршилтын туршилтуудаас бага хэмжээний тооцоолсон эмчилгээний үр дүнг үзүүлсэн байна. Allcott (2011) нь эмчилгээний үр дүн нь ялгаатай байсан тул эмчилгээний ялгаатай байдлаас болж бага нөлөөтэй гэж таамаглажээ. Үүнд: гараар бичсэн эмзэг хэсэг нь их сургуулиас ивээн тэтгэсэн судалгаа юм. Эрчим хүчний компанийн тайлан.

• Эмчилгээний үр дүнгийн гетероген (4.4.2-р хэсэг)

Хээрийн туршилтуудад эмчилгээний үр нөлөөг харуулахгүйн тулд Gerber and Green (2012) 12-р бүлгийг үзнэ үү. Анагаах ухааны туршилтад эмчилгээний үр нөлөөг харуулах зорилгоор Kent and Hayward (2007) , Longford (1999) , Kravitz, Duan, and Braslow (2004) . Эмчилгээний үр дүнгийн олон янз байдал нь ерөнхийдөө эмчилгээний өмнөх шинж чанарт үндэслэн ялгаатай байдаг. Хэрэв та эмчилгээний дараахь үр дүнд үндэслэсэн олон янзын бус шинж (Frangakis and Rubin 2002) байгаа бол гол ангилал болох (Frangakis and Rubin 2002) гэх мэт илүү төвөгтэй аргууд хэрэгтэй болно. Page et al. (2015) г үзнэ үү Page et al. (2015) .

Олон тооны судлаачид эмчилгээний үр нөлөөний олон янз байдалыг шугаман регресс ашиглан тооцоолж байгаа боловч шинэ аргууд нь машин сурахад тулгуурладаг. Жишээ нь: Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , Athey and Imbens (2016a) .

Олон төрлийн харьцуулалт (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) олон янз байдлын харьцуулалт хийхэд туслах янз бүрийн статистик аргууд байдаг (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "Загасчлах" талаар санаа зовох нэг арга бол сэтгэлзүйд (Nosek and Lakens 2014) , улс төр судлал (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , эдийн засаг (Olken 2015) .

Costa and Kahn (2013) нарын хийсэн судалгаагаар судалгаанд хамрагдсан өрхүүдийн тэн хагас нь зөвхөн хүн ам зүйн мэдээлэлтэй холбоотой байж болох юм. Эдгээр мэдээллийг сонирхсон уншигч эх бичвэрт хандах хэрэгтэй.

• Механизм (хэсэг 4.4.3)

Механизм нь маш чухал боловч суралцахад маш хэцүү байдаг. VanderWeele (2009) механизмын талаархи судалгаа нь сэтгэл судлалын зуучлагчдын судалгаатай нягт холбоотой (гэхдээ энэ нь хоёр санаа хоёрын хоорондын харьцуулалтыг харьцуулахын тулд VanderWeele (2009) үзнэ үү). Baron and Kenny (1986) нарын боловсруулсан арга барилыг олоход статистик арга барил түгээмэл байдаг. Харамсалтай нь, эдгээр процедур нь зарим таамаглалуудаас хамаардаг (Bullock, Green, and Ha 2010) , олон янзын механизмууд байгаа үед зовж шаналж байдаг (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) , Imai and Yamamoto (2013) статистикийн сайжруулсан аргуудыг санал болгодог. Цаашилбал, VanderWeele (2015) нь эмзэг байдлын дүн шинжилгээ хийх цогц аргуудыг оролцуулан хэд хэдэн чухал үр дүнтэй номны урт эмчилгээг санал болгодог.

Тусдаа арга нь шууд механизмуудыг удирдахыг оролддог туршилтууд дээр төвлөрдөг (жишээлбэл далайчид витамин С). Харамсалтай нь, нийгмийн шинжлэх ухааны олон нөхцөлд ихэнхдээ олон механизм байдаг бөгөөд бусдыг өөрчлөхгүйгээр нэгийг нь өөрчлөх эмчилгээг төлөвлөхөд хэцүү байдаг. Туршилтын механизмыг өөрчлөх Ludwig, Kling, and Mullainathan (2011) зарим аргыг Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , Pirlott and MacKinnon (2016) байдаг.

Судлаачид бүрэн факториал туршилтыг олон таамаглалыг туршиж үзэх хэрэгтэй болно; Fink, McConnell, and Vollmer (2014) , List, Shaikh, and Xu (2016) -ийг үзнэ үү.

Эцэст нь хэлэхэд, механизм нь Hedström and Ylikoski (2010) нарын тайлбарласан шинжлэх ухааны философид урт удаан түүхтэй байдаг.

• Одоо байгаа орчныг ашиглах (4.5.1-р хэсэг)

Ялгаварлан гадуурхлыг хэмжихийн тулд захидал харилцааны судалгаа, аудитын судалгааг ашиглах талаар илүү ихийг Pager (2007) үзнэ үү.

• Өөрийн туршилтыг (4.5.2 хэсгийг) бий болгох

Оролцогчдыг элсүүлэх хамгийн түгээмэл арга бол Амазоны Механик Түрэг (MTurk) юм. MTurk нь уламжлалт лабораторийн туршилтыг өөрчилдөг учраас чөлөөт хүмүүсийг хайж олохгүй ажлуудыг гүйцэтгэх хүмүүсийг Туркерс (MTurk дээр ажилчдаар) ашиглаж эхэлдэг тул илүү үр дүнтэй, өгөгдөл цуглуулахаас хурдан (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Ерөнхийдөө, MTurk-аас элсүүлсэн оролцогчдын хамгийн их давуу талууд нь логистик юм. Лаборатори туршилт хийхэд хэдэн долоо хоног шаардагдах ба туршилт хийх талбайнууд хэдэн сар зарцуулагдах бол MTurk-аас оролцсон хүмүүстэй туршилт хийх боломжтой байдаг. Жишээ нь, Berinsky, Huber, and Lenz (2012) нь 8 минутын туршилтанд оролцохын тулд нэг өдөрт 400 субьектийг авах боломжтой байсан. Цаашилбал, эдгээр хүмүүс бараг бүх зорилгоор (судалгаа, олон нийтийн хамтын ажиллагааг оролцуулаад 3, 5-р бүлэгт авч үзсэнчлэн) ажилд авах боломжтой. Ажилд авахад хялбар болгох нь судлаачид хурдтай залгамжлахтай холбоотой туршилтуудын дарааллыг ажиллуулах боломжтой гэсэн үг юм.

Магадгүй та өөрийн туршилтанд зориулж MTurk-ийн оролцогчдыг элсүүлэхийн өмнө таних хэрэгтэй дөрвөн чухал зүйл байдаг. Нэгдүгээрт, олон судлаачид Туркерүүдийн оролцоотой туршилтыг үл тэвчих шинжтэй байдаг. Энэ эргэлзээ нь тодорхой бус учир нотлох баримтыг даван туулах нь хэцүү байдаг. Гэсэн хэдий ч Туркерүүдтэй хэдэн жилийн турш судалгаа явуулсны дараа энэ эргэлзээг онцгой үндэслэлгүй гэж дүгнэж болно. Туркерүүдийн хүн ам зүйн үзүүлэлтийг бусад популяцитай харьцуулсан олон судалгаанууд хийгдэж, олон тооны судалгаагаар Туркерстэй хийсэн туршилтуудын үр дүнг бусад популяцитай харьцуулсан олон судалгаагаар тогтоогдсон. Энэ бүхний ачаар Туркерс бол оюутнуудтай харьцуулахад туйлын ая тухтай жишээ бөгөөд (Berinsky, Huber, and Lenz 2012) . Тиймээс оюутнууд зарим судлаачид хүн амын хувьд боломжийн хүн амтай адилаар, гэхдээ бүх судалгаа биш, Туркерс бол зарим судлаачдын хувьд хангалттай хүн ам юм. Хэрвээ та Туркерсүүдтэй хамтарч ажиллах бол эдгээр харьцуулсан судалгаануудаас уншиж, тэдгээрийн ялгааг ойлгох нь чухал юм.

Хоёрдугаарт, судлаачид MTurk туршилтуудын дотоод хүчин төгөлдөр байдлыг дээшлүүлэх шилдэг туршлагыг боловсруулсан бөгөөд эдгээр шилдэг туршлагуудын талаар (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Жишээлбэл, Туркеруудийг ашигладаг судлаачид идэвхигүй оролцогчид (Berinsky, Margolis, and Sances 2014, 2016) (мөн DJ Hauser and Schwarz (2015b) болон DJ Hauser and Schwarz (2015a) -ийг мөн үзнэ үү. Хэрэв та анхаарал болгоомжгүй оролцогчийг арилгахгүй бол эмчилгээний аливаа үр нөлөөг нэвтрүүлж буй дуу чимээнээс угааж болох бөгөөд практикт анхааралгүй хандах хүмүүсийн тоо ихээхэн байж болно. Huber болон хамтран ажиллагчид (2012) туршилтанд оролцогсдын 30 орчим хувь нь үндсэн анхаарал шалгагчгүй болсон. Туркерсийн хэрэглэдэг үед тохиолддог бусад асуудал бол гэнэн биш хүмүүс (Chandler et al. 2015) (Zhou and Fishbach 2016) .

Гуравдугаарт, дижитал туршилтуудын бусад хэлбэрүүдтэй харьцуулахад MTurk туршилтууд нь хэмжиж чадахгүй; Stewart et al. (2015) MTURk-д ойролцоогоор 7000 хүн байдаг гэж тооцоолж байна.

Эцэст нь хэлэхэд, MTurk бол өөрийн дүрэм, хэм хэмжээний хамт олон юм (Mason and Suri 2012) . Туршилтаа явуулж буй улс орны соёлын талаар олж мэдэхийг оролдохын адил та нар Туркерсийн соёл, заншлын талаар илүү ихийг олж мэдэхийг хичээх хэрэгтэй (Salehi et al. 2015) . Туркерүүд та нар ямар нэгэн зүй зохисгүй эсвэл ёс зүйгүй зүйлийг хийвэл туршилтын талаар ярих болно гэдгийг мэдэж байх хэрэгтэй (Gray et al. 2016) .

MTurk нь таны туршилтанд оролцогчдыг элсүүлэх хамгийн тохиромжтой арга юм. Huber, Hill, and Lenz (2012) , Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , Mao et al. (2016) .

• Өөрийн бүтээгдэхүүнийг бүтээх (хэсэг 4.5.3)

Хэрэв та өөрийнхөө бүтээгдэхүүнийг бүтээхийг оролдож байгаа бол Harper and Konstan (2015) киноны MovieLens бүлгээс санал болгосон зөвлөгөөг уншаарай. Тэдний туршлагын үндсэн ойлголт бол амжилттай төсөл бүрийн хувьд олон алдаатай байдаг. Жишээлбэл, MovieLens групп GopherAnswers гэх мэт бусад бүтээгдэхүүнийг бүтээсэн бөгөөд энэ нь бүрэн сүйрсэн (Harper and Konstan 2015) . Бүтээгдэхүүн бүтээхийг оролдож байх явцад судлаач алдсан өөр нэг жишээ бол Эдвард Кастроновагийн Arden хэмээх онлайн тоглоом бүтээх гэсэн оролдлого юм. Санхүүжилт нь 250,000 доллар байсан хэдий ч төсөл нь унасан (Baker 2008) . GopherAnswers, Arden зэрэг төслүүд нь MovieLens гэх мэт төслүүдээс илүү түгээмэл тохиолддог.

• Хүчирхэг түнштэй (хэсэг 4.5.4)

Пастурын квадрантыг технологийн компаниудад байнга хэлэлцдэг гэдгээ би сонссон бөгөөд энэ нь Google (Spector, Norvig, and Petrov 2012) судалгааны ажлыг зохион байгуулахад тусалдаг.

Бондын болон хамт ажиллагсдын судалгаа (2012) эдгээр эмчилгээний үр нөлөөг хүлээн авсан хүмүүсийн найз нөхөд дээр үзүүлэхийг оролддог. Туршилтын загвараас шалтгаалан эдгээр нурууны үр дүнг цэвэрхэн илрүүлэхэд хүндрэлтэй байдаг. сонирхсон уншигчид Bond et al. (2012) илүү дэлгэрэнгүй хэлэлцүүлэгт зориулсан. Жонс болон бусад хамт олон (2017) 2012 оны сонгуулийн үеэр ижил төстэй туршилт хийсэн. Эдгээр туршилтууд нь санал хураахыг дэмжих хүчин чармайлтын талаар улс төрийн шинжлэх ухаанд удаан хугацааны туршилтуудын нэг хэсэг юм (Green and Gerber 2015) . Эдгээр нь зөвхөн Пастурын квадратад байдаг тул эдгээр туршилтууд нь нийтлэг байдаг. Өөрөөр хэлбэл сонгогчдын саналыг нэмэгдүүлэх сонирхол ихтэй байдаг бөгөөд санал хураалтад оролцдог олон хүмүүс зан төлөвийн өөрчлөлт, нийгмийн нөлөөллийн талаарх ерөнхий онолыг туршиж үзэх сонирхолтой заншилтай байдаг.

Улс төрийн намууд, ТББ-ууд, бизнесүүд гэх мэт түнш байгууллагуудтай хамтран ажиллах талаар зөвлөгөө авахын тулд Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , Gueron (2002) . Байгууллагатай хамтран ажиллах нь судалгааны загварт хэрхэн нөлөөлж болох тухай бодолдоо авна уу. King et al. (2007) , Green, Calfano, and Aronow (2014) . Хамтын ажиллагаа нь ёс суртахууны асуултуудад хүргэж болно, тухайлбал, Humphreys (2015) , Nickerson and Hyde (2016) талаар өгүүлдэг.

• Зураг төслийн зөвлөгөө (хэсэг 4.6)

Хэрэв та туршилтаа явуулахын өмнө шинжилгээний төлөвлөгөөг гаргах гэж байгаа бол тайлагнах удирдамжийг уншиж эхлэхийг зөвлөж байна. Консорциум (Туршилтуудын нэгдсэн стандартыг тайлагнах) удирдамжийг анагаах ухаанд боловсруулсан (Schulz et al. 2010) , (Schulz et al. 2010) ба нийгмийн судалгаанд зориулан өөрчилсөн (Mayo-Wilson et al. 2013) . Туршилтын удирдамжийг Туршилтын улс төрийн шинжлэх ухааны сэтгүүл (Gerber et al. 2014) ( Mutz and Pemantle (2015) , Gerber et al. (2015) гэх мэт. Эцэст нь, тайлагналтын удирдамжийг сэтгэл судлал (APA Working Group 2008) боловсруулсан бөгөөд Simmons, Nelson, and Simonsohn (2011) нарыг үзнэ үү.

Хэрэв та дүн шинжилгээний төлөвлөгөөг боловсруулж байгаа бол үүнийг урьдчилан бүртгэх хэрэгтэй. Учир нь урьдчилсан бүртгэл нь таны үр дүнг бусдаас өөртөө итгэх итгэлийг нэмэгдүүлэх болно. Цаашилбал, хэрэв та түнштэй ажиллаж байгаа бол үр дүнг харсны дараа шинжилгээнийхээ өөрчлөлтийн чадварыг хязгаарлах болно. Урьдчилан бүртгэх нь сэтгэлзүйд (Nosek and Lakens 2014) , улс төр судлал (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , эдийн засгийг (Olken 2015) улам бүр нийтлэг болж байна.

Интернетийн талбарт туршилт хийх тусгайлсан зөвлөгөөг Konstan and Chen (2007) , Chen and Konstan (2015) .

Би armada стратегиа гэж нэрлэх нь заримдаа программатик судалгаа гэж нэрлэгддэг. Wilson, Aronson, and Carlsmith (2010) үзнэ үү.

• Тэг хувьсах зардлын өгөгдлийг үүсгэх (хэсэг 4.6.1)

MusicLab-ийн туршилтуудаас гадна Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , Salganik (2007) . Ялагчид-бүх зах зээл дээр илүү ихийг олж авахын тулд Frank and Cook (1996) . Mauboussin (2012) , Watts (2012) , Frank (2016) зүйлсийг илүү сайн мэдэхгүй байна.

Судлаачдын анхаарал болгоомжтой хэрэглэх төлбөрийг хасах өөр нэг арга бий. Ихэнх онлайн талбарын туршилтад оролцогчид үндсэндээ туршилтанд бэлтгэгдэж, хэзээ ч нөхөн олговор олгодоггүй. Энэ аргын жишээ нь Restivo болон van de Rijt's (2012) Wikipedia, Bond болон colleague-ийн (2012) туршилтанд хүмүүсийг санал өгөх урам зоригийг туршсан туршилтуудыг багтаадаг. Эдгээр туршилтууд нь үнэхээр тэг хувьсагч зардалтай биш харин судлаачдад тэг хувьсах зардлууд байдаг . Ийм туршилтууд, оролцогч бүрт зардал маш бага байсан ч нийт зардал нь ихээхэн хэмжээний байж болно. Олон тооны онлайн туршилт явуулж буй судлаачид багахан хэмжээний тооцоолсон эмчилгээний үр нөлөөний ач холбогдлыг олон хүмүүсэд хэрэглэж байх үед эдгээр жижиг үр нөлөө чухал ач холбогдолтой болохыг хэлж өгдөг. Тодорхой сэтгэлгээ нь оролцогчдод ногдуулдаг зардалд хамаатай. Хэрэв таны туршилт нэг сая хүнийг нэг минутанд хаяхад хүргэж байгаа бол энэ туршилт нь ямар нэг тодорхой хүнд хор нөлөө үзүүлэхгүй, гэхдээ нийтдээ бараг хоёр жилийн турш үр ашиггүй болжээ.

Оролцогчдод тэг хувьсах зардлыг төлөх өөр нэг арга бол сугалаа, судалгаа шинжилгээнд ашигласан арга юм (Halpern et al. 2011) . Хэрэглэгчийн таатай Toomim et al. (2011) талаар дэлгэрэнгүй Toomim et al. (2011) . Тэгэхээр хувьсагч зардлын туршилтыг хийхдээ в цэгүүдийг ашиглах талаар дэлгэрэнгүйг ( ??? ) үзнэ үү.

• Солих, боловсронгуй болгох, багасгах (хэсэг 4.6.2)

Russell and Burch (1959) анх санал болгосон гурван R нь дараах байдалтай байна:

"Солих insentient материал ухамсартай амьдарч буй өндөр амьтдын орлох гэсэн үг юм. Бууруулах нь өгөгдсөн хэмжээ, нарийн мэдээллийг олж авахад ашиглаж малын тоо буурсан гэсэн үг юм. Сайжруулахыг тохиолдол буюу эсвэл тэдгээр амьтад одоо ч гэсэн хэрэглэж байх ёстой хэрэглэж хүнлэг бус журмыг ноцтой ямар ч буурсан гэсэн үг. "

Гуравдугаар бүлэгт дурдсан ёс суртахууны зарчмуудыг баримталдаггүй. Харин тэд эдгээр туршилтуудаас илүү үр өгөөжтэй, ялангуяа хүний ​​туршилт хийхэд илүү нарийн боловсруулсан хувилбар юм.

Эхний R ("орлуулах") -ийн хувьд, сэтгэл хөдлөлийн сорилын туршилт (Kramer, Guillory, and Hancock 2014) болон сэтгэл хөдлөлийн эсрэг байгалийн туршилт (Lorenzo Coviello et al. 2014) туршилтаас байгалийн туршилт руу шилжих (болон туршилтын бус өгөгдөлд туршилтыг ойролцоолох оролдлого гэх мэт бусад аргууд) 2-р бүлгийг үзнэ үү). Ёс зүйн ач холбогдлоос гадна туршилтын бус туршилт судалгаанаас гадна шилжих боломжгүй ложистик эмчилгээг судлах боломжийг судлаачдад олгодог. Гэвч эдгээр ёс зүйн болон логистик үр ашиг нь зардлаа нөхдөг. Байгалийн туршилтаар судлаачид оролцогчдыг элсүүлэх, санамсаргүй байдал, эмчилгээний шинж чанар зэрэгт бага анхаардаг. Жишээлбэл, хур тунадасны нэг хязгаарлалт нь эмчилгээний үр дүн юм. Туршилтын судалгаанд Крамер болон түүний хамтрагчид эерэг, сөрөг хандлагыг бие даан өөрчилж чадсан. Lorenzo Coviello et al. (2014) хэрэглэсэн тодорхой арга барил Lorenzo Coviello et al. (2014) L. Coviello, Fowler, and Franceschetti (2014) болно. Lorenzo Coviello et al. (2014) хэрэглэсэн арга болох хувьсах хэмжигдэхүүнүүдийн танилцуулгад зориулсан Lorenzo Coviello et al. (2014) , Angrist and Pischke (2009) (less formal) буюу Angrist, Imbens, and Rubin (1996) (илүү албан ёсны) -ийг үзнэ үү. Deaton (2010) үзнэ үү, сул багажтай багаж хэрэгслийн хувьсах хэмжигдэхүүнийг танилцуулах (бороо бол сул хэрэгсэл юм). Murray (2006) . Ер нь байгалийн туршилт сайн танилцуулга өгсөн байна Dunning (2012) , харин Rosenbaum (2002) , ( ??? ) , болон Shadish, Cook, and Campbell (2001) туршилт ямар учир шалтгааны үр нөлөөг тооцох талаар сайн санаа санал болгож байна.

Хоёрдахь R ("сайжруулалт") -ийн хувьд шинжлэх ухаан, логистик худалдаа нь шуудангийн бичлэгийг хаахын тулд бичлэгийг хаахаас эхлээд сэтгэлийн хөөцөлдөх дизайныг өөрчлөхийг санал болгодог. Жишээ нь: Мэдээний тэжээлийн техникийн хэрэгжүүлэлт нь тэдгээрийг ихэсгэхээсээ илүүтэйгээр бичлэгийг блоклох нь туршилт хийхэд илүү хялбар байдаг (шуудан бичлэгийг хаахтай холбогдсон туршилтыг хэрэгжүүлэх боломжтой гэдгийг тэмдэглэх нь зүйтэй) Мэдээний Feed систем дээр байрлах доод давхарга нь үндсэн системийг өөрчлөх шаардлагагүй бол). Шинжлэх ухааны хувьд туршилтаар авч үзсэн онол нь нөгөө талдаа нэг загварыг тодорхой заагаагүй байна. Харамсалтай нь News Feed-д агууламжийг блоклох, буулгахад ач холбогдол бүхий ач холбогдолтой талаар урьд өмнө хийсэн судалгааны талаар би сайн мэдэхгүй байна. Түүнээс гадна эмчилгээг цэвэршүүлэх талаар би маш их хор хөнөөл учруулдаггүй. Интернетийн цензурыг хэмжих тохиолдлыг авч үздэг B. Jones and Feamster (2015) нь нэг бус зүйл юм B. Jones and Feamster (2015) (Encore судалгааны талаархи 6-р бүлэгт дурдсан болно. (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Гурав дахь R ("бууруулалт") -ийн хувьд уламжлалт тэжээлд дүн шинжилгээ хийхэд Cohen (1988) (ном), Cohen (1992) (өгүүлэл) өгдөг бол Gelman and Carlin (2014) нь арай өөр өнцгөөс санал болгодог. Эмчилгээний өмнөх ковариацыг туршилт, дизайн, шинжилгээний шатанд оруулж болно. Gerber and Green (2012) 4-р бүлэг нь хоёуланг нь сайн танилцуулах боломжийг олгодог бөгөөд Casella (2008) нь илүү гүнзгий эмчилгээ хийдэг. Урьдчилан эмчилгээ хийлгэж буй мэдээллийг санамсаргүй аргаар ашиглах аргыг ихэвчлэн хаагдсан туршилтын загвар эсвэл давхарласан туршилтын дизайн гэж нэрлэдэг (нэр томъёог олон нийтийн дунд тууштай ашигладаггүй); Эдгээр аргууд нь 3-р бүлэгт авч үзсэн давхрагын түүвэрлэлтийн аргуудтай нягт холбоотой юм. Higgins, Sävje, and Sekhon (2016) -ыг эдгээр туршилтуудыг их хэмжээний туршилтуудад ашиглах талаар илүү дэлгэрэнгүйг үзнэ үү. Эмчилгээний өмнөх ковариумыг шинжилгээний шатанд оруулж болно. McKenzie (2012) талбарын туршилтуудыг нарийвчлан судлахын тулд ялгаагүй ялгавартай хандлагыг судлав. Carneiro, Lee, and Wilhelm (2016) эмчилгээний үр нөлөөг тооцоолоход нарийвчлан нэмэгдүүлэх өөр өөр аргуудын хоорондын ялгавартай байдлын талаар илүү дэлгэрэнгүйг үзнэ үү. Эцэст нь дизайн, шинжилгээний үе шатанд (эсвэл хоёуланд нь) эмчилгээний өмнөх ковариацуудыг оруулахыг оролдох үед шийдэх хэд хэдэн хүчин зүйл байдаг. Судлаачид өөрсдийгөө "загасчлах" биш (Humphreys, Sierra, and Windt 2013) харуулахыг хүсэж байгаа нөхцөлд зураг төсөл боловсруулах шатанд өмнөх эмчилгээний (Higgins, Sävje, and Sekhon 2016) ашиглах нь тустай (Higgins, Sävje, and Sekhon 2016) . Оролцогчид дараалал, ялангуяа онлайн талбарт туршилт явуулж байгаа тохиолдолд дизайнерын өмнөх эмчилгээний мэдээллийг ашиглан логистикийн хувьд хүндрэлтэй байж болно. Жишээлбэл, Xie and Aurisset (2016) .

Ялгаа нь зөрүүтэй хандлага нь яагаад ялгаатай байдгаас илүү үр дүнтэй байж болохыг ядахдаа бага зэрэг зөн совинг нэмэх нь зүйтэй юм. Онлайн олон үр дүн маш их ялгаатай байдаг ( RA Lewis and Rao (2015) , Lamb et al. (2015) гэх мэтчилэн харьцангуй тогтвортой байдаг. Энэ тохиолдолд статистик тестийн хүчийг нэмэгдүүлэхийн тулд өөрчлөлтийн оноо нь бага хэмжээний хэлбэлзэлтэй байх болно. Энэ аргыг хэрэглэх нь ихэвчлэн хэрэглэгддэггүй нэг шалтгаан бол тоон эртнээс өмнө эмчилгээ хийлгэхээс өмнөх үед нийтлэг тохиолддог зүйл биш юм. Энэ талаар бодож үзэх нь илүү тодорхой арга зам бол тодорхой дасгалын хэвийн үйл ажиллагаа турах шалтгаан болдог эсэхийг хэмжих туршилтын төсөөллийг төсөөлөх явдал юм. Хэрэв та ялгавартай аргыг хэрэглэвэл таны тооцоолол нь хүн амын жингийн өөрчлөлтөөс үүсэх хувьсагчтай байх болно. Хэрэв та ялгаатай аргаар ялгаатай аргыг хэрэглэж байгаа бол жингийн хэлбэлзэл өөрчлөгдөж, эмчилгээний үр дүнг илүү амархан илрүүлж болно.

Эцэст нь би "дөрөвдэх" гэсэн 4-р R-ийг нэмсэн. Өөрөөр хэлбэл, хэрэв судлаачид анхны судалгааны асуултад хариулахаасаа илүү туршилтын өгөгдлүүдтэй байдаг бол шинэ өгөгдөл асууж, өгөгдлийг дахин боловсруулах хэрэгтэй болно. Жишээлбэл, Крамер болон хамт олон судлаачид ялгаатай байдлыг тооцоолон ашигладаг байсан бөгөөд тэдний судалгааны асуултад хариулахын тулд илүү их өгөгдөлтэй болсон гэж төсөөлөөд үз дээ. Өгөгдлийг бүрэн хэмжээгээр ашиглахгүй байхын оронд тэдгээрийн үр нөлөөний хэмжээг судлахын өмнө эмчилгээ хийлгэхээс өмнө эмчилгээ хийлгэх үүргийг гүйцэтгэж болно. Schultz et al. (2007) эмчилгээний үр нөлөө нь хөнгөн, хүнд хэрэглэгчидэд өөр өөр байдгийг олж мэдсэн бөгөөд Мэдээний тэжээлийн нөлөө нь аз жаргалтай (эсвэл гунигтай) мессеж бичсэн хүмүүст өөр өөр байсан байж болох юм. Дахин нөхөн сэргээх нь "загасчлах" (Humphreys, Sierra, and Windt 2013) , "p-hacking" (Simmons, Nelson, and Simonsohn 2011) . Гэхдээ эдгээр нь шударга тайлан (Simmons, Nelson, and Simonsohn 2011) , урьдчилж бүртгүүлэх (Humphreys, Sierra, and Windt 2013) , машиныг сурах аргууд нь хэт тохирохоос зайлсхийх гэж оролдсон.