لا تبصره

په دې برخه کې طرحه شوې ده چې د يوه مرجع وکارول شي، ددې پرځای چې د یوه فلسفه ولوستل شي.

• سريزه (4.1 برخه)

په اړه په ټولنيزو څيړنو په علت پوښتنې اکثرا پیچلي او مغلق. د پر بنسټ د سببونو د ګرافونو ته علت د يو بنسټ په روش، وګورئ Pearl (2009) ، او د پر بنسټ د احتمالي پایلو یوه بنسټیزه روش، وګورئ Imbens and Rubin (2015) (او په دې فصل کې د تخنیکي ضمیمه). د دغو دوو الرو تر منځ پرتله، وګورئ Morgan and Winship (2014) . لپاره يوه confounder په تعریف کې یو رسمي روش، وګورئ VanderWeele and Shpitser (2013) .

په فصل کې، زه جوړ څه ښکارېده لکه زمونږ وړتیا د تجربی او غیر تجربه د معلوماتو له اتفاقی اټکل وکړي تر منځ روښانه کرښه. په حقیقت کې، زه فکر کوم چې د توپير blurrier ده. د مثال په توګه، هر څوک دا مني، چې د سګرټ د سرطان که څه هم موږ د معلومې کنټرول تجربه چې ځواکونه خلکو ته د سګرټ هيڅکله هم ترسره کيږي. د غیر آزمېښتي معلومات له اتفاقی اټکل کولو ښه کتاب په اوږدوالي د علاج وګورئ Rosenbaum (2002) ، Rosenbaum (2009) ، Shadish, Cook, and Campbell (2001) ، او Dunning (2012) .

فصلونو د 1 او 2 Freedman, Pisani, and Purves (2007) په تجربو، کنټرول تجربو تر منځ د توپير په روښانه معرفي وړاندې کوي، او کنټرول تجربو معلومې کړي.

Manzi (2012) برابروي د معلومې کنټرول تجربو د فلسفي او احصایوي تنبو د يو عجيبې او د لوستلو وړ معرفي کول. دا هم په زړه پورې د حقیقي نړۍ د سوداګرۍ په تجربو د قدرت نمونې وړاندې کوي.

• تجربې څه دي؟ (4.2 برخه)

Casella (2008) ، Box, Hunter, and Hunter (2005) ، Athey and Imbens (2016b) د تجربوي د ډیزاین او تحلیل احصایوي اړخونو ښه وروپېژني برابر کړي. اقتصاد: برسيره پر دې، په ډیرو مختلفو برخو کې د تجربو د کارونې ښه علاج موجود دي (Bardsley et al. 2009) ، ټولنپوهنې (Willer and Walker 2007; Jackson and Cox 2013) ، د ارواپوهنې (Aronson et al. 1989) ، سياسي علومو د (Morton and Williams 2010) ، او ټولنیز پالیسی (Glennerster and Takavarasha 2013) .

د ګډون د استخدام (د بيلګې په توګه، د نمونې) ارزښت لري تل په تجربوي څېړنې لاندې-مننه وکړه. خو، که د چلند د اغېز په نفوس غیر متجانس، نو نمونه مهمه ده. Longford (1999) جوړوي دا ټکی په څرګند ډول کله چې هغه د څېړونکو سره د اتفاقي نمونه نفوس سروې د تجربو فکر څخه مالتړ کوي.

• د تجربو دوه اړخونه: د لابراتوار-ډګر او د انالوګ-ګڼيال (4.3 برخه)

په بېل چې د لابراتوار او د سيمې د تجربه تر منځ زه وړاندې يو څه ساده کړې ده. په حقیقت کې، نورو څېړنکو مفصل نوعیتونو په ځانګړې توګه هغه چې د سيمې د تجربه د بېلابېلو فورمو جلا وړاندیز، (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . تجربو د موجوده سروې د بنسټونو د کارولو سروې تجربو او ټولنیزو تجربو سروې تجربو دي او د بدیل نسخې ځوابونو سره پرتله: برسیره پردې، د تجربو ټولنيز پوهان په واسطه سرته چې د کالت د لابراتوار او ساحوي بېل چمتو نه، دوه ډوله نورې دي. عين سوالونو ته (په 3 څپرکي کې يو شمېر سروې تجربو وړاندې کيږي.)؛ د سروې تجربو نور وګورئ Mutz (2011) . ټولنيزو تجربو دي تجربو چی علاج دی ځینو ټولنیزو پالیسي چې يوازې د حکومت له خوا پلې شي. ټولنیزو تجربو سره نژدې تړاو ارزونه چې د پروګرامونو. د پالیسۍ د تجربو زياتو معلوماتو لپاره وګورئ Orr (1998) ، Glennerster and Takavarasha (2013) ، او Heckman and Smith (1995) .

د پاڼو شمېر په انتزاعي لابراتوار او د سيمې د تجربه په پرتله (Falk and Heckman 2009; Cialdini 2009) او په سياسي علومو د ځانګړو تجربو د پایلو له پلوه (Coppock and Green 2015) ، اقتصاد (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) او د ارواپوهنې (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) په پرتله له لابراتوارونو او د سيمې د تجربه پایلو لپاره يو ښه د څیړنې د طرحې وړاندې کوي.

ګډونوالو د سلوک د بدلون ځکه چې دوی پوهېږي چې دي له نږدې مشاهده وختونه د تقاضا د اغیزو په نامه، او د دوی د ارواپوهنې په مطالعه شوي په اړه اندیښنې (Orne 1962) اقتصاد او (Zizzo 2009) . که څه هم تر ډېره له تجربو سره تړاو لري، د دې ورته ستونزې کیدای شي د سيمې د تجربه ستونزو سره هم لامل کيږي. په حقیقت کې، د تقاضا اغېزې هم کله ناکله Hawthorne اغیزې اصطلاح چې د پټی تجربه څخه سرچینه اخلي، په ځانګړې توګه د مشهور لامپ تجربو چې د غربي Electric شرکت Hawthorne فوايد په 1924 پیل غږ وکړ، (Adair 1984; Levitt and List 2011) . دواړه غوښتنې د اغیزو او Hawthorn اغېزې له نږدې د غبرګون اندازه په 2 فصل مفکوره اړوند (هم وګورئ Webb et al. (1966) ).

د سيمې د تجربه تاريخ په اقتصاد تعریف شوی ده (Levitt and List 2009) ، د سياسي علومو (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) ، د ارواپوهنې (Shadish 2002) ، او د عامه پالیسۍ (Shadish and Cook 2009) . د ټولنیزو علومو يو سيمه کې چې د سيمې د تجربه ژر شو مشهور دی د نړیوالو پراختیایي. لپاره د اقتصاد په چوکاټ کې چې د کار پر بهير مثبت کتنه وګورئ Banerjee and Duflo (2009) ، او د یو مهم ارزونې وګورئ Deaton (2010) . د سياسي علومو د دې کار يوه کتنه وګورئ Humphreys and Weinstein (2009) . په پای کې، د اخلاقي ننګونو سره د سيمې د تجربه کې د سياسي علومو د دي پيدا شوي دي (Humphreys 2015; Desposato 2016b) او پرمختګ اقتصاد (Baele 2013) .

په فصل کې، ما ورته وويل چې چلند مخکې معلومات د درملنې د اټکل اغیزې په دقت ښه وکارول شي، خو ده په دې روش په اړه بحث: Freedman (2008) ، Lin (2013) ، او Berk et al. (2013) ؛ وګورئ Bloniarz et al. (2016) د زیاتو معلوماتو لپاره.

• بهر ته خوځښت ساده تجربو (4.4 برخه)

ما غوره او پر درېو مفاهیمو تمرکز کوي: د اعتبار، د درملنې اغېز heterogeneity، او میکانیزمونه. د دغو مفاهیمو په بیلابیلو برخو کې د مختلفو نومونو لري. د مثال په توګه، ارواپوهان ته ميلان له خوا د منځګړو او چلونکو تمرکز هاخوا ساده تجربو حرکت (Baron and Kenny 1986) . د منځګړو مفکوره ده چې په هغه څه چې زه میکانیزمونو ته زنګ نيولي دي او د چلونکو مفکوره ده چې په هغه څه چې زه غږ بهرني اعتبار (د بيلګې په توګه، به د تجربه پايلې سره توپير ولري په هغه صورت کې د مختلفو حالاتو ته رسيږي) او د درملنې د اغیزو heterogeneity (نيول شوي د بیلګې په توګه، د اغیزو د نورو خلکو په پرتله يو شمېر خلک) د لویو.

د تجربه Schultz et al. (2007) په ګوته کوي چې څنګه د ټولنیز نظريو کولای اغيزمنو اقداماتو طرح وکارول شي. لپاره د اغیزمنو مداخلو په ډیزاین د تيوري د رول په اړه یو عمومي استدلال، وګورئ Walton (2014) .

• د اعتبار (4.4.1 برخه)

د داخلي او خارجي اعتبار مفاهیمو لومړي ځل لپاره په معرفي Campbell (1957) . وګورئ Shadish, Cook, and Campbell (2001) لپاره د یوه ښه تفصيلي تاريخ او د احصايې د پای اعتبار، داخلي اعتبار په ځیر سره تفصيل، اعتبار، او د بهرنیو د اعتبار د جوړولو لپاره.

د يوې برخې په تجربو ته احصایوي پای اعتبار اړوندو موضوعګانو په کتنه وګورئ Gerber and Green (2012) (د ټولنيزو علومو د نظره) او Imbens and Rubin (2015) (لپاره د احصائیوي له نظره). د احصايې د پای اعتبار هغه ستونزو څخه چې په پرکرښه د سيمې د تجربه په ځانګړې توګه راپورته شامل دي لکه لپاره د باور انټروال سره تړاو لري د معلوماتو د رامنځته کولو له کمپيوټر څخه اغيزمن ميتود موضوعاتو (Bakshy and Eckles 2013) .

کورني اعتبار کولای ستونزمنه وي چې په پیچلو د سيمې د تجربه کړي. وګورئ، د مثال په توګه، Gerber and Green (2000) ، Imai (2005) ، او Gerber and Green (2005) لپاره د رای ورکولو په اړه یوه پیچلې برخه کې تجربه د پلي کولو په اړه بحث. Kohavi et al. (2012) او Kohavi et al. (2013) برابر کړي په آنلاین د سيمې د تجربه د وقفه اعتبار د ننګونو يو معرفي کول.

د داخلي اعتبار يوه لويه انديښنه سره randomization ستونزه ده. چې بالقوه سره randomization ستونزو د کشف يوه لاره داده چې د درملنې او کنټرول ډلو د مشاهدې خاصيتونه پرتله کړي. دا د پرتله ډول د بیلانس د چک په نامه. وګورئ Hansen and Bowers (2008) لپاره د چک انډول، او وګورئ چې د احصایي روش Mutz and Pemantle (2015) لپاره د توازن چک په اړه اندېښنې. د مثال په توګه، د يو توازن په کارولو سره وګورئ Allcott (2011) وموندل شول چې يو شمېر شواهد لري چې د randomization نه په سمه توګه د تجربو درې د OPower تجربو ځينو په پلي شتون لري (2 جدول وګورئ؛ ځايونه 2، 6 او 8). د نورو تګالرو، وګورئ Imbens and Rubin (2015) ، 21 دکوچنیانولپاره د کیسو.

د داخلي اعتبار اړوند نورو سترو اندېښنو دي: 1) يو طرفه غیر اجابت، چې د درملنې په ډله کې د هر چا نه په حقيقت کې د درملنې د تر لاسه، 2) د دوه غير مطابقت، چې د درملنې په ډله کې د هر چا نه د چلند او يو څه تر لاسه کوي تر سيورې په کنټرول ډله د خلکو سره د چلند، 3) د پښېمانتیا، چې د پایلو دي د ځينو ګډونوالو اندازه نه، او 4) د لاسوهنې، چې د درملنې په کې له خلکو څخه د درملنې حالت د خلکو په کنترول حالت تويي شوي ترلاسه کړي. وګورئ Gerber and Green (2012) 6 فصل په 5، 7، او 8 لپاره د دغو موضوعاتو د هر مطلب.

د اتبار زياتو معلوماتو لپاره وګورئ Westen and Rosenthal (2003) ، او د په لویه معلوماتي سرچینو اتبار، زيات Lazer (2015) او 2 فصل د دې کتاب.

د بهرنيو اعتبار یو اړخ د جوړولو چيرته چې يو مداخلې دی ازمویل ده. Allcott (2015) د ساحې انتخاب د تعصب په ځیر سره نظري او تجربوي درملنه برابروي. دا موضوع په اړه هم خبرې Deaton (2010) . سره له دې چې په ډېرو ځايونو کې ساری برسیره، د کور د انرژۍ راپور مداخلې هم په خپلواک ډول څیړنې الندې څو ډلو له خوا مطالعه شوي (د بيلګې په توګه، Ayres, Raseman, and Shih (2013) ).

• د درملنې د اغیزو Heterogeneity (4.4.2 برخه)

د د د د د سيمې د تجربه درملنې اغېز heterogeneity ښه کتنه، د 12 فصل وګوري Gerber and Green (2012) . لپاره په طبي محاکمې د درملنې اغېز heterogeneity وروپېژني، وګورئ Kent and Hayward (2007) ، Longford (1999) ، او Kravitz, Duan, and Braslow (2004) . د درملنې د اغیزو Heterogeneity عموما په بنسټ د چلند د مخه ځانګړتياوو توپيرونه باندې تمرکز وکړي. که تاسو په اساس چلند وروسته د پایلو heterogeneity سره مينه ولري، نو ډېر پېچلی approachs لکه اصلي طبقه اړتیا لری (Frangakis and Rubin 2002) ؛ وګورئ Page et al. (2015) لپاره د يوه کتنه.

ډېر څېړونکي د درملنې اغېز خطي regression په کارولو سره د heterogeneity اټکل، خو د نوي ميتود کې پر ماشيني زده کړې تکیه، د مثال په توګه Green and Kern (2012) ، Imai and Ratkovic (2013) ، Taddy et al. (2016) ، او Athey and Imbens (2016a) .

د د د ډېرو په پرتله ستونزې او ". د کب نيونې" د احصایوي طريقی چې کولی شی څو په پرتله په اړه پته اندېښنو سره مرسته نوعه شته دي، ځکه اغېز heterogeneity موندنو په اړه شک شته (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . چې د "د کب نيونې" په اړه اندیښنې يو روش د مخه د ثبت، چې په زیاتیدونکې توګه د ارواپوهنې په مروج دی (Nosek and Lakens 2014) ، د سياسي علومو (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ، او اقتصاد (Olken 2015) .

د مطالعې Costa and Kahn (2013) يوازې د کورنۍ په تجربه په اړه نيمايي وو ته د وګړو د معلوماتو سره وتړل شي کولای. لوستونکو، له دې شننې په جزییات او احتمالي ستونزو د حل دلچسپي لري بايد د اصلي کاغذ ته مراجعه وکړئ.

• میکانیزمونه (4.4.3 برخه)

میکانیزمونه دي زياته کچه مهم، خو هغوی ته مخه کړي تر څو د زده کړې ډېر ستونزمن وي. د میکانیزمونو په اړه د څیړنې نږدې د ارواپوهنې د منځګړو د مطالعې اړوند (خو هم وګورئ VanderWeele (2009) لپاره د دوه نظرونو تر منځ د يو دقيق پرتله). ته د موندلو میکانیزمونو د احصایې په رارسیدو، لکه د طريقې جوړ Baron and Kenny (1986) ، دي عادي خبره ده. له بده مرغه، دا سينمايي چې د هغو کړنلارو په ځینو قوي انګیرنې پورې اړه لري (Bullock, Green, and Ha 2010) او رنځ کله چې څو ميکانيزمونه دي، يو ښايي په ډیرو حالتونو تمه (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) او Imai and Yamamoto (2013) ځينې ښه احصایوي ميتودونو وړاندې کوي. برسيره پر دې، VanderWeele (2015) سره د مهمو پایلو، د حساسيت تحليل جامع طريقې په ګډون د یو شمیر يو کتاب-اوږدوالي د درملنې وړاندې کوي.

يو جلا چلند پر تجربو چې هڅه کوي د میکانیزم په مستقيمه توګه (د مثال په ورکولو ماڼو ويټامين C) څرخوي تمرکز کوي. له بده مرغه، په ډیرو ټولنیزو علومو د امستنو شته څو میکانیزمونه زیاتره دي او دا ستونزمنه ده چې علاج ته پرته له دې چې نور په کتابتون کې چې یو بدلون سره طرحه کړي. ځینې ​​طریقې experimentally تغيير او ميکانيزمونو ته چې په کې تشریح شوي دي Imai, Tingley, and Yamamoto (2013) ، Ludwig, Kling, and Mullainathan (2011) ، او Pirlott and MacKinnon (2016) .

په پای کې، د میکانیزمونو هم د ساینس په فلسفې یو اوږد تاریخ لري لکه څنګه چې په تشريح Hedström and Ylikoski (2010) .

• موجوده چاپیریال په استفادي (4.5.1.1 برخه)

د د د مخابرو مطالعاتو او تفتيش مطالعاتو د استعمال د تعصب اندازه نور وګورئ Pager (2007) .

• خپل تجربه جوړ کړي (4.5.1.2 برخه)

د څو تجربو چې تاسو د جوړولو ګډونوالو استخدام تر ټولو عام لاره ده ترلاسه کړئ Amazon د میخانیک ترک (MTurk). ځکه MTurk mimics د دودیزو تجربو سره-ورکوي خلکو اړخونو ته د دندو، چې دوی به آزاد ډېر څېړونکي نه د بشپړولو لپاره لا له وړاندې Turkers (د MTurk د کارکوونکو) د انسان په مضمونونو تجربو ګډون په پایله کې په پرتله سنتي چټک او ارزانه د معلوماتو د راټولولو په توګه کاروي پیل د انګړ لابراتواري تجربو (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

د د ګډونوالو څخه MTurk استخدام تجربو ستر قوت دي لوژستيکي: هغوی اجازه څېړونکو ګډون کوونکو ته په چټکۍ سره او د اړتيا په استخدام کړي. په داسې حال کې شوي تجربو سره کولای اونيو چې وځغلول واخلي او د سيمې د تجربه کولای مياشتې وخت نيسي-جوړ، د ګډونوالو له MTurk استخدام تجربې کولای شي په ورځو کې وکړي. د مثال په توګه، Berinsky, Huber, and Lenz (2012) کولای شول چې په يوه ورځ کې 400 مضمونونو استخدام په يوه 8 دقیقې تجربه کې ګډون وکړي. برسيره پر دې، د دې ګډون کولای شي اصلا د کوم هدف لپاره د استخدام شي (لکه د سروې ګانو او ډله په همکارۍ، لکه څنګه چې په فصلونو 3 خبرې وکړې او 5). د استخدام دا اسانه مانا لري، چې د څیړونکو په چټک پرله د اړوندو تجربو سلسلو کې پرمخ.

مخکې لدې چې د خپل تجربو څخه MTurk ګډونوالو د استخدام، شتون لري د څلورو مهمو شيانو پوه. لومړی، ډېر څېړونکي د تجربو شامل Turkers يو غير مشخصو شک. ځکه دا شک مشخص نه ده، دا ستونزمنه ده چې له ثبوت سره مقابله وکړي. که څه هم، د زده کړو Turkers په کارولو سره د څو کلونو وروسته، موږ اوس کولای ته رسيږو، چې دغه شک په ځانګړې توګه لازم نه دی. چې هلته ډېر زده کړو د نورو خلکو او ډېرو زده کړو سره له نورو خلکو د پایلو Turkers پرتله د تجربو د پايلو د Turkers د نفوسو په پرتله شوي دي. دا ټول کارونه په پام سره، زه فکر کوم چې تاسو ته په اړه فکر غوره لاره دا ده چې د Turkers دي یو معقول آسانتیاوو په نمونه، څومره په څېر زده کوونکو خو لږ څه زیات متنوع (Berinsky, Huber, and Lenz 2012) . په دې توګه، لکه څنګه چې د زده کوونکو لپاره يو مناسب نفوس خو ټول تجربوي څېړنې نه دي، Turkers لپاره يو مناسب نفوس خو نه ټول څېړنې دي. که تاسو د روان سره Turkers کار وکړي، بيا نو معقوله به د دغو مقایسوي مطالعې څو پاتې او د هغوی د نازکیو پوه شي.

دوهم، د څېړونکو لپاره د ترک تجربو داخلي اعتبار زیات best-کړنو جوړ، او تاسو بايد په اړه زده کړي او د دغو best-دودونو پیروي (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . د مثال په توګه، د څیړونکو Turkers کارولو څخه هیله کیږي څو screeners څخه د قير ګډون لرې (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (خو هم وګورئ DJ Hauser and Schwarz (2015b) او DJ Hauser and Schwarz (2015a) ). که تاسو قير ګډون لرې نه، نو د درملنې کوم اغېز کولای شي له خوا د لوړ غږ له قير ګډونوالو معرفي ومينځل، او په عمل کې د قير ګډونوالو شمېر کولای شي د پام وړ. د هوبر او همکارانو تجربه (2012) د ګډون په اړه د 30٪ اساسی پاملرنه screeners پاتې راغلي دي. بله ستونزه سره Turkers عام غیر ومنو ګډون کوي (Chandler et al. 2015) .

دریم، چې د ګڼيالو تجربو يو شمېر نورو ډولونو خپلوان، MTurk تجربو کولای راکمې نه؛ Stewart et al. (2015) اټکل کوي چې په هر وخت کې يوازې په اړه 7،000 پر MTurk چې خلک دي.

په پای کې، تاسو بايد پوه شي چې MTurk سره د خپلو اصولو او نورمونو يوه جامعه وي (Mason and Suri 2012) . په همدې ډول چې تاسو به د يو هېواد کې چې تاسو د خپلو تجربو سره پرمخ روان شوي دي د کلتور په هکله معلومات ترلاسه هڅه، تاسو بايد کوښښ وکړي چې د کلتور او د Turkers نورمونو په اړه نور معلومات تر لاسه (Salehi et al. 2015) . او، تاسو بايد پوه شي چې د Turkers به ستاسو تجربه په اړه خبرې شي که تاسو کوم نامناسب یا اخالقي (Gray et al. 2016) .

MTurk شي چې خپل د تجربو ګډونوالو استخدام یوه کچه مناسب لاره دا ده، چې آیا دوی دي د لابراتوار په څېر، لکه Huber, Hill, and Lenz (2012) ، يا زيات ډګر په څېر، لکه Mason and Watts (2009) ، Goldstein, McAfee, and Suri (2013) ، Goldstein et al. (2014) ، Horton and Zeckhauser (2016) ، او Mao et al. (2016) .

• د خپل محصول د جوړولو (4.5.1.3 برخه)

که تاسو د هڅه کوي چې د خپل محصول د جوړولو په فکر کې دي، زه وړانديز وکړي چې تاسو پاتې مشوره په MovieLens ډلې له خوا وړاندې Harper and Konstan (2015) . يو له خپلو تجربو مهمو بصیرت دی چې د هر بريالي پروژې لپاره د څو، څو ناکامۍ شته دي. د مثال په توګه، د MovieLens ډلې نورو محصولاتو په لړ لکه GopherAnswers دا چی د بشپړ ناکامي وو (Harper and Konstan 2015) . د يو څېړونکي د ناکامۍ داسې حال کې چې د یوه محصول د جوړولو په هڅه کې یو بل مثال دا دی چې د آنلاین لوبه Arden په نامه د جوړولو Edward Castronova هڅه. سره سره 250،000 $ په مرستې، د پروژې له flop وه (Baker 2008) . لکه GopherAnswers او Arden پروژو څخه دي له بده مرغه په ​​څېر MovieLens پروژو په پرتله ډېر عام دی. په پای کې، کله چې ما ورته وويل، چې زه د کوم بل څېړونکو چې په بریالیتوب لپاره تکراري تجربو محصولات جوړ نه پوهيږم دلته زما معيارونه عبارت دي له: 1) د ګډونوالو ځکه چې د هغه څه چې هغوی (د بيلګې په توګه، دوی نه ورکول محصولاتو څخه د ګټی او دوی نه دي رضاکارانو سره مرسته science) او 2) د محصول لپاره يعنې، نه ورته تجربه څو ځلې د مختلفو ګډون ډنډونه له يوه څخه زيات توپیر تجربه () کارول شوي دي. که تاسو د نورو مثالونو پوه، مهرباني وکړي اجازه راکړې پوهيږي.

• سره د ځواکمنو پارټنر (4.5.2 برخه)

ما اوریدلی د پاسټور د څلورمه په سمباله شرکتونو په وار وار بحث د نظر، او دا مرسته په ګوګل څېړنې هڅو تنظيم (Spector, Norvig, and Petrov 2012) .

بانډ او د همکارانو د مطالعې (2012) هم هڅه کوي چې د هغو کسانو يې ترلاسه دوستانو د دغو درملنې اغېز کشف کړي. د تجربه د ډیزاین له کبله، د دغو ګټورتیا دي cleanly کشف ستونزمن؛ مينه لوستونکي یې باید وګورئ Bond et al. (2012) لپاره د هر ډول. دا تجربه ده د هڅو ورکولو ته وهڅوي او په سياسي علومو تجربو يو اوږد د دود يوه برخه (Green and Gerber 2015) . دا get-څخه-د-د رايو تجربو په برخه کې عام دي، ځکه دوی په پاسټور د څلورمه برخه دي. چې ده، داسې ډېر خلک دي ته وهڅول چې د رايو ورکولو او د رایې ورکولو زيات کولای شي يو په زړه پورې سلوک د چلند د بدلون او ټولنیز نفوذ په اړه د نورو عمومي نظريو امتحان وي.

نورو څېړنکو د سيمې د تجربه سره د همکارو موسسو لکه د سياسي ګوندونو، موسسو، او کاروبار چلولو په اړه مشورې ورکړې (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . نور په اړه څه ډول سره د ټولنو سره په همکارۍ کولای شي څېړنې ډیزاینونه اغیزه مشوره دي وړانديز (Green, Calfano, and Aronow 2014; King et al. 2007) . ملګرتیا هم کولای شي چې د اخالقي پوښتنې سبب (Humphreys 2015; Nickerson and Hyde 2016) .

• طرح او مشورې (4.6 برخه)

که تاسو د روان ستاسو تجربه منډه مخکې يو تحليل پلان جوړ کړي، زه وړاندیز کوم چې تاسو له خوا د ریپورټ ورکولو لارښود په لوستلو پيل کړي. د ئ لارښود (د توحيدي کره د محاکمه راپور) په طبابت کې جوړ شوي (Schulz et al. 2010) او د ټولنيزو څيړنو په بدلون موندلی (Mayo-Wilson et al. 2013) . د لارښود اړوند ټاکل شوی د تجربوي سياسي علومو د ژورنال د چلوونکو له خوا جوړ شوي دي (Gerber et al. 2014) (هم وګورئ Mutz and Pemantle (2015) او Gerber et al. (2015) ). په پای کې، د ریپورټ ورکولو لارښود کړې د ارواپوهنې په چمتو شوی دی (Group 2008) ، او همدارنګه د وګورئ Simmons, Nelson, and Simonsohn (2011) .

که تاسو يو تحليل پلان جوړ کړي چې تاسو بايد په پام کې-د ثبت د مخه دا ځکه چې د مخه د ثبت به د باور چې نور ستاسو په پايلې لري لوړه شي. برسيره پر دې، که تاسو سره د یو همکار په کار بوخت دي، نو دا به ستاسو د ژوند ملګری د د پایلو له ليدلو وروسته د تحلیل بدلون توان محدود کړی. مخکې د نوم ليکنې په زیاتیدونکې توګه د ارواپوهنې په مروج (Nosek and Lakens 2014) ، د سياسي علومو (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ، او اقتصاد (Olken 2015) .

په داسې حال کې د خپل د مخه تحلیل پلان جوړولو تاسو باید په دې خبر، چې يو شمېر څېړونکو ته هم د درملنې د اټکل اغیزه د دقت د ښه regression او اړوند طریقو څخه ګټه وي، او هلته د دې روش په اړه بحث: Freedman (2008) ، Lin (2013) ، او Berk et al. (2013) ؛ وګورئ Bloniarz et al. (2016) د زیاتو معلوماتو لپاره.

د آنلاین د سيمې د تجربه طرح او مشوره په ځانګړې توګه په هم وړاندې Konstan and Chen (2007) او د Chen and Konstan (2015) .

• صفر متحول لګښت معلومات جوړول (4.6.1 برخه)

د د MusicLab تجربو زياتو معلوماتو لپاره وګورئ Salganik, Dodds, and Watts (2006) ، Salganik and Watts (2008) ، Salganik and Watts (2009b) ، Salganik and Watts (2009a) ، او Salganik (2007) . د ګټونکي باید له ټولو بازارونو زياتو معلوماتو لپاره وګورئ Frank and Cook (1996) . د نورو عموما په سروېسونه او بخت د مهارتونو د زياتو معلوماتو لپاره وګورئ Mauboussin (2012) ، Watts (2012) ، او Frank (2016) .

په زوردې: د ګډون کوونکو د پیسو چې څېړونکو بايد له احتياط کار واخلي له منځه وړلو بل کړندود شتون نه لري. په ډيرو آنلاین د سيمې د تجربه ګډون دي په بنسټيزه توګه په تجربو د تسويد او هیڅکله جبران. د دې روش د مثالونو په ګډون Restivo او van de Rijt د (2012) په ويکيپېډيا او بانډ او د هغه همکار د اجرونو تجربه (2012) تجربه د خلکو د رايې ورکولو ته هڅوي. دغو تجربو نه په رښتيا صفر متحول لګښت لري، نو بايد د څېړونکو د صفر متحول لګښت. که څه هم د دغو تجربو ډېر لګښت ته هر ګډونوال خورا کوچنیو، کوچنیو لګښتونو په وضع د ګډونوالو ډیر شمیر کولای شی تر ژر اضافه کړي. څېړونکي ستر آنلاین تجربو منډه زياتره وايي، چې د دغو وړو اغیزې کولای شي مهم کله چې زياترو خلکو ته استعمال شي د کوچنيو اټکل درملنې اغیزو د اهميت په توجیه. په همدغه دقیق فکر چې د لګښتونو څخه چې د څېړونکو په ګډون تحمیل صدق کوي. که ستاسو د تجربو یو ملیون کسان سبب يوه دقيقه ضایع، د تجربو نه د کوم ځانګړي کس ډېر ناوړه نه ده، خو په مجموعي دا وخت کابو دوه کاله ضایع شوی دی.

له ګډون کوونکو ته د صفر متحول لګښت د پیسو د رامنځته کولو بله لاره ده چې د پچې، یوه تګلاره چې په سروې څېړنې هم کارول شوي دي استفاده (Halpern et al. 2011) . په پای کې، د طرح په اړه نور د آرامي کارن-تجربو وګورئ Toomim et al. (2011) .

• ځای، چاڼ، او کمول (4.6.2 برخه)

دلته د درې R اصلي تعریفونه، له دي Russell and Burch (1959) :

"د معاوضې د insentient مواد شعوري لوړو حيواناتو لپاره د بدلولو په مانا ده. د کمولو د دې مانا د څارويو د معلوماتو د ورکړې اندازه او دقت ترلاسه کيدو د شمېر د کمولو. سوچه مانا په پیښې او یا د انساني طرزالعملونه چې د هغو حيواناتو چې اوس هم بايد وکارول شي استعمال د شدت د هر ډول کموالی راغلی دی. "

دغه درې R د چې زه وړاندیز د اخلاقي اصولو په 6. دکوچنیانولپاره د کیسو تشريح نه واوړې چې په بدل کې دي د دغو اصولو د-beneficence-په ځانګړې توګه د بشر د تجربو د جوړولو په یوه مطلب کې په تفصیل نسخه یو.

کله چې احساساتي Contagion په پام، شته دریو غیر اخلاقي موضوعګانو ته په ذهن کې دې تجربه کې د تفسير کله وساتي. لومړی، دا څرګنده نه ده چې څرنګه د تجربه د واقعی جزئيات د نظري ادعا سره نښلوي. په بل عبارت، د اتبار په اړه هم پوښتنې شته دی. دا لا څرګنده نه ده، چې د مثبت او منفي کلمه شمېره په حقيقت کې د ګډونوالو احساساتي دولت یو ښه شاخص ځکه 1) دا څرګنده نه ده چې الفاظ چې خلک وروسته د خپلو احساساتو او یو ښه شاخص دي او 2) دا څرګنده کړه چې نه دی ځانګړي احساسات تحلیل تخنیک، چې د څېړونکو کارول کيږي چې په کره توګه د احساساتو د اټکل (Beasley and Mason 2015; Panger 2016) . په بل عبارت، هلته کیدای شي د یو اړخیز سيګنال يو ناوړه اقدام وي. دوهم، د تجربه د ډیزاین او تحلیل په اړه موږ ته راښيي چې تر ټولو اغیزمن (يعنې، د د درملنې اغېز heterogeneity تحلیل نه شته) او د میکانیزم به څه وي څه نه. په دې صورت کې د څېړونکو د ګډون په اړه ډېر معلومات درلودل، خو د دوی په اړینه توګه په تحليل او کاروونو درملنه. دریم، په دې تجربه کې د اغېز اندازه ډېره کمه وه. د تداوی او کنترول شرايط توپير لري په اړه 1 په 1،000 لغاتونه. په خپل کاغذ، Kramer او همکارانو لپاره په صورت کې چې د دې اندازه يو اغيز مهمه ده ځکه چې د خلکو د په سلګونو میلونه لاسرسی خپل خبري اژانس ته هره ورځ خواړه ورکړی. په بل عبارت، دوی استدلال کوي چې آن اغیزې دي چې د هر شخص په مجموعي غټ دي د وړو. که څه هم تاسو ته دا استدلال ومني، دا څرګنده نه ده چې اوس هم که د دې کچې د يو اغيز احساساتي contagion په اړه له ډېرو عمومي علمي پوښتنې په اړه مهمه ده. لپاره پر شرايطو کې چې د کوچني د اغیزو لپاره مهم دي وګورئ Prentice and Miller (1992) .

د لومړي R (معاوضې)، له پلوه احساساتي Contagion تجربه پرتله (Kramer, Guillory, and Hancock 2014) او د احساساتي contagion طبيعي تجربه (Coviello et al. 2014) د سوداګرۍ د ددوهمې لاس سره حرکت څخه په اړه عمومي درسونه وړاندې کوي د طبيعي تجربو تجربو د (او لکه د سارو چې هڅه کې غیر آزمېښتي معلوماتو تجربو تقريبي نورو تګالرو، 2 فصل وګوري). په د اخلاقي ګټې پردې برسیره، د تجربوي د غیر تجربوي زده switching هم څېړونکو توانوي چې د علاج چې دوی لوژستيکي نشي واستوي زده کړه وکړي. دا اخلاقي او لوژستيکي ګټې په لګښت راشي، خو. سره د طبیعي تجربو څېړونکو په څېر د ګډون کوونکو، randomization استخدام شيان لږ کنترول، او د درملنې د ماهیت لري. د مثال په توګه، د په توګه د درملنې د باران یو محدودیت دا ده چې د دواړو positivity لوړوي او کم negativity. په تجربوي څېړنې، که څه هم، Kramer او همکارانو کولای شول چې positivity او negativity خپلواکه عیار.

د ځانګړي روش له خوا کارول Coviello et al. (2014) و لا په تفصیل سره Coviello, Fowler, and Franceschetti (2014) . لپاره ګټور متحولو کیدو وګورئ Angrist and Pischke (2009) (لږ رسمي) او يا Angrist, Imbens, and Rubin (1996) (رسمي). د ګټور متحولو يو شکمن ارزونې وګورئ Deaton (2010) ، او د ګټور متحولو سره کمزوري وسایلو (د باران د یو کمزوري آله ده) یوه سریزه، وګورئ Murray (2006) .

په عمومي ډول، د طبيعي تجربو ښه کیدو دی Dunning (2012) ، او Rosenbaum (2002) ، Rosenbaum (2009) ، او Shadish, Cook, and Campbell (2001) پرته د تجربو د سببونو د اغیزو د اټکل په اړه ښه نظرونه وړاندې کوي.

د دويم R (سوچه) له پلوه، علمي او لوژستيکي سوداګرۍ ددوهمې کله څخه د زیاتوالي نوم ليکنې پېدا کړه (ضامن) د احساساتي Contagion د ډیزاین په کتابتون کې په پام کې دي. د مثال په توګه، دا به د قضيې چې د خبري اژانس ته Feed تخنیکي تطبیق دا د پام وړ ډیر آسانه دی سره د نوم ليکنې پر ځای یوه تجربه په پرتله سره د زیاتوالي ليکنې (ضامن) یوه تجربه کار وي (ولرئ چې سره ضامن ليکنې د یوه تجربه کولای شي په توګه د يوه طبقه پلي شي لپاره د بنيادي سيستم حذفیات) هر اړتيا پرته د خبري اژانس ته Feed سيستم سر. په علمی توګه، که څه هم، د تيوري د تجربه له خوا حل نه په څرګند ډول د نورو یو ډیزاین وړاندیز نه.

له بده مرغه، زه د د (ضامن) د ندو په خبري اژانس ته Feed محتوا خپلوان وړتياوو په اړه د پام وړ مخکې د څیړنې خبر نه يم. همدارنګه تر اوسه مې نه څومره څېړنې چاڼ علاج ته يې لږ زيان لپاره په اړه دی. يوه استثنا ده Jones and Feamster (2015) ، چې د انټرنټ د سانسور د اندازه کولو په صورت کې په پام کې (د يوې موضوع زه په د Encore مطالعې په اړیکو کې 6 دکوچنیانولپاره د کیسو بحث (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

د دریم R (د کمولو) له پلوه، د قدرت عنعنوي تحليل يوه ښه کیدو دی Cohen (1988) . مخکې د درملنې covariates کولای شي په ډيزاين په پړاو او د تجربو تحليل پړاو کې شامل شي؛ د 4 دکوچنیانولپاره د کیسو Gerber and Green (2012) برابروي ترڅو د دواړو الرو ښه معرفي کولو، او Casella (2008) یوه برخه کې د ژورې درملنه برابروي. تخنیکونه چې دا چلند د مخه په randomization معلومات ورکړی دي په خاصه توګه په نامه يا تړل آزمېښتي ډیزاینونو یا طبقه آزمېښتي طرحه (د اصطلاح نه ده په ټول ټولنو په دوامداره توګه کارول)؛ اړوند ژوره توګه د دغو تخنيکونو دي چې د طبقه نمونه تخنیکونو په دکوچنیانولپاره د کیسو 3. وګورئ بحث Higgins, Sävje, and Sekhon (2016) لپاره په پراخه تجربو دغو طرحو په کارولو سره زيات دي. مخکې د درملنې covariates هم کیدای شی په د تحلیل پړاو کې شامل شي. McKenzie (2012) د توپير-in-توپيرونه کې په تفصیل سره د سيمې د تجربه تحليل روش راسپړي. وګورئ Carneiro, Lee, and Wilhelm (2016) لپاره د مختلفو میتودونو ته په کې د درملنې د اغیزو د اټکل له دقت زیات تر منځ د سوداګرۍ ددوهمې نور. په پای کې، کله چې د فیصلي هڅه چې په د طرحې يا تحليل پړاو) یا دواړو (چلند مخکې covariates شامل دي، هلته يو څو عوامل په پام کې دي. په یوه چاپیریال کې چې څیړونکي غواړي وښيي، چې دوی "د کب نيونې» نه دي (Humphreys, Sierra, and Windt 2013) ، چلند مخکې covariates په کارولو سره په ډيزاين په پړاو کیدای شي ګټورې وي (Higgins, Sävje, and Sekhon 2016) . په داسې حالاتو کې چې ګډونوالو ته نښلو، په ځانګړې توګه د انلاین د سيمې د تجربه، د طرحې په پړاو چلند مخکې معلوماتو څخه په استفادې لوژستيکي به ستونزمنه وي، د مثال په توګه وګورئ Xie and Aurisset (2016) .

د یادونې وړ ده زياته کړه په اړه چې ولې توپير-in-توپیرونه کولای شي په پرتله توپير-in-وسيلې دومره ډېر اغېزمن وي د intuition يو څه. ګڼ شمیر آن لاين پایلو لري ډېره لوړه متفرقه وګورئ (د بيلګې په توګه، Lewis and Rao (2015) او Lamb et al. (2015) ) دي او د وخت په تېرېدو نسبتا باثباته. په دې صورت کې د بدلون نمره به د پام وړ لږ توپیر لري، د احصايوي ازموينه د قدرت په زیاتیدو دي. يو لامل دا مراجعه ده زياتره نه کارول کيږي، چې د ډيجيټل عمر مخکې دا يو معمول له چلند څخه د مخه د پایلو لري نه وه. په اړه دا فکر يو ډير کانکریټ لاره دا ده چې يوه تجربه تصور اندازه چې آيا يو ځانګړي تمرین عادي ګرځي د وزن. که تاسو توپير-in-وسيلې روش وکړم، ستاسو د اټکل به د بدلونونو چې په کې د خلکو وزن د بدلونونو څخه راځي لري. که تاسو توپير-in-توپير چلند کوي، که څه هم، په وزن چي په طبيعي توګه واقع توپير روږدې لرې او تاسو په اسانۍ سره کولای شي د يو توپير د درملنې له امله کشف کړي.

د ستاسو په تجربه ګډونوالو د شمېر د کمولو يوه مهمه لاره دا ده چې د واک د تحلیل، چې Kramer او همکارانو کولای شوای پر بنسټ چې د اغېز اندازو څخه د طبيعي تجربه له خوا په ترسره ترسره Coviello et al. (2014) او يا د Kramer مخکې غیر تجربوي څېړنې (2012) (په حقیقت کې دا د دې څپرکي په پای کې فعالیتونه دي). ګورې چې د ځواک د شننې د دې په استعمال کې ده په پرتله عادی يو څه توپير لري. په انالوګ عمر، د څېړونکو په عمومي وکړل قدرت تحلیل باید مطمئنه شي چې د خپلو مطالعه ډیر کوچنی نه وه کړي (يعنې، لاندې-Powered). اوس، خو د څېړونکو باید واک تحلیل کار واچوي ترڅو چې د دوی څېړنه ډېر لوی نه ده (لکه، over-Powered).

Repurpose: په پای کې، زه زياته کړه د څلورم R ګڼل. دا ده چې، که خپله څېړونکو سره آزمېښتي د معلوماتو د موندلو په پرتله بايد د خپلې څېړنې د سوال اصلي برخې په نښه کړي، نو بايد د معلوماتو repurpose نوي پوښتنې وکړي. د مثال په توګه، تصور چې Kramer او همکارانو سره په پرتله د اړتيا د هغوی د څېړنو پوښتنه حل زيات معلومات توپير-in-توپيرونه estimator کارول او موندلي پخپله. تر کوم بشپړ حده د معلوماتو د نه کارولو پر ځای، هغوی کولای شوای د اغيز په اندازه په توګه دنده تر مخکې چلند احساساتي بیان د زده کړې. لکه څنګه چې Schultz et al. (2007) وموندل چې د درملنې د اغيز د سپکو او درنو کاروونکو لپاره د توپير درلود، ښايي د خبري اژانس ته Feed د اغيزو د هغو خلکو مخه ځانونه د خوشحاله (يا خفه) پېغامونه post لپاره مختلف وو. Repurposing کولای شي چې د "د کب نيونې" سبب (Humphreys, Sierra, and Windt 2013) او "p-هک" (Simmons, Nelson, and Simonsohn 2011) ، خو دا په پراخه توګه سره د صادقانه راپور یو ترکیب addressable (Simmons, Nelson, and Simonsohn 2011) ، د ثبت د مخه (Humphreys, Sierra, and Windt 2013) ، او ماشيني زده کړې ميتودونه چې ته ارټوپیډي د مخنيوي هڅه کوي.