راتلونکی لوستلو لپاره
- تعارف (برخه 4.1)
په ټولنیزو څیړنو کې د الملیتوب په اړه پوښتنې ډیری پیچلې او پیچلې دي. د ګرافونو ګرافونو پر بنسټ د علت لپاره د بنسټیز الرو چارو لپاره، Pearl (2009) وګورئ، او د احتمالي پایلو پر بنسټ د بنسټیزې تګلارې لپاره، Imbens and Rubin (2015) وګورئ. د دغو دوو کړنو ترمنځ د مقایسه لپاره، Morgan and Winship (2014) وګورئ. د یو ناڅاپه تعریف کولو لپاره د رسمي کړنلارې لپاره، VanderWeele and Shpitser (2013) وګورئ.
پدې فصل کې، ما د دې لپاره رامینځته کړی چې د تجربې او غیر تجربې ډاټا څخه د تلفاتو اټکل کولو وړتیا زموږ ترمنځ د روښانه کرښې په څیر ښکاري. په هرصورت، زه فکر کوم چې، په واقعیت کې، توپیر ډیر خنډ دی. د بیلګې په توګه، هرڅوک دا مني چې سګرټ څکول د سرطان لامل کیږي، حتی که څه هم د ناڅاپي کنترول تجربه نه لري چې خلک یې د سګرټ څکولو توان لري. د غیر تجرباتي معلوماتو څخه د تلفاتو اټکل کولو لپاره د کتاب د اوږدې درملنې لپاره د Rosenbaum (2002) ، ( ??? ) ، Shadish, Cook, and Campbell (2001) او Dunning (2012) .
د Freedman, Pisani, and Purves (2007) فصلونو 1 او 2 Freedman, Pisani, and Purves (2007) د تجربو، کنترول تجربو، او د ناڅاپي کنټرول تجربو ترمنځ د توپیرونو روښانه څرګندونه وړاندې کوي.
Manzi (2012) د ناڅاپه کنټرول تجربو تجربو فلسفي او احصایوي ټکي ته د پام وړ او لوستونکي پیژندل شوي معرفي کوي. دا په سوداګرۍ کې د تجربې د قدرت ځواک په زړه پورې ریښتینې نړۍ مثالونه وړاندې کوي. Issenberg (2012) د سیاسي کمپاینونو په تجربه کې د تجربې کارولو لپاره یوه زړه پیژندنه وړاندې کوي.
- تجربې څه دي؟ (برخه 4.2)
Box, Hunter, and Hunter (2005) ، @ casella_statistical_2008، او Athey and Imbens (2016b) د تجربې ډیزاین او تحلیلاتو احصایوي اړخونو ته ښه تعقیب چمتو کوي. برسېره پر دې، په ډیری بیلابیلو برخو کې د تجربو کارولو خورا غوره درمل شتون لري: اقتصاد (Bardsley et al. 2009) ، ټولنولوژی (Willer and Walker 2007; Jackson and Cox 2013) ، رواني پوهه (Aronson et al. 1989) ، سیاسي علوم (Morton and Williams 2010) ، او ټولنیزه پالیسۍ (Glennerster and Takavarasha 2013) .
د ګډون کونکي استخدام اهمیت (د بیلګې په توګه، نمونې کول) ډیری وخت په تجربوي څیړنو کې د ستاینې وړ دي. که څه هم، که چیرې د درملنې اغیزه په خلکو کې ویشنه وي نو بیا نمونه کول خورا مهم دي. Longford (1999) دا نقشه په روښانه ډول سره کوي کله چې هغه د څیړونکو لپاره مدافع وکیل د نفوس نمونې کولو سره د نفوس سروې په توګه د تجربو په اړه فکر کوي.
- د تجربو دوه اړخونه: د لابراتوار ساحه او انډال - ډیجیټل (برخه 4.3)
ما دا وړاندیز کړی چې د لابراتوار او ساحوي تجربو تر منځ یو دوام شتون لري، او نورو څیړونکو نور تفصيلي ټیکنالوژۍ وړاندیز کړی دی، په ځانګړي توګه چې د ساحې تجربو مختلف ډولونه (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .
ډیری مقالو په لنډیز کې د لابراتوار او ساحې تجربې پرتله کړې (Falk and Heckman 2009; Cialdini 2009) او په سیاسي علومو کې (Coppock and Green 2015) کې د ځانګړو تجربو پایلې، د اقتصاد (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) ، او رواني پوهه (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) د لابراتوار او ساحې تجربو د پایلو د پرتله کولو لپاره د ښه څیړنې ډیزاین وړاندې کوي. Parigi, Santana, and Cook (2017) تشریح کوي چې د آنلاین ساحې تجربې کولی شي د لابراتوار او ساحې تجربې ځینې ځانګړتیاوې سره یوځای کړي.
د ګډونوال په اړه اندیښنې د دوی چلند بدلوي ځکه چې دوی پوهیږي چې دوی نږدې نږدې لیدل کیږي، کله ناکله کله ناکله د غوښتنې اغیزې ویل کیږي، او دوی په رواني ناروغیو کې (Orne 1962) او اقتصاد (Zizzo 2010) (Orne 1962) زده کړې شوي. که څه هم ډیری یې د لابراتوار تجربو سره تړلي دي، دا ورته مسلې کولی شي د ساحې تجربو لپاره هم ستونزې رامینځ ته کړي. په حقيقت کې، د تقاضا اغيزونه کله ناکله د هاوورتورن اغيزې په نامه هم ياديږي، هغه اصطلاح چې د مشهور روښانتيا تجربې ترلاسه کوي چې په 1924 کې د لويديځ بريښنا شرکت (Adair 1984; Levitt and List 2011) . د تقاضا اغیزه او د هاورنیور اغیزې د مثبتو اندازو د نظر سره نږدې دي چې په دویم څپرکی کې بحث شوي) Webb et al. (1966) وګورئ (.
ساحه تجربه په اقتصاد کې اوږده تاریخ لري (Levitt and List 2009) ، سیاسي ساینس (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) (Shadish 2002) (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) ، رواني پوهه (Shadish 2002) ، او عامه پالیسۍ (Shadish and Cook 2009) . د ټولنیز ساینس یو ساحه چېرته چې ساحوي تجربې په چټکۍ سره رامینځ ته شوې د پام وړ نړیواله پراختیا ده د اقتصاد په دننه کې د یو مثبت بیاکتنې لپاره Banerjee and Duflo (2009) وګورئ، او د یوې جدي ارزونې لپاره د Deaton (2010) وګورئ. په سیاسي ساینس کې د دې کار بیاکتنې لپاره Humphreys and Weinstein (2009) وګورئ. په پای کې، د سیمه (Humphreys 2015; Desposato 2016b) تجربو څخه رامنځته شوي اخلاقي ننګونې د سیاسي علومو (Humphreys 2015; Desposato 2016b) او پراختیایي اقتصاد (Baele 2013) په مفهوم کې کشف شوې.
پدې برخه کې، ما وړاندیز کړی چې د درملنې دمخه معلومات د اټکل شوي درملنې اغیزو د ښه کولو لپاره کارول کیدی شي، مګر د دې تګلارې په اړه یو څه بحث شتون لري؛ Freedman (2008) وګورئ، W. Lin (2013) ، Berk et al. (2013) ، او Bloniarz et al. (2016) نور معلومات لپاره.
په پاى کې، د ټولنيزو ساينسانو لخوا ترسره شوي تجربې دوه ډوله ډولونه شتون لري چې د لابراتوار ساحه ابعاد سره په سمه توګه نه کار کوي: د سروې تجربې او ټولنیز تجربې. د سروې تجربې د اوسنیو سروې زیربناوو په کارولو تجربه کوي او د ورته پوښتنو بدیل نسخو ځوابونو پرتله کوي) ځینې سروې تجربې په دریم فصل کې وړاندې شوي (؛ د سروې تجربو په اړه د زیاتو معلوماتو لپاره وګورئ Mutz (2011) . ټولنیز تجربې هغه تجربې دي چې درملنه یو څه ټولنیز پالیسي ده چې یوازې د حکومت لخوا پلي کیدی شي. ټولنیز تجربې د پروګرام ارزونې سره نږدې تړاو لري. د پالیسیو تجربو په اړه د نورو لپاره، Heckman and Smith (1995) ، Orr (1998) او @ glennerster_running_2013 وګورئ.
- د ساده تجربو څخه بهر حرکت (برخه 4.4)
ما په دریو مفکورو تمرکز کړی دی: اعتبار، د درملنې د اغیزو تفاوت، او میکانیزمونه. دا مفکورې په بیلابیلو برخو کې مختلف نومونه لري. د مثال په توګه، رواني پوهان د منځګړیتوبونو او منځګړیتوبونو (Baron and Kenny 1986) تمرکز کولو سره د ساده تجربو څخه بهر ځي. د منځګړیتوب نظر د هغه څه په واسطه نیول کیږي کوم چې زه یې میکانیزم غواړم، او د منځګړیتوب مفکوره د هغه څه په واسطه ونیول شي کوم چې زه د بهرني اعتبار غوښتنه کوم (د بیلګې په توګه، په مختلفو شرایطو کې د دوی د تجربو په صورت کې به د تجربې پایلې توپیر ولرئ) او د درملنې د اغیزو توپیر ( د مثال په توګه، د نورو خلکو په پرتله د ځینو خلکو لپاره لویه اغیزه).
د Schultz et al. (2007) لخوا تجربه Schultz et al. (2007) ښیې چې د اغیزمن مداخلو د ډیزاین کولو لپاره د ټولنیزو تیوریونو څنګه کارول کیدی شي. د اغیزمنو مداخلو په ډیزاین کولو کې د تیورۍ د رول په اړه د عمومي عمومي بحث لپاره، Walton (2014) وګورئ Walton (2014) .
- اعتبار (برخه 4.4.1)
د داخلي او بهرني اعتبار مفکورې د لومړي ځل لپاره د Campbell (1957) لخوا معرفي شوې. د ډیرو تفصيلي تاریخ لپاره Shadish, Cook, and Campbell (2001) وګورئ Shadish, Cook, and Campbell (2001) د احصایوي پایلې اعتبار، داخلي اعتبار، د اعتبار تامین، او بهرني اعتبار په اړه د پام وړ تشریح.
په تجربو کې د احصایوي پایلې اعتبار په اړه د نظرونو لپاره د Gerber and Green (2012) (د ټولنیزې ساینس له نظره) او Imbens and Rubin (2015) (د احصایوي نظریې څخه) وګورئ. د احصایوي پایلې اعتبار په اړه ځینې مسایل چې په ځانګړې توګه د آنلاین ساحو تجربو کې را منځته کیږي د (Bakshy and Eckles 2013) ډاټا سره د اعتماد وقفاتو د رامنځته کولو لپاره مسایل لکه اغیزمنه طریقه لکه (Bakshy and Eckles 2013) .
داخلي اعتبار په مشکل کېدای شي د پیچلو ساحو تجربو کې ډاډ ترلاسه شي. د بیلګې په توګه، Gerber and Green (2000) ، Imai (2005) ، او Gerber and Green (2005) د رایې په اړه د پیچلي ساحې تجربې د پلي کولو په اړه د بحث لپاره. Kohavi et al. (2012) او Kohavi et al. (2013) د آنلاین ساحو تجربو کې د منځګړیتوب د ثابتو ننګونو کې معرفي کوي.
داخلي اعتبار ته یو لوی ګواښ د ناکامۍ ناڅاپي کولو امکان دی. د ناڅرګندتیا سره د ستونزو د موندلو یوه احتمالي لاره دا ده چې د مشاهدو ځانګړو ډلو درملنه او کنټرول پرتله کړي. دا ډول پرتله کولو ته د توازن تفتیش ویل کیږي. د توازن چکونو په اړه اندیښنو لپاره د توازن چکونو Mutz and Pemantle (2015) د احصایوي کړنالرې لپاره Hansen and Bowers (2008) وګورئ. د بیلګې په توګه، د توازن تفتیش څخه، Allcott (2011) داسې شواهد موندلي چې ناڅاپي تصفیه په دریو کې د پرانیستلو تجربو کې ندي پلي شوې) جدول 2 وګورئ؛ سایټونه 2، 6، او 8 (وګورئ. د نورو تګلارو لپاره، د Imbens and Rubin (2015) 21 برخې وګورئ.
د داخلي اعتبار په اړه نورې مهمې اندیښنې په الندې ډول دي:) 1 (د یو اړخیزې نابرابره کولو، چېرته چې د درملنې ډلې کې هرڅوک په واقعیت کې درملنه نده اخیستې،) 2 (دوه اړخیزې ناباوره کول، چېرته چې د درملنې ډلې کې هر څوک درملنه نه کوي د کنترول ګروپ درملنه ترالسه کوي،) 3 (کمیشنر، چېرې چې پایلې د ځینو ګډون کوونکو لپاره اندازه ندی شوي، او) 4 (مداخله، چیرته چې درمل د خلکو څخه د درملنې حالت کې د کنترول حالت کې راځي. د دغو مسلو په اړه د نورو لپاره د Gerber and Green (2012) فصلونو 5، 6، 7، او 8 فصلونو وګورئ.
د جوړولو په اړه د نورو لپاره، Westen and Rosenthal (2003) وګورئ Westen and Rosenthal (2003) ، او د ډیرو معلوماتو سرچینو په اړه د اعتبار په اړه لازیاتو معلوماتو لپاره، Lazer (2015) او د دې کتاب دویمه برخه.
د بهرني اعتبار یو اړخ دی چې په هغه کې مداخله آزموینه ده. Allcott (2015) د ساحې د انتخاب تعصب لپاره نظریاتي او تجربه لرونکي درمل چمتو کوي. دا مسله د Deaton (2010) لخوا هم په پام کې نیول شوې ده. د بهرنی اعتبار بله بله اړخ دا دی چې ایا د ورته مداخلې بدیل عملیاتونه به ورته اغیزه ولري. پدې حالت کې، د Schultz et al. (2007) او Allcott (2011) ښیي چې د پرانیستلو تجربو د اصلي تجربو په پرتله د کوچنیو اټکل شوي درملنې اغیزه درلوده د Schultz او همکارانو لخوا (1.7٪ versus 5٪). Allcott (2011) معلومه کړه چې تعقیبي تجربو لږ اغیزه درلوده ځکه چې درملنه توپیر لري: د یوې مطالعې یوې برخې په توګه چې د پوهنتون لخوا تمویل شوي د یوې لاسي لیک شوي امتیاز په توګه، د یوې چاپ شوي امتیاز په پرتله چې د ډله ایز تولید شوي برخې په پرتله د بریښنا شرکت څخه راپور.
- د درملنې اغیزې حاکمیت طریقت (برخه 4.4.2)
په ساحوي تجربو کې د درملنې د اغیزو د تثبيتیت د یوې غوره کتنې لپاره، د Gerber and Green (2012) فصل 12 برخه وګورئ Gerber and Green (2012) . په طبي محاکمو کې د درملنې د اثراتو د هیتججینګ کولو لپاره د تعارف لپاره، وګورئ Kent and Hayward (2007) ، Longford (1999) ، او Kravitz, Duan, and Braslow (2004) . د درملنې د اغیزو تثبیتات په عمومي توګه د درملنې دمخه ځانګړتیاوو پر بنسټ توپیرونه تمرکز کوي. که تاسو د درملنې وروسته پایلې پراساس د تثبیت سره مینه لرئ، نو بیا ډیر پیچلي الرې ته اړتیا لیدل کیږي، لکه پرنسپل استحکام (Frangakis and Rubin 2002) . Page et al. (2015) وګورئ Page et al. (2015) د بیا کتنې لپاره.
ډیری څیړونکي د لینر فشار سره د درملنې تاثیرات د جغرافیایي اټکل اټکل کوي، مګر نوې میتودونه د ماشین زده کړې پر اساس تکیه کوي؛ وګورئ، د بیلګې په توګه، Green and Kern (2012) ، Imai and Ratkovic (2013) ، Taddy et al. (2016) ، او Athey and Imbens (2016a) Taddy et al. (2016) Athey and Imbens (2016a) .
د اثراتو د تثبیت د موندنو په اړه ځینې شک شتون لري ځکه چې د ډیری پرتله کولو ستونزې او "ماین پاکۍ". د مختلفو پیژندل شویو تګلارو شتون شتون لري چې د ډیری پرتله کولو په اړه اندیښنو ته د حل لپاره مرسته کوالی شي (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . د "ماین پاکۍ" په اړه د اندیښنو یوه لاره مخکې له ثبتولو څخه ده، کوم چې په رواني ناروغیو کې په پراخه کچه عام کیږي (Nosek and Lakens 2014) ، سیاسي ساینس (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ، او اقتصاد (Olken 2015) .
Costa and Kahn (2013) کې په ازموینې کې یوازې نیمایي کورنۍ کیدای شي د ډیموکراتیکي معلوماتو سره تړاو ولري. لوستونکي باید د دې تفصیلات په لټه کې وي، باید اصلي پاڼې ته اشاره وکړي.
- میکانیزمونه (4.4.3 برخه)
میکانیزمونه په زړه پورې دي مهم دي، مګر دوی د مطالعې لپاره خورا ستونزمن کاروي. د میکانیزمونو په اړه څیړنې د ارواپوهنې په برخه کې د منځګړیتوب مطالعې سره نږدې نږدې دي) مګر د دوه نظریو ترمنځ دقیق پرتله کولو لپاره VanderWeele (2009) هم وګورئ. د میکانیزمونو موندلو لپاره احصایوي لارې چارې، لکه څنګه چې Baron and Kenny (1986) پرمختللی کړنلاره ډیره عامه ده. له بده مرغه، دا معلومه شوه چې دا پروسیجرونه په ځینې پیاوړې انګیرنې پورې تړلي دي (Bullock, Green, and Ha 2010) او کله چې ډیری میکانیزمونه وي، ځورول کیږي، ځکه چې کیدای شي په ډیرو حالتونو کې تمه ولري (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) او Imai and Yamamoto (2013) د ځینې اصلاح شویو احصایوي میتودونو وړاندیز کوي. برسېره پر دې، VanderWeele (2015) د یو شمیر مهمو پایلو سره د کتاب اوږد درمل وړاندې کوي، په شمول د حساسیت شننې جامع اړخ.
یو جلا طریقه په تجربو تمرکز کوي چې دا میکانیزم په نیغ په نیغه هڅه کوي) د بیلګې په توګه، د نایټینټ ویټامین سي (. په خواشینۍ سره، په ډیری ټولنیز ساینس سیسټمونو کې، ډیری وختونه ډیری میکانیزمونه شتون لري او دا خورا ستونزمنې ده چې درملنې ډیزاین کړي چې د نورو پرته بدله بدله کړي. د تجربې بدلون میکانیزمونو لپاره ځینې لارې چارې د Imai, Tingley, and Yamamoto (2013) ، Ludwig, Kling, and Mullainathan (2011) ، او Pirlott and MacKinnon (2016) لخوا تشریح شوي.
څیړونکي د بشپړ فیلیلور تجربو چلولو ته اړتیا لري څو د ډیرو فرضی تحصیلاتو په اړه اندیښنه ولري؛ د نورو معلوماتو لپاره Fink, McConnell, and Vollmer (2014) او List, Shaikh, and Xu (2016) وګوری List, Shaikh, and Xu (2016) وګورئ.
په پای کې، میکانیزمونه هم د فلسفې په فلسفه کې اوږد تاریخ لري لکه څنګه چې د Hedström and Ylikoski (2010) لخوا تشریح شوی.
- د موجوده چاپیریال کارول (برخه 4.5.1)
د تبعیض اندازه کولو لپاره د لیکلو مطالعاتو او پلټنې مطالعاتو په اړه د نورو لپاره، Pager (2007) وګورئ Pager (2007) .
- خپل ځان تجربه جوړ کړئ (برخه 4.5.2)
د ګډونوالو د ګمارلو لپاره تر ټولو عام لاره چې تاسو تاسیس کړئ ایمیزونیک میکانیکک ترک (MTurk) دی. ځکه چې میټروک د دودیزو لابراتوار تجربو اړخونه پیژني - خلکو ته د دندې د بشپړولو لپاره پیسې ورکول چې دوی به د وړیا ډېرو څیړونکو لپاره هیڅ کار ونه کړي دمخه له ترکيز څخه کار اخیستل پیل کړي) تجربه لرونکي ګډون کوونکي (کارمندانو په توګه کار کوي، چې نتیجه یې د سټیټ او ارزانه ډیټا راټولولو وړتیا لري. په کمپمپس کې د لابراتوار تجربو کې (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .
په عمومي ډول، د ټیکټراکټ کاروونکو کارولو لویه ګټه د ټیټیکراک څخه استخباراتي ده. پداسي حال کې چې د لیب تجربې کولی شي اونۍ دوام وکړي او ساحه تجربه کولی شي د میاشتو لپاره ترتیب کړي، د MTKU څخه استخدام شوي تجربو تجربه کولی شي په ورځو کې پرمخ بیايي. د بیلګې په توګه، Berinsky, Huber, and Lenz (2012) د دې توان درلود چې په یوه ورځ کې 400 مضامین استخدام کړي ترڅو په 8 دقیقو تجربو کې ګډون وکړي. برسېره پر دې، دا برخه اخیستونکي په حقیقي توګه د کوم هدف لپاره استخدام شوي) سروې او ډله ایزې همکارۍ، لکه څنګه چې په 3 او 5 فصلونو کې بحث شوی (. د استخدام آسانتیا پدې مانا ده چې څیړونکي کولی شي په چټکه بریالیتوب کې د اړوندو تجربو ترتیبات پرمخ بوځي.
د خپلو تجربو لپاره د MTurk څخه د ګډون کونکو ګمارلو دمخه، دلته څلور مهم شیان شته چې تاسو یې اړتیا لرئ. لومړی، ډیری محققان د ترکي تجربو تجربو تجربه لرونکي شک لري. ځکه چې دا شک شک نلري، نو د شواهدو سره مبارزه سخته ده. په هرصورت، د ترکيز کارولو له څو کلونو راهیسې، موږ اوس کولی شو نتیجه وکړو چې دا شک په ځانګړې توګه حقایق نه دی. د ترکي ډیموکراتیکانو پرتله کول د نورو وګړو په پرتله ډیری مطالعې دي او ډیری مطالعې د ترکيانو سره د تجربو د پایلو پرتله کولو سره د نورو وګړو څخه ګټه اخلي. د دې ټولو کارونو په پام کې نیولو سره، زه فکر کوم چې تاسو ته د دې فکر کولو لپاره غوره لاره دا ده چې ترکان د مناسب اسانتیا یوه نمونه ده، لکه محصلین مګر لږ څه توپیر لري (Berinsky, Huber, and Lenz 2012) . لدې کبله، لکه څنګه چې زده کونکي د ځینو لپاره مناسبه نفوس وي، مګر ټول نه، څیړنه، ترکان د ځینو لپاره مناسب نفوس دي، مګر ټول، څیړنه. که تاسو د ترکيرانو سره کار کوئ، نو دا د دې مقایسي ډیری مطالعې لوستلو او د هغوی د نوبتونو په اړه پوهیږي.
دوهم، څیړونکو د MTurk تجربو داخلي اعتبار زیاتولو لپاره غوره طریقې رامینځته کړې، او تاسو باید د دې غوره عملونو په اړه زده کړه وکړئ او (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) اړه زده کړه وکړئ. د مثال په توګه، د ترکي کارولو کارپوهانو هڅول کیږي چې د غیر (Berinsky, Margolis, and Sances 2014, 2016) ګډون کوونکو (Berinsky, Margolis, and Sances 2014, 2016) څخه کار واخلي ترڅو (د DJ Hauser and Schwarz (2015b) او DJ Hauser and Schwarz (2015a) وګورئ. که تاسو غیر حاضر ګډون کونکي نه لرې، نو د درملنې کومه اغیزه د غږ له الرې واخیستل شي چې دوی یې معرفي کوي، او په عمل کې د غیر حاضرو ګډون کونکو شمیر خورا مهم وي. د هبیر او همکارانو لخوا په تجربه کې (2012) ، شاوخوا 30٪ ګډون کونکي د پام وړ پاملرونکي سکرینرونه ناکام شول. نورې ستونزې چې معمولا پیدا کیږي کله چې ترکي کارول کیږي کارول غیر فعال دي (Chandler et al. 2015) او جذب (Zhou and Fishbach 2016) .
دریمه، د ډیجیټل تجربو د نورو ډولونو سره تړاو، MTurk تجربه نشي اندازه کولی؛ Stewart et al. (2015) اټکل کوي چې په هر وخت کې میټروک کې یوازې 7000 خلک شتون لري.
په پاى کې، تاسو بايد پوه شئ چې ميټروک د هغې د قواعدو او نورمونو (Mason and Suri 2012) ټولنه (Mason and Suri 2012) ټولنه ده. په ورته ډول چې تاسو به د هغه هیواد کلتور په اړه چې تاسو یې غواړئ خپلو تجربو ته ادامه ورکړو هڅه وکړئ، تاسو باید هڅه وکړئ تر څو د ترکيانو کلتور او نورمونو په اړه نور معلومات ومومئ (Salehi et al. 2015) ساله ایال (Salehi et al. 2015) . او تاسو باید پوه شئ چې ترکمنان به ستاسو د تجربې په اړه خبرې وکړي که چیرې تاسو یو څه ناسم یا غیر اخلاقي کارونه وکړئ (Gray et al. 2016) .
میټروک د ګډونوالو د ګمارلو لپاره ستاسو په تجربو کې د ګومارلو لپاره یوه اسانه لاره ده، ایا دوی د لابراتوار په څیر دي، لکه Huber, Hill, and Lenz (2012) ، یا د نورو ساحو په څیر لکه Mason and Watts (2009) ، Goldstein, McAfee, and Suri (2013) ، Goldstein et al. (2014) ، Horton and Zeckhauser (2016) ، او Mao et al. (2016) .
- خپل محصول تولید کړئ (برخه 4.5.3)
که تاسو د خپل محصول تولیدولو هڅه کولو فکر کوئ، زه سپارښتنه کوم چې تاسو د فلم لینس ګروپ لخوا په Harper and Konstan (2015) کنستان کې وړاندیز شوي مشورې لوستل Harper and Konstan (2015) . د دوی د تجربې کلیدي بصیرت دا دی چې د هر بریالي پروژې لپاره ډیری ډیری دي، ډیری ناکامۍ. د بیلګې په توګه، د فلم لین ګروپ نورو محصولاتو لکه د ګوپر پوښتنو پیل کړی، چې بشپړ ناکامۍ وې (Harper and Konstan 2015) . د محقق یو بل مثال د محصول جوړولو په وخت کې پاتې راغلی دی، اډوارډ کاسټرووا د اډډ په نامه د آنلاین آنلاین جوړولو لپاره هڅه ده. د $ 250،000 په فنډ کې سره، پروژه یو فلپ وه (Baker 2008) . د گوپر پوښتنو او اردن په څیر پروژې بدبختانه دي چې د فلم لینز په څیر د پروژو ډیرې عامې دي.
- د ځواکمنو سره ملګری (برخه 4.5.4)
ما د Pasteur Quadrant نظریه په تخنیکي ټکنالوژۍ کې په ځینو وختونو بحث وکړ، او دا په Google کې د تحقیق هڅو هڅو کې مرسته کوي (Spector, Norvig, and Petrov 2012) .
بانډ او د همکارانو مطالعې (2012) هڅه کوي چې د دې درملنې اغیز د هغو کسانو په اړه چې دوی یې ترلاسه کړي وپیژني. د تجربې د ډیزاین له امله، دا سپلورونکي په پاکه توگه ستونزمن دي؛ لیوالتیا لوستونکي باید Bond et al. (2012) وګوري Bond et al. (2012) د یوې بشپړې بحث لپاره. جونز او ملګري (2017) د 2012 کال په ټاکنو کې هم ورته تجربه هم ترسره کړه. دا تجربې د رایې هڅونې په هڅولو کې د سیاسي علومو تجربو د اوږد دود یوه برخه ده (Green and Gerber 2015) . د رایو څخه د رایو ورکولو تجربې عامې دي، ځکه چې دوی د Pasteur په کوډرانت کې دي. دا هغه څه دي چې ډیری خلک یې د رایې زیاتوالي لپاره هڅول کیږي او رایې کولی شي یوه زړه پورې چلند وي چې د چلند د بدلون او ټولنیز نفوذ په اړه د عمومي عمومي نظریاتو ازموینه وکړي.
ملګري سازمانونو لکه سیاسي ګوندونه، نادولتی موسسو او کاروباریانو سره د چلولو ساحو تجربو په اړه مشورې لپاره، Loewen, Rubenson, and Wantchekon (2010) ، JA List (2011) ، او Gueron (2002) . د مفکورو لپاره چې سازمانونو سره ملګرتیا کولی شي څیړنې ډیزاین اغیزې وکړي، King et al. (2007) وګورئ King et al. (2007) او Green, Calfano, and Aronow (2014) . شراکت کولی شي اخلاقی پوښتنو ته هم الر پیدا کړي لکه څنګه چې د Humphreys (2015) او Nickerson and Hyde (2016) لخوا بحث شوی.
- د ډیزاین مشوره (برخه 4.6)
که تاسو د خپل تجربې د ترسره کولو دمخه د تحلیل پالن جوړ کړئ نو زه وړاندیز کوم چې تاسو د راپور ورکولو الرښودونو په پیلولو پیل کوئ. کنسورت (د آزموینې د معیاري راپور ورکولو لارښوونې) لارښوونې په طب (Schulz et al. 2010) او د ټولنیزو څیړنو (Mayo-Wilson et al. 2013) لپاره اصالح شوې. د تجربوي سیاسي سیاسي علومو د ژورنالستانو لخوا د لارښوونو اړوند اړوند لارښودونه (Gerber et al. 2014) ( Mutz and Pemantle (2015) او Gerber et al. (2015) ) هم وګورئ. په پای کې، د راپور ورکولو الرښوونې په رواني ناروغیو کې پراختیا شوې دي (APA Working Group 2008) ، او Simmons, Nelson, and Simonsohn (2011) .
که تاسو د تحلیل پالن جوړ کړئ، نو تاسو باید د دې ثبتولو په اړه فکر وکړئ ځکه چې مخکې له نوم لیکنې به باور زیات کړي چې نور ستاسو په پایلو کې لري. برسېره پر دې، که تاسو د یو ملګري سره کار کوئ، دا به د پایلو د لیدلو وروسته تحلیل بدلولو لپاره د خپل ملګري توان محدود کړي. مخکې ثبت کول په رواني ناروغیو کې ډیر زیات عام کیږي (Nosek and Lakens 2014) ، سیاسي ساینس (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ، او اقتصاد (Olken 2015) .
ډیزاین مشوره په ځانګړې توګه د آنلاین ساحو تجربو لپاره هم په Konstan and Chen (2007) او Chen and Konstan (2015) .
هغه څه چې ما د آرمزاده ستراتیژي بللې ده کله ناکله د پروګرام څیړنې په نوم یادېږي. Wilson, Aronson, and Carlsmith (2010) .
- د صف متغیر لګښت لګښت ډاټا جوړ کړئ (برخه 4.6.1)
د MusicLab تجربو په اړه د نورو لپاره، Salganik, Dodds, and Watts (2006) ، Salganik and Watts (2008) ، Salganik and Watts (2009b) ، Salganik and Watts (2009a) او Salganik (2007) . په ګټونکي باندې د زیاتو لپاره - ټول بازارونه واخلئ، Frank and Cook (1996) وګورئ. د لا زیاتو خوندیتوب او مهارتونو په اړه د الزیاتو معلوماتو لپاره، Mauboussin (2012) ، Watts (2012) او Frank (2016) .
د ګډون کوونکو تادیاتو له منځه وړل بله طریقه ده چې څیړونکي باید د احتیاط سره کار واخلي: نسخه. په ډیرو آنلاین ساحو تجربو کې برخه اخیستونکي اساسا په تجربو کې چمتو شوي او هیڅکله هم خساره ندي ورکول شوي. د دې تګالرې بېلګې په ويکيپېډيا او وين وينډز (2012) کې د ويکيپېډيا او بانډ او د همکارۍ (2012) تجربې په اړه د خلکو په اړه د خلکو هڅولو لپاره د تجربو په اړه تجربه. دا تجربې په حقیقت کې صفر متغیر لګښت نه لري مګر، دوی د څیړونکو لپاره د متغیر لګښت صفر لري. په داسې تجربو کې، حتی که چیرې هر ګډون کوونکي لګښت خورا کوچنی وي، مجموعي لګښت کېدای شي لوی وي. څیړونکي د پراخو آنلاین تجربو چلولو لپاره ډیری وختونه د کوچنیو اندازې درملنې اغیزې اهمیت توجیه کوي چې پدې سره دا کوچني اغیزې کیدی شي کله چې ډیری خلکو ته تطبیق شي. عین ورته فکر د لګښتونو لپاره پلي کیږي چې څیړونکي په ګډونوالو تکیه کوي. که ستاسو تجربه یو میلیون خلک د یوې دقیقې ضایع کولو سبب شي، تجربه هر یو ځانګړي کس ته زیان رسونکی نه وي، مګر په مجموع کې نږدې دوه کاله وخت ضایع شوی.
ګډونوالو ته د صفر متغیر مصرف لګښت بله بله لاره داده چې لاټریټ کارول شي، هغه تګلاره چې د سروې په څیړنه کې هم کارول کیږي (Halpern et al. 2011) . د خوښې وړ کاروونکو تجربو د ډیزاین په اړه د لازیاتو معلوماتو لپاره وګورئ Toomim et al. (2011) . د صفر کارولو لپاره د صفر کارولو تجربو جوړولو لپاره د نورو معلوماتو لپاره وګورئ ( ??? ) .
- بدل کړئ، بیاکتنه، او کم کړئ (برخه 4.6.2)
د درې آر آر لکه څنګه چې د Russell and Burch (1959) لخوا وړاندیز شوي په لاندې ډول دي:
"د معاوضې د insentient مواد شعوري لوړو حيواناتو لپاره د بدلولو په مانا ده. د کمولو د دې مانا د څارويو د معلوماتو د ورکړې اندازه او دقت ترلاسه کيدو د شمېر د کمولو. سوچه مانا په پیښې او یا د انساني طرزالعملونه چې د هغو حيواناتو چې اوس هم بايد وکارول شي استعمال د شدت د هر ډول کموالی راغلی دی. "
درې ر هغه چې زه وړاندیز کوم چې په فصل کې بیان شوي اخالقي اصولو ته زیاتوالی نه ورکوو. بلکه، دوی د دغو اصولو څخه د پام وړ نسخه یو له ځانه سره لري - په ځانګړې توګه د انساني تجربو په ترتیب کې.
د لومړي ر ("بدیل") په اساس، د جذباتي کنجین تجربه پرتله کول (Kramer, Guillory, and Hancock 2014) او د احساساتي کنجام طبیعی تجربه (Lorenzo Coviello et al. 2014) د سوداګریزو بندونو په اړه یو څه عمومي درس وړاندې کوي (Lorenzo Coviello et al. 2014) تجربو څخه د طبیعی تجربو څخه لیږدول کیږی (او نور لارښوونی لکه د مابین تجربه لرونکو معلوماتو کې د اټکل تجربو سره سم، دوهم فصل وګورئ). د اخلاقي ګټو برسیره، د تجربې او غیر تجرباتي مطالعاتو څخه بدلون کول د څیړونکو څخه د درملنې مطالعه کوي چې دوی د لوژستیکي پلوه نشي ګمارل کیدی. که څه هم دا اخلاقي او لوژستيکي ګټې په لګښت کې راځي. د طبیعي تجربو سره څیړونکي د شیانو په ګومارلو، تصفیه کولو، او د درملنې طبیعت په اړه لږ کنټرول لري. د مثال په توګه، د باران په توګه د باران یو محدودیت دا دی چې دا دواړه مثبتیت زیاتوي او منفي اغیزه کوي. که څه هم، په تجربې مطالعې کې، کرمر او همکاران په خپلواک ډول د مثبتیت او منفي وړتیا سمون لپاره و. ځانګړی کړنالره Lorenzo Coviello et al. (2014) نور نور د L. Coviello, Fowler, and Franceschetti (2014) Lorenzo Coviello et al. (2014) لخوا تشریح شوی. د انټرنیټ متغیراتو لپاره د معرفي کولو لپاره، کوم چې د Lorenzo Coviello et al. (2014) لخوا کارول کیږي Lorenzo Coviello et al. (2014) ، وګورئ Angrist and Pischke (2009) (لږ رسمي) یا Angrist, Imbens, and Rubin (1996) (نور رسمي). د وسایطو متغیراتو د شکایاتو ارزونه لپاره، Deaton (2010) وګورئ، او د انټرنیټ متغیراتو پیژندلو لپاره کمزوري وسایل (باران یو کمزوري وسیله ده)، Murray (2006) وګورئ) وګورئ. په عمومي توګه، د طبیعي تجربو ښه پیژندنه د Dunning (2012) لخوا ورکول کیږي، پداسې حال کې چې Rosenbaum (2002) ، ( ??? ) ، او Shadish, Cook, and Campbell (2001) تجربو اغیزې پرته د تجربو اغیزونو اټکل کولو په اړه ښه نظرونه وړاندې کوي.
د دویم R ("بدله") په شرط، د علمي او لوژستيکي سوداګرۍ سوداګري شتون لري کله چې د پوستونو د زیاتوالي لپاره د پوستونو د بندولو څخه د احساساتي کنجګیز ډیزاین بدلولو په اړه غور کوي. د مثال په توګه، دا ممکن وي چې د خبر فیډ تخنیکي تطبیق د دې تجربه کولو لپاره خورا خورا اسانه وي چې په هغه پوستونو کې چې پوستونه یې لوړېږي د هغې په پرتله بند شوي دي (یادونه وکړئ چې د پوستونو د بندولو تجربه به پلي شي د نیوز فیډ سیسټم په سر کې د پرتې سیسټم په توګه پرته له دې چې د اصلي سیسټم بدلون بدل شي). په واقعیت کې، مګر، د تجربې په اړه نظرپوښتنه د نورو په پرتله په ډیزاین ډول وړاندیز نه و کړی. له بده مرغه، زه په خبر فیډ کې د محتوياتو د مینځلو او پراختیا لپاره د اړینې وړتیا په اړه د پام وړ پخوانیو څیړنو څخه خبر نه یم. همدارنګه، ما د دوی د زیان زیان رسولو لپاره د درملنې درملنې په اړه ډیر تحقیق نه دی لیدلی؛ یو استثنا B. Jones and Feamster (2015) ، کوم چې د انټرنیټ سانسور اندازه کولو قضیه (یو موضوع چې ما د دویم ځل مطالعې سره په اړیکه کې په شپږم فصل کې بحث کاوه (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).
د دریمې R ("کمولو") په اساس، د دودیز ځواک د تحلیل لپاره ښه تعامل د Cohen (1988) (کتاب) او Cohen (1992) (مقالې) لخوا ورکړل شوی، پداسې حال کې چې Gelman and Carlin (2014) یو څه مختلف وړاندیز وړاندې کوي. د پخوانیو درملنې وړتیاوې د تجربو د ډیزاین او تحلیل پړاو کې کېدی شي. د Gerber and Green (2012) څلورم څپرکی Gerber and Green (2012) د دواړو تګلارو لپاره ښه پیژندنه وړاندې کوي، او Casella (2008) ډیر ژور درمل وړاندې کوي. هغه تخنیکونه چې دا مخکې له درملنې مخکې معلومات په نا ترتیب کولو کې کارول کیږي په عموما کې یا هم د تجربې ډیزاین شوي ډیزاین یا سټراټیژیک تجربې ډیزاینونه (اصطلاحات په ټوله کچه په ټول ټولنو کې کارول کیږي)؛ دا تخنیکونه په سمه تجربو کې د دې ډیزاینونو په کارولو کې د نورو لپاره د Higgins, Sävje, and Sekhon (2016) وګورئ. د نمونې وړ نمونې تخنیکونو سره نږدې تړاو لري. مخکې له مخکې درملنه کولی شي د شننې په پړاو کې هم شامل شي. McKenzie (2012) د ساحې تجربو تحلیل کولو لپاره د توپیرونو په توپیر سره د الزیاتو تفصیلاتو پلټنه کوي. وګورئ د Carneiro, Lee, and Wilhelm (2016) د درملنې په اړه د بیالبیلو کړنو ترمنځ د درملنې اغیزې اټکلونو اټکل کې د زیاتوالي لپاره. په پای کې، کله چې پریکړه وشي ایا د ډیزاین یا تحلیل پړاو (یا دواړه) کې مخکې له درملنې مخکې مخنیوي کې شامل کولو هڅه وکړي، د غور کولو لپاره ځینې عوامل شتون لري. په داسې یوه ترتیب کې چې څیړونکي غواړي وښيي چې دوی " (Humphreys, Sierra, and Windt 2013) " نه دي (Humphreys, Sierra, and Windt 2013) د ډیزاین په مرحله کې د درملنې دمخه پخوانی کارولو څخه ګټه اخیستونکي کیدای شي ګټورې وي (Higgins, Sävje, and Sekhon 2016) . په هغه شرایطو کې چې ګډونوال په ترتیب سره ترتیب کوي، په تیره بیا د آنلاین ساحوي تجربې، د ډیزاین مرحله کې د درملنې دمخه معلوماتو څخه کار اخیستل ښايي په لوژستیک ډول ستونزمن وي؛ وګورئ، د مثال په توګه، Xie and Aurisset (2016) .
دا د یو څه انډول اضافه کولو لپاره ارزښت لري چې ولې د توپیرونو توپیرونه د توپیرونو په پرتله خورا اغیزناک وي. د انلاین ډیرو پایلو ډیر لوړ توپیر لري (د بیلګې په توګه، RA Lewis and Rao (2015) او Lamb et al. (2015) ) او د وخت په اوږدو کې نسبتا ثبات لري. پدې حالت کې، د بدلون شمېره به د کوچني توپیر درلودونکي وي، د احصایوي ازموینې واک زیات کړي. یو دلیل چې دا تګلاره ډیر وخت نه کارول کیږي دا د ډیجيټل عمر څخه مخکې وي، دا د عامې روغتیا څخه مخکې د درملنې پایلو لپاره معمول ندي. د دې په اړه فکر کولو لپاره یو ډیر کنکریټ لاره دا ده چې تجربه تصور کړئ ترڅو دا اندازه شي چې آیا د ځانګړي تمرین ځانګړتیا د وزن ضایع کوي. که تاسو د متقابلو لارو تګلاره غوره کړئ، ستاسو اټکل به د نفوس په وزن کې د بدلونونو څخه را منځته شوي بدلونونه ولري. که تاسو د توپیر سره توپیر ولرئ، په هرصورت، چې په طبیعي توګه وزن کې وزن تیریږي، او تاسو کولی شي د درملنې سبب شوي اسانتیا په اسانۍ سره وپلټئ.
په پاى کې، ما د څلورم R نور زيات ګڼل: "بياځل". دا دا ده، که چیرې څیړونکي ځان ځان د تجربې ډاټا سره ومومي نو د دوی اصلي څیړنې پوښتنې ته اړتیا لري، دوی باید ډاټا ته نوې پوښتنې وغواړي. د بیلګې په توګه، تصور وکړئ چې کریمر او همکارانو د توپیرونو کې د اټکل کولو اټکل کوونکی کارولی و او ځان یې د نورو معلوماتو سره موندلی ترڅو د دوی د څیړنې پوښتنې ته ځواب ووایي. د بشپړ حد په پرتله د ډاټا نه کارولو په ځای، دوی کولی شو د اغیز اندازه د درملنې څخه مخکې د احساساتو بیان کولو په توګه مطالعه کړو. لکه څنګه چې Schultz et al. (2007) موندلي چې د درمل اغیزه د رڼا او درنو کاروونکو لپاره توپیر وه، شاید ممکن د نیوز فیډ اغیزې د هغو کسانو لپاره چې پخوا یې د خوشې (یا ناخوښۍ) پیغامونو څخه ډډه کړې وه توپیر درلود. Repurposing کولی شي "مایعریان (Humphreys, Sierra, and Windt 2013) " او "p-hacking" (Simmons, Nelson, and Simonsohn 2011) ، مګر دا په پراخه پیمانه د صادقانه راپور ورکولو سره سمون لري (Simmons, Nelson, and Simonsohn 2011) ، مخکې ثبتولو (Humphreys, Sierra, and Windt 2013) ، او د ماینسي زده کړې میتودونه چې له مخکې څخه مخنیوی کوي.
