وڌيڪ تفسير

هن حصي جي بجاء هڪ داستان طور پڙهي وڃي هڪ حوالي طور استعمال ڪيو وڃي ٿو ٺهيل آهي.

• تعارف (سيڪشن 4.1)

سماجي تحقيق ۾ causality جي باري ۾ سوال اڪثر پيچيده ۽ intricate آهن. causal گراف تي مشتمل causality کي هڪ foundational اچڻ لاء، ڏسڻ Pearl (2009) ، ۽ هڪ foundational امڪاني مالڪي جي بنياد تي اچڻ لاء، ڏسڻ Imbens and Rubin (2015) (۽ هن باب ۾ فني جر). انهن ٻنهي اچي وچ ۾ هڪ جي مقابلي لاء، ڏسڻ Morgan and Winship (2014) . هڪ confounder فنگشن کي هڪ رواجي اچڻ لاء، ڏسڻ VanderWeele and Shpitser (2013) .

هن باب ۾، مون کي جيڪي تجرباتي ۽ غير آزمائش جي انگن اکرن کان causal انومان ڪرڻ اسان جي صلاحيت جي وچ ۾ هڪ روشن ڪنڊي وانگر رهيو بڻايو. حقيقت ۾، مون کي خيال آهي ته فرق blurrier آهي. مثال طور، هر هڪ ته سگريٽ نوشي جي ڪينسر جو ازالو جيتوڻيڪ اسين هڪ randomized ڪنٽرول آزمائش آهي ته ساري قوم کي تماڪ کي ڪڏهن به ڪم ڪيو آهي قبول ڪندو. غير تجرباتي جي انگن اکرن کان causal ڪاٿي بازي تي شاندار ڪتاب جي ڊيگهه علاج لاء ڏسڻ Rosenbaum (2002) ، Rosenbaum (2009) ، Shadish, Cook, and Campbell (2001) ، ۽ Dunning (2012) .

بابن 1 ۽ 2 جي Freedman, Pisani, and Purves (2007) تجربن، ڪنٽرول تجربن، ۽ randomized ڪنٽرول تجربن جي وچ ۾ اختلاف ۾ هڪ واضح تعارف پيش ڪرڻ.

Manzi (2012) randomized ڪنٽرول تجربن جي فلسفي ۽ انگن underpinnings ۾ هڪ اچرج ۽ پڙهڻ تعارف مهيا ڪري. اهو به ڪاروبار ۾ experimentation جي طاقت جي دلچسپ حقيقي-دنيا ۾ مثال آهي.

• تجربن ڇا آهي؟ (سيڪشن 4.2)

Casella (2008) ، Box, Hunter, and Hunter (2005) ، Athey and Imbens (2016b) چڱائي introductions تجرباتي جوڙجڪ ۽ تجزيي جي انگن خ ڪرڻ لاء مهيا ڪري. معاشيات: وڌيڪ، اتي ڪيترن ئي مختلف شعبن ۾ تجربن جي استعمال جو چڱو علاج آهي (Bardsley et al. 2009) ، سماجيات (Willer and Walker 2007; Jackson and Cox 2013) ، نفسيات (Aronson et al. 1989) ، پوليٽيڪل سائنس (Morton and Williams 2010) ، ۽ سماجي پاليسي (Glennerster and Takavarasha 2013) .

بهرو وٺندڙ نظرداري (مثال طور، هوندا آهن) جي اهميت کي هيٺ-ساراهيو تجرباتي تحقيق ۾ عام آهي. تنهن هوندي به، جيڪڏهن علاج جو اثر سنڌ جي آبادي ۾ heterogeneous آھي، پوء هوندا آهن نازڪ آهي. Longford (1999) جنھن مھل تمثيل هوندا سان هڪ آبادي سروي طور تي تجربن جي سوچ تي تحقيق لاء advocates چٽيء طرح هن نقطي کي ٻڌائيندو.

• تجربن مان ٻه پکيڙ: ليبارٽري-ميدان ۽ اينالاگ-ڊجيٽل (سيڪشن 4.3)

هن dichotomy ته مون کي ليبارٽري ۽ ميدان تجربن جي وچ ۾ پيش سليس سا آهي. حقيقت ۾، ٻين تي تحقيق خاص گهرن ته جدا ميدان تجربن جي مختلف صورتون ۾ وڌيڪ تفصيلي typologies تجويز ڪيو، (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . وڌيڪ، اتي جي سماجي سائنسدانن ته ليبارٽري ۽ ميدان dichotomy ۾ ڀچندو وسيلو نه ڪندا آھن جي پرفارم تجربن جي ٻن ٻين قسمن جي آهي:. سروي تجربن ۽ سماجي تجربن سروي تجربن موجود سروي جو ڍانچو استعمال ڪرڻ تجربن آھن ۽ ان جي مان ڪيڏو نسخن کي جواب compare ساڳي ئي سوالن جا (ڪي سروي تجربن باب 3 ۾ پيش ڪري رهيا آهن). سروي تجربن تي وڌيڪ لاء ڏسندا Mutz (2011) . سوشل تجربن تجربا آهن، جتي علاج ڪي سماجي پاليسي آهي ته صرف هڪ حڪومت جي عمل ڪري سگهجي ٿو آھي. سماجي تجربن ڄائي پروگرام اوسر سان ملندڙ آهن. پاليسي تجربن تي وڌيڪ لاء، ڏسڻ Orr (1998) ، Glennerster and Takavarasha (2013) ، ۽ Heckman and Smith (1995) .

ڪاغذ جي هڪ انگ جي تجريدي ۾ ليبارٽري ۽ ميدان تجربن جي مقابلي ۾ آهن (Falk and Heckman 2009; Cialdini 2009) ۽ پوليٽيڪل سائنس ۾ مخصوص تجربن جي مالڪي جي اصطلاحن ۾ (Coppock and Green 2015) ، معاشيات (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) ۽ نفسيات (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) جي ليبارٽري ۽ ميدان تجربن مان نتيجا comparing لاء هڪ سٺو تحقيق جي جوڙجڪ مليو آهي.

سندن رويي کي تبديل ڪرڻ سببان آھي جو اھي ڄاڻندا آھن ڄائي هتان وڃي رهيا آهن ڌرين جي باري ۾ ڳڻتي ڪڏهن مطالبو اثرات سڏيندا آهن، ۽ اهي نفسيات ۾ اڀياس ڪيو ويو آهي (Orne 1962) ۽ معاشيات (Zizzo 2009) . جيتوڻيڪ اڪثر ليبارٽري تجربن سان لاڳاپيل، اهي هڪ ئي مسئلن سان گڏوگڏ ميدان تي تجربن جي لاء پريشاني جو ڪارڻ ڪري سگهو ٿا. حقيقت ۾، مطالبو ڪيو اثرات به ڪڏهن ڪڏهن Hawthorne اثرات سڏيندا آهن، هڪ اصطلاح آهي ته هڪ ميدان ۾ آزمائش، خاص مشهور illumination تجربن ته مغربي اليڪٽرڪ ڪمپني جي Hawthorne ڪم تي 1924 ع ۾ شروع کان derives (Adair 1984; Levitt and List 2011) . ٻئي مطالبو اثرات ۽ خان اثرات ڄائي باب 2 ۾ ڳالهه ٻولهه reactive ماپ جي خيال سان لاڳاپيل آهن (به ڏسي Webb et al. (1966) ).

ميدان تجربن جي تاريخ معاشيات ۾ بيان ڪيو ويو آهي (Levitt and List 2009) ، پوليٽيڪل سائنس (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) ، نفسيات (Shadish 2002) ، ۽ عوام جي پاليسي (Shadish and Cook 2009) . سماجي سائنس جتي ميدان تجربن تڪڙو نمايان ٿيو جي هڪ حصي کي عالمي ترقي آهي. معاشيات جي اندر ته ڪم جي هڪ هاڪاري جو جائزو وٺڻ لاء ڏسي Banerjee and Duflo (2009) ، ۽ هڪ تنقيدي جائزو لاء ڏسي Deaton (2010) . پوليٽيڪل سائنس ۾ هن ڪم جو هڪ جائزو وٺڻ لاء ڏسي Humphreys and Weinstein (2009) . آخر ۾، هن جي اخلاقي ميدان تجربن سان ملوث مسئلن پوليٽيڪل سائنس ۾ explored ڪيو ويو (Humphreys 2015; Desposato 2016b) ترقي اقتصاديات ۽ (Baele 2013) .

هن باب ۾، مون کي تجويز آهي ته قبل از علاج معلومات اندازي مطابق علاج اثرات جي سڌائي کي بهتر ڪرڻ لاء استعمال ڪري سگهجي ٿو، پر اتي هن اچڻ جي باري ۾ ڪجهه بحث آهي: Freedman (2008) ، Lin (2013) ، ۽ Berk et al. (2013) ؛ ڏسي Bloniarz et al. (2016) وڌيڪ معلومات لاء.

• سادي تجربن (سيڪشن 4.4) کان هوا

جي درستي، علاج اثرات جي heterogeneity، ۽ مشين: آء ٽي نظريا تي ڌيان ڏيڻ لاء چونڊيو آهي. اهي نظريا مختلف شعبن ۾ مختلف نالا آهن. مثال طور، نفسيات شريڪن ۽ درست تي توجهه جي سادي تجربن کان وڃڻ لاء توکان موڪلائين تڏھن (Baron and Kenny 1986) . شريڪن جي خيال جيڪي مون کي مشين سڏ جي تي قبضو ڪيو ويو آهي، ۽ درست جو خيال جيڪي مون کي ٻاهرين جي درستي (مثال طور، سنڌ جي آزمائش جي نتيجن مختلف ٿئي ها، جيڪڏهن ان کي مختلف حال ۾ هلائي وئي) ۽ علاج اثرات جي heterogeneity (سڏ جي تي قبضو ڪيو ويو آهي مثال طور، سنڌ جي اثرات ٻين ماڻهن جي ڀيٽ ۾ ڪجهه ماڻهن جي لاء وڏو آهي).

جي آزمائش Schultz et al. (2007) ڏيکاري ٿو ته ڪيئن سماجي شادي ڪرائي موثر قدمن ڊزائن ڪرڻ لاء استعمال ڪري سگهجي ٿو. موثر قدمن ڊيزائنگ ۾ نظريي جي ڪردار جي باري ۾ هڪ کان وڌيڪ جنرل دليل طور ڏسڻ Walton (2014) .

• جي درستي (سيڪشن 4.4.1)

اندروني ۽ بيروني جي درستي جي حوصله پهريون ۾ متعارف ڪرايون ويون هيون Campbell (1957) . ڏسو Shadish, Cook, and Campbell (2001) ۾ هڪ کان وڌيڪ مفصل تاريخ ۽ انگن ٿڪل جي درستي، اندروني جي درستي، جي درستي تعمير، ۽ ظاهري جي درستي جي هڪ محتاط elaboration لاء.

تجربن ۾ انگن ٿڪل جي درستي سان لاڳاپيل مسئلن جو جائزو لاء ڏسي Gerber and Green (2012) (هڪ سماجي سائنس ڪانه لاء) ۽ Imbens and Rubin (2015) (هڪ انگن ڪانه لاء). انگن ٿڪل جي درستي ته آن لائن جي ميدان ۾ تجربن ۾ خاص طالع جي ڪجهه مسئلن جهڙوڪ منحصر ڊيٽا سان ويساهه کي آھسته آھسته ٺاهڻ لاء computationally موثر طريقن جي طور تي مسئلن ۾ شامل آهي (Bakshy and Eckles 2013) .

اندروني جي درستي پيچيده ميدان تجربن ۾ تسليم ڪرڻ ڏکيو ٿي سگهي ٿو. ڏسو، مثال طور، Gerber and Green (2000) ، Imai (2005) ، ۽ Gerber and Green (2005) ۾ ووٽنگ جي باري ۾ هڪ پيچيده جي ميدان ۾ آزمائش جي تي عملدرآمد جي باري ۾ بحث لاء. Kohavi et al. (2012) ۽ Kohavi et al. (2013) آن لائن جي ميدان ۾ تجربن ۾ interval جي درستي جي مسئلن ۾ هڪ تعارف مهيا ڪري.

اندروني جي درستي سان هڪ اهم تعلقو randomization سان مسئلا آهي. هڪ واٽ ممڪنه جي randomization سان مسئلا لڳائڻ سان Observable فصلن تي علاج ۽ قبضي گروپن compare ڪرڻ آهي. مقابلي جي هن قسم جي هڪ نظر چيڪ سڏيو ويندو آهي. ڏسو Hansen and Bowers (2008) هڪ انگن اچڻ معائني نظر ڪرڻ لاء، ۽ ڏسو Mutz and Pemantle (2015) نظر اچي معائني جي باري ۾ ڏک جي لاء. مثال طور، هڪ نظر چيڪ استعمال ڪري Allcott (2011) مليو ڪي ثبوت آهي ته randomization جي OPower تجربن (جدول 2 ڏسي، سائيٽن 2، 6، ۽ 8) جا ڪي ۾ تجربن جي ٽن ۾ صحيح عمل نه ڪيو ويو آهي ته. ٻئي اچي طور ڏسڻ Imbens and Rubin (2015) ، باب 21.

اندروني جي درستي سان لاڳاپيل ٻين اهم خدشن آهن: 1) هڪ رخا غير تعميل، جتي علاج گروپ ۾ هر نه در جو علاج ملي، 2) ٻه رخي غير تعميل، جتي علاج گروپ ۾ هر نه علاج ۽ ڪي وسي جو ڪنٽرول گروپ ۾ ماڻهن جو علاج، 3) ۽ فنڊنگ، جتي مالڪي ڪجهه ڌرين لاء ماپ نه آهن، ۽ 4) مداخلت، جتي علاج جي قبضي جي حالت ۾ ماڻهن کي علاج جي حالت ۾ ماڻهن کان مٿان spills ملي ٿي. ڏسو Gerber and Green (2012) انهن جي مسئلن جي هر تي وڌيڪ لاء بابن 5، 6، 7، ۽ 8.

ڪنسٽرڪٽ جي درستي تي وڌيڪ لاء، ڏسڻ Westen and Rosenthal (2003) وڏي انگن اکرن کان هٽي ڪري، ۾، ۽ ڪنسٽرڪٽ جي درستي تي وڌيڪ لاء Lazer (2015) ۽ هن ڪتاب جو باب 2.

ظاهري جي درستي جو هڪ پاسو لھڻ جتي هڪ مداخلت ڏبا آهي. Allcott (2015) سائيٽ جي چونڊ تعصب جو هڪ محتاط نظرياتي ۽ شعوري علاج مهيا ڪري. اهو مسئلو پڻ ۾ ڳالهه ٻولهه ڪئي آهي Deaton (2010) . ڪيترن ئي سائيٽن ۾ replicated پئي ڪرڻ کان سواء، هن جي گهر جي توانائي رپورٽ مداخلت به آزادي کان وڌيڪ تحقيق ٽوليون ٽوليون (مثال طور، جي اڀياس ڪيو ويو آهي Ayres, Raseman, and Shih (2013) ).

• علاج اثرات (سيڪشن 4.4.2) جي Heterogeneity

ميدان تجربن ۾ علاج اثرات جي heterogeneity جو هڪ چڱو جو جائزو لاء، جو باب 12 کي ڏسي Gerber and Green (2012) . ميڊيڪل جي ڪلمي چوڻ ۾ علاج اثرات جي heterogeneity کي introductions لاء، ڏسڻ Kent and Hayward (2007) ، Longford (1999) ، ۽ Kravitz, Duan, and Braslow (2004) . علاج اثرات جي Heterogeneity عام قبل از علاج ڪنڀار جي بنياد تي اختلاف تي زور. توهان پوسٽ-علاج مالڪي جي بنياد تي heterogeneity ۾ دلچسپي آهي، ته پوء ان کان وڌيڪ پيچيده approachs اهڙي پرنسپال stratification طور تي ضرورت آهي (Frangakis and Rubin 2002) . ڏسي Page et al. (2015) هڪ جائزو وٺڻ لاء.

ڪيترائي تحقيق مثال طور سڌر regression استعمال ڪري علاج اثرات جي heterogeneity جو اندازو آهي، پر پوء آيل: طريقن مشين سکيا تي ڀروسو، Green and Kern (2012) ، Imai and Ratkovic (2013) ، Taddy et al. (2016) ، ۽ Athey and Imbens (2016a) .

ڇاڪاڻ ته وڌيڪ مقابلو مسئلا ۽ جي اثرات جي heterogeneity جي پهچڻ جي باري ۾ ڪجهه skepticism نه آهي انگن اچي ته وڌيڪ مقابلي جي باري ۾ پتو خدشن جي مدد ڪري سگهي ٿو جو هڪ قسم نه آهي "مڇي مارڻ." (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "مڇي مارڻ" جي باري ۾ خدشن کي هڪ اچڻ قبل از رجسٽريشن، جنهن جي نفسيات ۾ increasingly عام ٿيڻ آهي (Nosek and Lakens 2014) ، پوليٽيڪل سائنس (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ، ۽ معاشيات (Olken 2015) .

جي مطالعي ۾ Costa and Kahn (2013) رڳو اٽڪل جي آزمائش ۾ households جي اڌ جي ڊيموگرافڪ معلومات سان جڙيل نه ڪري سگهندا هئا. جو تفصيل ۽ هن جائزي سان ممڪن پريشاني ۾ دلچسپي شناس جي اصل ڪاغذ جي حوالي ڪرڻ گهرجي.

• مشين (سيڪشن 4.4.3)

مشين incredibly اهم آهن، پر اهي تعليم حاصل ڪرڻ لاء تمام ڏکيو ٿي ٻاهر موڙ. مشين ڄائي نفسيات ۾ شريڪن جي مطالعي سان لاڳاپيل باري ۾ ريسرچ (پر به ڏسي VanderWeele (2009) جي ٻن خيالن جي وچ ۾ هڪ ڪهڙو مقابلي لاء). اهڙي ۾ ترقي جي اچڻ جيئن مشين پئجي کي انگن اچي، Baron and Kenny (1986) ، جي دور ۾ عام آهن. افسوس، ان کي ٻاهر ڦرندو ته جن جي طريقيڪار ڪجهه مضبوط assumptions تي دارومدار رکي (Bullock, Green, and Ha 2010) ۽ شڪار جڏهن اتي وڌيڪ مشين آهي، جيئن هڪ ڪيترن ئي حال ۾ اميد ٿئي (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) ۽ Imai and Yamamoto (2013) ڪجهه سگهارو انگن طريقا پيش. وڌيڪ، VanderWeele (2015) sensitivity تجزيو ڪرڻ لاء هڪ جامع اچڻ سميت اهم نتيجا، جو هڪ انگ سان گڏ هڪ ڪتاب-ڊيگهه علاج مليو آهي.

هڪ جدا اچڻ تجربن ته جيالا سڌو سنئون (مثال طور، ملاح وٽامن سي کارائڻ) کي بگاڙي ڪرڻ جي ڪوشش تي آهي. افسوس، ڪيترن ئي سماجي سائنس جي سيٽنگ ۾ موجود اڪثر کان وڌيڪ مشين آهن ۽ ان جي علاج آهي ته ٻين کي تبديل ڪرڻ کان سواء هڪ تبديل ڊزائن کي سخت آهي. ڪجهه اچي experimentally مشين altering ڪرڻ ۾ بيان ٿيل آهن Imai, Tingley, and Yamamoto (2013) ، Ludwig, Kling, and Mullainathan (2011) ، ۽ Pirlott and MacKinnon (2016) .

آخر ۾، مشين به سائنس جي فلسفي ۾ هڪ ڊگهي تاريخ جي حيثيت جي بيان ڪيو آهي Hedström and Ylikoski (2010) .

• موجوده ماحوليات (سيڪشن 4.5.1.1) استعمال ڪري رهيو آهي

correspondence پڙهائي ۽ آڊٽ پڙهائي جو استعمال امتياز اندازو ڪرڻ تي وڌيڪ لاء ڏسندا Pager (2007) .

• توهان پنهنجي آزمائش (سيڪشن 4.5.1.2) اڏيو

جڏهن ته سڀ کان وڌيڪ عام رستي تجربن ته اوھان کي تعمير ڪرڻ ڌرين نياز کي Amazon مشيني حنفي (MTurk) آهي. ڇاڪاڻ ته روايتي ليبارٽري تجربن-عقيدت ماڻهن کي ڪمن ته اھي لاء پاڪ-ڪيترائي تحقيق اڳ ۾ ئي انسان جي رعيت روايتي کان وڌيڪ تيز ۽ سستي ڊيٽا گڏ ڪرڻ نتيجي ۾ تجربن ۾ ڌرين جي حيثيت Turkers (MTurk تي ڪارڪنن) استعمال ڪرڻ شروع ڪيو آهي نه ڪري سگهان ها مڪمل ڪرڻ جي MTurk mimics خ تي-ڪيمپس ليبارٽري تجربن (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

MTurk مان نوڪر ڌرين سان تجربن جي وڏي طاقت نظاميہ آهن: اهي تحقيق تڪڙو ۽ ضرورت آهي ته جيئن ڌرين نياز ڪرڻ جي اجازت ڏئي. جڏهن ته ليبارٽري تجربن هفتن وٺي سگهن ٿا هلائڻ لاء ۽ ميدان تجربن سيٽ اپ ڪرڻ لاء مهينن کان وٺي سگهي ٿو، MTurk مان نوڪر ڌرين سان تجربن ڏينهن ۾ هلائي سگهجي ٿو. مثال طور، Berinsky, Huber, and Lenz (2012) ھڪ ڏينهن ۾ 400 رعيت نياز ڪرڻ لاء هڪ 8 منٽ آزمائش ۾ حصو وٺڻ لاء قابل هئا. وڌيڪ، انهن ڌرين (جيئن بابن 3 ۽ 5 ۾ ڳالهه ٻولهه سروي ۽ ڪاميٽي جي سهڪار شامل آهن،) عملي طور ڪنهن به مقصد لاء نوڪر ڪري سگهجي ٿو. نظرداري ڪرڻ جي هيء آسانيء ته تحقيق دؤران لڳ ۾ ملندڙ تجربن جو انداز هلائي سگهي ٿو جو مطلب آهي.

توهان پنهنجي تجربن لاء MTurk کان ڌرين ڀرتي کان اڳ، اتي چار اهم شين کي معلوم ڪرڻ لاء آهن. پهريون، ڪيترائي تحقيق Turkers جٽادار تجربن جي هڪ غير مخصوص skepticism آهن. ڇو ته هن skepticism مخصوص نه آهي، ان کي دليل سان جوابي کي سخت آهي. تنهن هوندي به، Turkers استعمال ڪري پڙهائي جي ڪيترن ئي سالن کان پوء، اسان کي هاڻي ويچار ڪري سگھو ٿا ته هن skepticism خاص ڪري ضروري نه آهي. ٻيون به ڪيتريون آبادي ۽ ڪيترن ئي پڙهائي ٻئي آبادي مان نتيجن کي Turkers سان تجربن جي نتيجن comparing کي Turkers جي demographics comparing پڙهائي ٿي وئي آهي. هي سڀ ڪم ڏنو، مون کي خيال آهي توهان کي ان جي باري ۾ خيال ڪرڻ جي لاء بهترين طريقو آهي ته Turkers هڪ مناسب سهولت نموني، گهڻو شاگردن وانگر آهن پر ڪجھ وڌيڪ قسمين قسمين (Berinsky, Huber, and Lenz 2012) . اهڙيء طرح، جيئن شاگردن کي ڪجهه نه سڀ تجرباتي تحقيق لاء هڪ مناسب آبادي آهي، Turkers ڪجهه پر نه سڀ تحقيق لاء هڪ مناسب آبادي آهي. توهان Turkers سان گڏ ڪم ڪرڻ وارا آهن، ته پوء ان جو احساس ڪندو انهن تقابلي اڀياس جي ڪيترن ئي پڙهڻ ۽ سندن nuances کي سمجهڻ لاء.

ٻيو ته، تحقيق دوران حنفي تجربن جي اندروني جي درستي وڌندا لاء بهترين-ڪون ٺاهيا آهن، ۽ توهان جي باري ۾ معلوم ٿئي ٿو ۽ انهن کي چڱي طرح-عملن جي تابعداري ڪرڻ گهرجي (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . مثال طور، Turkers استعمال ڪري تحقيق screeners استعمال ڪرڻ جي رٿون ڌرين کي ختم ڪرڻ جي همت افزائي آهن (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (پر به ڏسي DJ Hauser and Schwarz (2015b) ۽ DJ Hauser and Schwarz (2015a) ). توهان رٿون ڌرين کي ختم نه ڪريو، پوء علاج جو ڪو به اثر ڪو رٿون ڌرين کان متعارف ڪرايو شور ڪندي ٻاهر نڪري غسل ڪري سگهجي ٿو، ۽ رواج ۾ رٿون ڌرين جي تعداد ۾ انتهائي اهم ٿي سگهي ٿو. Huber ۽ طريقي جي آزمائش ۾ (2012) ڌرين جي باري ۾ 30٪ بنيادي ڌيان screeners ناڪام ٿي. ٻيو مسئلو Turkers سان عام غير naive ڌرين آهي (Chandler et al. 2015) .

ٽيون، ڊجيٽل تجربن جي ڪجهه ٻين فارم کي مائٽ، MTurk تجربن پيماني تي نه ٿا ڪري سگهو. Stewart et al. (2015) انومان آهي ته ڪنهن به ڏني وقت تي ڪو MTurk تي صرف جي باري ۾ 7.000 ماڻهو آهن.

آخر ۾، توهان کي خبر آهي گهرجي ته MTurk پنهنجي ضابطن ۽ ريتن رسمن سان هڪ ڪميونٽي آهي (Mason and Suri 2012) . ساڳيء طرح آهي ته توهان هڪ ملڪ آهي جتي توهان پنهنجي تجربن هلائڻ لاء وڃي رهيا هئا جو سنڌ جي ثقافت جي باري ۾ ٻاهر ڳولڻ جي ڪوشش ڪري ڇڏي ع ۾، توهان جي ڪلچر ۽ Turkers جي ريتن رسمن جي باري ۾ وڌيڪ ڪڍي وٺنديون ڪرڻ جي ڪوشش ڪرڻ گهرجي (Salehi et al. 2015) . ۽، توهان کي خبر آهي گهرجي ته Turkers توهان جي آزمائش جي باري ۾ ڳالهائيندي ڪيو ويندو ته جيڪڏھن اوھين ڪجهه نا مناسب يا غير اخلاقي ڪندا (Gray et al. 2016) .

MTurk جيئن پنهنجي تجربن کي ڌرين نياز کي هڪ incredibly آسان طريقو آهي، خواه اهي ليبارٽري-وانگر آهن، Huber, Hill, and Lenz (2012) ، يا ان کان وڌيڪ جي ميدان ۾-وانگر، جيئن Mason and Watts (2009) ، Goldstein, McAfee, and Suri (2013) ، Goldstein et al. (2014) ، Horton and Zeckhauser (2016) ، ۽ Mao et al. (2016) .

• توهان پنهنجي پراڊڪٽ (سيڪشن 4.5.1.3) اڏيو

توهان پنهنجي پيداوار پيدا ڪرڻ جي ڪوشش جو سوچي رهيا آهن، ته مون کي صلاح آهي ته توهان جي صلاح ۾ MovieLens گروپ جي آڇ ڪئي پڙهڻ Harper and Konstan (2015) . انهن جي تجربي مان هڪ اهم بصيرت آهي ته هر ڪامياب منصوبي لاء اتي ڪيترا، ڪيترن ئي ناڪام آهي. مثال طور، سنڌ جي MovieLens گروپ اهڙي GopherAnswers ته مڪمل ناڪام ويا هئا ته جيئن ٻين شين شروع (Harper and Konstan 2015) . هڪ محقق هڪ پيداوار تعمير لاء ڪوشش، جڏهن ته شاعريء جو ٻيو مثال طور هڪ آن لائن جو شڪار Arden سڏيو تعمير ڪرڻ ايڊوارڊ Castronova جي ڪوشش ڪئي آهي. پئسي ۾ $ 250.000 باوجود، هن منصوبي هڪ flop هو (Baker 2008) . GopherAnswers ۽ Arden وانگر پروجيڪٽ افسوس گهڻو MovieLens وانگر منصوبن جي ڀيٽ ۾ وڌيڪ عام آهي. آخر ۾، جڏهن مون کي چيو ته مون کي ڪنهن ٻئي محقق آهي ته ڪاميابي هتي بار بار experimentation لاء مصنوعات تعمير پئي جي نه ڄاڻندا منهنجي معيار آهن: 1) ڌرين ڇاڪاڻ ته ڇا ان کي انھن (مثال طور مهيا جي پيداوار لاء استعمال، اھي نه ڏنا ويا آهن ۽ اھي نه آهي ) سائنس جي مدد رضاڪارن ۽ 2) جي پيداوار هڪ کان وڌيڪ ھڪ آزمائش (يعني، نه ته ساڳئي آزمائش مختلف حصو وٺندڙ پول سان وڌيڪ ڀيرا) لاء استعمال ڪيو ويو آهي. توهان ٻين مثالن جي خبر آهي ته، مون کي خبر ڏين ڪريو.

• طاقتور (سيڪشن 4.5.2) سان ڀائيوار

مون ٻڌو وڃان Pasteur جي Quadrant جي خيال هتي ڪلڪ ڪمپنين تي ايف ڳالهه ٻولهه ڪئي، ۽ ان کي گوگل تي تحقيق جي ڪوششن کي منظم مدد (Spector, Norvig, and Petrov 2012) .

بانڊ ۽ ساٿيو 'جو مطالعو (2012) به جن کين ملي جي دوستن تي انهن علاج جي اثر لڳائڻ لاء ڪوشش. ڇو ته آزمائش جي جوڙجڪ جي، انهن spillovers cleanly لڳائڻ ڏکيو آهي. شوق قارئين ڏسڻ گهرجي Bond et al. (2012) ۾ هڪ کان وڌيڪ چڱي طرح بحث لاء. هن آزمائش ووٽ حوصلا افزائي ڪرڻ جي ڪوششن تي پوليٽيڪل سائنس ۾ تجربن جي هڪ ڊگھي روايت جو حصو آهي (Green and Gerber 2015) . ڇاڪاڻ ته اهي Pasteur جي Quadrant ۾ آهن اهي حاصل آئوٽ-جي-ووٽ تجربن حصي ۾ عام آهن. ته آهي، اتي ڪيترن ئي ماڻهن کي ووٽ ڏيڻ ۽ ووٽ ڏيڻ ۾ اضافو ڪرڻ لاء متحرڪ آهن رويي تبديلي ۽ سماجي اثر جي باري ۾ وڌيڪ عام شادي ڪرائي پرکي کي هڪ دلچسپ روئي ٿي سگهي آهي.

ٻي تحقيق جهڙوڪ سياسي پارٽين جي طور تي شريڪ تنظيمن، اين جي اوز، ۽ ڌنڌي سان ميدان تجربن ڊوڙندو جي باري ۾ صلاح ڏنا آهن (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . ٻين کي ڪيئن تنظيمن سان پارٽنرشپ تحقيق فريب اثر ڪري سگهو ٿا جي باري ۾ صلاح جي آڇ ڪئي آهي (Green, Calfano, and Aronow 2014; King et al. 2007) . پارٽنرشپ به اخلاقي سوال کي رسي سگهي ٿو (Humphreys 2015; Nickerson and Hyde 2016) .

• ڊيزائن نصيحت (سيڪشن 4.6)

اوھان کي اوھان جي آزمائش ڊوڙندو کان اڳ هڪ تجزيا منصوبو ٺاهي وڃي رهيا آهن، ته مون کي صلاح آهي ته توهان رپورٽنگ گائيڊ پڙهڻ جي شروع. هن CONSORT (ڪلمي جي گڏيل معياري رپورٽنگ) گائيڊ دوا ۾ ٺاهيا هئا (Schulz et al. 2010) ۽ سماجي تحقيق لاء ترميميو ويو (Mayo-Wilson et al. 2013) . گائيڊ جي هڪ لاڳاپيل مقرر آزمائش پوليٽيڪل سائنس جي جنرل جي ايڊيٽرن جي ترقي ڪئي وئي آهي (Gerber et al. 2014) (به ڏسي Mutz and Pemantle (2015) ۽ Gerber et al. (2015) ). آخر ۾، رپورٽنگ گائيڊ نفسيات ۾ ٺاهيا آهن ڪيو ويو (Group 2008) ، ۽ پڻ ڏسي Simmons, Nelson, and Simonsohn (2011) .

توهان هڪ تجزيي منصوبو ٺاهي ته توهان ان کي قبل از کولڻ تي غور ڪرڻ گهرجي، ڇاڪاڻ ته قبل از رجسٽريشن جو اعتماد ٻين کي توهان جي نتيجن ۾ آهي ته اضافو ٿيندو. وڌيڪ، ۽ جيڪڏھن اوھان کي ڪو شريڪ سان ڪم ڪري رهيا آهن، ان کي اوھان جي شريڪ سنڌ جي نتيجن کي ڏسي پوء هن تجزيي تبديل ڪرڻ جي صلاحيت محدود ٿيندو. قبل از رجسٽريشن نفسيات ۾ increasingly عام ٿيڻ آهي (Nosek and Lakens 2014) ، پوليٽيڪل سائنس (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ، ۽ معاشيات (Olken 2015) .

توهان قبل از تجزيو منصوبو ٺاهڻ جڏهن ته توهان کي خبر آهي ته ڪي تحقيق به regression ۽ لاڳاپيل اچي استعمال جي اندازي مطابق علاج اثر جي سڌائي بهتر ڪرڻ، ۽ اتي هن کي اچڻ جي باري ۾ ڪجهه بحث آهي ٿيڻ گهرجي: Freedman (2008) ، Lin (2013) ، ۽ Berk et al. (2013) ؛ ڏسي Bloniarz et al. (2016) وڌيڪ معلومات لاء.

خاص آن لائن جي ميدان ۾ تجربن لاء ڊيزائن صلاح پڻ ۾ پيش ڪيو ويو آهي Konstan and Chen (2007) ۽ Chen and Konstan (2015) .

• صفر variable خرچ ڊيٽا (سيڪشن 4.6.1) ٺاهيو

جي MusicLab تجربن تي وڌيڪ لاء، ڏسڻ Salganik, Dodds, and Watts (2006) ، Salganik and Watts (2008) ، Salganik and Watts (2009b) ، Salganik and Watts (2009a) ، ۽ Salganik (2007) . فاتح-وٺي-سڀني مارڪيٽن تي وڌيڪ لاء، ڏسڻ Frank and Cook (1996) . وڌيڪ عام untangling لک ۽ ڪاريگر تي وڌيڪ لاء، ڏسڻ Mauboussin (2012) ، Watts (2012) ، ۽ Frank (2016) .

جبري: نه وٺندڙ جي ادائيگين ته تحقيق احتياط سان استعمال ڪرڻ گهرجي کي ختم ڪرڻ لاء هڪ ٻئي اچڻ آهي. ڪيترن ئي آن لائن جي ميدان ۾ تجربن ۾ ڌرين بنيادي طرح تجربن ۾ عالمي پڌرنامو لکيو ۽ ڪڏهن به پوئتي آهن. هن اچڻ جو مثال Restivo ۽ وإن من Rijt جي شامل آهي (2012) وڪيپيڊيا ۽ بانڊ ۾ انعام ۽ ان جي تي آزمائش (2012) ماڻهن کي ووٽ لاء همٿ تي آزمائش. انهن تجربن واقعي صفر variable خرچ نه ڪندا آھن، اھي تي تحقيق ڪرڻ صفر variable خرچ ڪيو آهي. جيتوڻيڪ انهن تجربن جي ڪيترن ئي جي قيمت هر حصو وٺندڙ کي صفا ننڍي آهي، ننڍي خرچ ڌرين جي هڪ شاندار نمبر تڪڙو اٿي شامل ڪري سگهو ٿا مارشل لا. تمام وڏا آن لائن تجربن ڊوڙندو تحقيق اڪثر جو چوڻ آهي ته هنن ننڍي اثرات اهم جڏهن ڪيترن ئي ماڻهن کي لاڳو ٿيڻ ڪري سگهو ٿا جي ننڍي جو تخمينو علاج اثرات جي اهميت کي ثابت. هن جملي ساڳي سوچ خرچ ته تحقيق ڌرين تي عائد ڪرڻ لاڳو ٿئي. پنهنجي تجربن هڪ لک ماڻهن کي هڪ منٽ چٽ ڪري ماري ته، جي آزمائش ڪنهن به خاص شخص کي تمام اجائي نه آهي، پر گڏيل عددي معلومات حاصل ۾ ان وقت جي لڳ ڀڳ ٻه سال برباد ڪري ڇڏيو آهي.

ڌرين کي ٻڙي variable خرچ جي صورت ۾ ٺاهڻ لاء هڪ ٻي اچڻ هڪ lottery، هڪ اچڻ ته به سروي تحقيق ۾ استعمال ڪيو ويو آهي استعمال ڪرڻ آهي (Halpern et al. 2011) . آخر ۾، enjoyable استعمال ڪندڙ-تجربا ڊيزائنگ جي باري ۾ وڌيڪ لاء ڏسندا Toomim et al. (2011) .

• مٽائي، ڇاڻيو، ۽ (سيڪشن 4.6.2) کي گھٽائڻ

هتي جي ٽي آر، تان جو اصل معنائون آهن Russell and Burch (1959) :

"لڳائڻ جي insentient مواد جي باشعور رهندڙ اعلي جانورن جي راء جو مطلب آهي. گهٽ هڪ ڏنو رقم ۽ سڌائي جي معلومات حاصل ڪرڻ لاء استعمال ڪيو جانورن جي تعداد ۾ گهٽتائي جو مطلب آهي. جي لطافت جو incidence يا غير انساني طريقا جي بيرحميء ۾ ڪنهن جي ضايع ٿيڻ تن جانورن اڃا به استعمال ڪيو ويندو آهي، جنهن کي لاڳو جو مطلب آهي. "

هن ٽي آر جي مون کي propose ته بلڪ باب 6. ۾ بيان اخلاقي اصولن override نه ڪندا آھن، اھي هڪ کان وڌيڪ ڪيل نسخو جن اصولن-نعمتن-خاص انساني تجربن جي لھڻ لاء مان هڪ آهي.

جڏهن جذباتي Contagion سٺن، اتي جڏهن هن آزمائش interpreting ذهن ۾ رکڻ لاء ٽن غير اخلاقي مسئلن تي آهن. پهريون، ته ان کي ڪيئن آزمائش جي حقيقي تفصيل جي نظرياتي دعوى کي ڳنڍڻ واضح نه آهي. ٻين لفظن ۾، اتي ڪنسٽرڪٽ جي درستي جي باري ۾ سوال آهن. اها ڳالهه واضح نه آهي ته ان جي مثبت ۽ منفي لفظ نقطن اصل ڌرين جي جذباتي حالت جي هڪ سٺي اشارو آهي ڇاڪاڻ ته 1) اهو واضح نه آهي ته ان جي لفظن ته ماڻهن کي تحرير سندن جذبات ۽ 2 جي هڪ سٺي اشارو آهي) کي پڌرو نه آهي ته جي خاص جذبي تجزيو ٽيڪنڪ ته تحقيق استعمال reliably جذبات ويچار تي وس وارو آھي (Beasley and Mason 2015; Panger 2016) . ٻين لفظن ۾، اتي هڪ متعصب سگنل جي هڪ خراب اندازو ٿي سگهي. ٻيو، جي جوڙجڪ ۽ آزمائش جو تجزيو اسان کي ۽ جيڪي سڀ کان impacted ويو باري ۾ ڪجھ به (يعني، اتي علاج اثرات جي heterogeneity جو ڪو به تجزيو آھي) جيڪي جيالا ٿي سگهي ٿو ٻڌائي. هن حالت ۾، سنڌ جي تحقيق جي ڌرين جي باري ۾ معلومات جي پکو پيو، پر اهي اعتراف جي تجزيي ۾ widgets طور تي علاج ڪرايو ويو. ٽيون، هن آزمائش ۾ اثر جي جسامت بلڪل ننڍڙي هئي. علاج ۽ ڪنٽرول حالتن جي وچ ۾ فرق جي باري ۾ 1 1،000 ۾ لفظ آهي. سندن ڪاغذن ۾، Kramer ۽ طريقي جي صورت ۾ آهي ته هن ڪرائون سائيز جي اثر اهم آهي، ڇاڪاڻ ته مان لکن ماڻهن کي جي سو رسائي سندن نيوز کاڌ خوراڪ هر ڏينهن ڪر. ٻين لفظن ۾، اهي دليل به اثرات ته هر ماڻهو اهي گڏيل عددي معلومات حاصل ۾ ويل آهن لاء ننڍو آهي ته. جيتوڻيڪ جيڪڏهن توهان هن دليل کي قبول ڪرڻ لاء هئا، ان جي اڃا تائين واضح نه آهي ته هن ڪرائون سائيز جي اثر جذباتي contagion جي باري ۾ وڌيڪ عام علمي سوال جي حوالي سان اهم آهي. جي حال، جتي ننڍڙو اثرات اهم آهن پر وڌيڪ لاء ڏسندا Prentice and Miller (1992) .

پهرين ر (لڳائڻ)، جي جذباتي Contagion آزمائش comparing جي اصطلاحن ۾ (Kramer, Guillory, and Hancock 2014) ۽ جذباتي contagion قدرتي آزمائش (Coviello et al. 2014) کان هوا سان ملوث جي واپار-offs جي باري ۾ ڪجهه عام سبق مليو آهي قدرتي تجربن (۽ غير تجرباتي جي انگن اکرن ۾ تجربن ذري گهٽ ڪرڻ لاء، باب 2 ڏسي ته ڪوشش سميلن وانگر ٻين اچي) کي تجربن. جي اخلاقي فائدو حاصل ڪرڻ کان سواء، تجرباتي کان غير تجرباتي پڙهائي کي مٽائيندي به علاج ته اھي logistically ڪائنات جي ڪري واجب آهي تعليم حاصل ڪرڻ لاء تحقيق بڻائي ٿو. اهي اخلاقي ۽ نظاميہ جو فائدو ڪنهن معاوضي تي آئي، تنهن هوندي به. قدرتي تجربن سان تحقيق ڌرين جي نظرداري ڪرڻ وانگر شيء تي گهٽ ڪنٽرول، randomization، ۽ ان جي علاج جي فطرت آهي. مثال طور، هڪ علاج طور ٺٽو جي هڪ حد ته اها ٻنهي positivity وڌائي ۽ negativity گھڻي قدر آهي. تجرباتي مطالعي ۾، بهرحال، Kramer ۽ ساٿيو آزادي positivity ۽ negativity جي پورائي ڪرڻ جي قابل هئا.

جڏهن ته خاص جي استعمال اچڻ Coviello et al. (2014) وڌيڪ ۾ تفصيل سان ڪيو ويو Coviello, Fowler, and Franceschetti (2014) . instrumental variables جو تعارف لاء ڏسي Angrist and Pischke (2009) (گهٽ رسمي) يا Angrist, Imbens, and Rubin (1996) (وڌيڪ رسمي). instrumental variables جي هڪ ڀريو ڪٿيل ملھ لاء ڏسي Deaton (2010) ، ۽ ڪمزور آلات سان instrumental variables جو تعارف لاء (مينھن جو هڪ ڪمزور آلي آھي)، ڏسڻ Murray (2006) .

وڌيڪ عام، قدرتي تجربن کي هڪ سٺو تعارف آهي Dunning (2012) ، ۽ Rosenbaum (2002) ، Rosenbaum (2009) ، ۽ Shadish, Cook, and Campbell (2001) تجربن کان سواء causal اثرات estimating جي باري ۾ سٺي خيالن جي آڇ.

ٻيو ر (جي لطافت) جي لحاظ سان، اتي علمي ۽ نظاميہ جو واپار-offs جڏهن تحريرن ۾ تيز گام ڪرڻ جون تحريرون بلاڪ مان جذباتي Contagion جي جوڙجڪ بدلجندڙ سٺن آهن. مثال طور، ان صورت ۾ ٿي سگهي ٿو ته نيوز کاڌ خوراڪ جي فني تي عمل ڪندو آهي ته ان کي substantially آسان آهي تحريرن ۾ تيز گام سان هڪ آزمائش کي بلاڪ تحريرن سان گڏ هڪ آزمائش بجاء ڪندا (نوٽ ڪريو ته بلاڪ تحريرن سان گڏ هڪ آزمائش تي هڪ پرت طور تي عمل ٿي سگهي جو ھيٺيون نظام جي ڦير ڦار جي لاء ڪنهن به ضرورت کان سواء ان جي نيوز کاڌ خوراڪ نظام جي چوٽي). علمي، تنهن هوندي به، جي نظريي جي آزمائش جي خطاب چٽيء طرح هڪ خاڪي کي ٻين جي حوالي سان مشورو نه ڪيو.

افسوس، مون کي بلاڪ ۽ نيوز کاڌ خوراڪ ۾ مواد تيز گام جي مائٽ جي فضيلت جي باري ۾ انتهائي اڳ تحقيق کان واقف نه آھيان. به، مون کي علاج ريفائننگ کين گهٽ اجائي ڪرڻ جي باري ۾ گهڻو تحقيق نه ڏٺو آهي. هڪ سواء آهي Jones and Feamster (2015) ، جنهن جي انٽرنيٽ سينسرشپ (هڪ موضوع مون کي Encore تعليم حاصل ڪرڻ سان تعلق ۾ باب 6 ۾ ڳالهه ٻولهه جي ماپ جي صورت ڄاتائين (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

ٽئين ر (گهٽ) جي سلسلي ۾، روايتي طاقت تجزيو ڪرڻ لاء هڪ سٺو تعارف آهي Cohen (1988) . قبل از علاج covariates جي جوڙجڪ اسٽيج ۽ تجربن جي ڇنڊڇاڻ مرحلي ۾ شامل ڪري سگهجي ٿو. جي باب 4 Gerber and Green (2012) ٻنهي اچي کي هڪ سٺو تعارف روزي ڏيندو آھي، ۽ Casella (2008) ۾ هڪ کان وڌيڪ ۾-کوٽائي علاج مهيا ڪري. طريقن ته randomization ۾ هن قبل از علاج معلومات پڻ استعمال ڪري وضاحت يا سڏيندا آهن تجرباتي فريب يا stratified تجرباتي فريب (جي terminology برادرين پار مسلسل استعمال نه آهي) جي پروفائيل تي؛ انهن طريقن تمام گهڻي باب 3. ڏسو ۾ ڳالهه ٻولهه جي stratified هوندا طريقن سان ملندڙ آهن Higgins, Sävje, and Sekhon (2016) تمام وڏا تجربن ۾ انهن فريب استعمال ڪرڻ تي وڌيڪ لاء. قبل از علاج covariates به تجزيو مرحلي ۾ شامل ڪري سگهجي ٿو. McKenzie (2012) تمام وڏو تفصيل سان ميدان تجربن تجزيو ڪرڻ جي فرق-۾-اختلاف اچڻ explores. ڏسو Carneiro, Lee, and Wilhelm (2016) مختلف اچي علاج اثرات جي ڪاٿي ۾ سڌائي ۾ اضافو ڪرڻ جي وچ ۾ واپاري-offs تي وڌيڪ لاء. آخر ۾، جڏهن تعالى عنہ جي جوڙجڪ يا تجزيو اسٽيج (يا ٻئي) تي قبل از علاج covariates شامل ڪرڻ جي ڪوشش ڪري ته ڇا، اتي چند عنصر تي غور ڪرڻ آهي. هڪ لھڻ جتي تحقيق ڏيکاري ٿو ته اهي "مڇي مارڻ" نه آهن چاهيو ۾ (Humphreys, Sierra, and Windt 2013) ، جي جوڙجڪ مرحلي ۾ قبل از علاج covariates استعمال ڪري مددگار ٿي سگهي ٿو (Higgins, Sävje, and Sekhon 2016) . حال جتي ڌرين sequentially پهتو، خاص طور تي آن لائن جي ميدان ۾ تجربن ۾، جي جوڙجڪ مرحلي ۾ قبل از علاج معلومات کي استعمال ڪندي logistically ڏکيو ٿي سگهي ٿو، مثال طور ڏسڻ Xie and Aurisset (2016) .

اهو ڇو فرق-۾-اختلاف ايترو گهڻو فرق-۾-مطلب جي ڀيٽ ۾ وڌيڪ موثر ٿي سگهي ٿو جي باري ۾ وجدان جي سا گڏي لڳي آهي. ڪيتريون ئي آن لائن مالڪي تمام اعلي ۾ اختلاف آهي (مثال طور، ڏسي Lewis and Rao (2015) ۽ Lamb et al. (2015) ) ۽ وقت تي نسبتا مستحڪم آهي. هن حالت ۾، سنڌ جي تبديلي ايڊليڊ substantially ننڍا ننڍا اختلاف آهن، جي انگن امتحان جي طاقت ۾ واڌارو ٿيندو. هڪ سبب هن پيشڪش کان وڌيڪ اڪثر استعمال نه آهي ته ڊجيٽل عمر کان اڳ ان جي قبل از علاج مالڪي ڪري عام نه هو آھي. ان جي باري ۾ خيال کي هڪ کان وڌيڪ ڪنڪريٽ جو رستو هڪ آزمائش تصور کي مئي کي هڪ مخصوص رياضت چريا وزن نقصان جو ازالو ته ڇا آهي. توهان هڪ فرق-۾-مطلب اچڻ ٿا ته، توهان جي اندازي variability ته آبادي ۾ وزن ۾ variability کان ايندي آھي. توهان هڪ فرق-۾-فرق اچڻ ٿا ته، تنهن هوندي به، وزن ۾ ته قدرتي ايندڙ قسمين قسمين ختم طريقو آهي ۽ توهان کي وڌيڪ آساني سان علاج جي سبب هڪ فرق لڳائڻ ڪري سگهو ٿا.

هڪ اهم واٽ پنهنجي آزمائش ۾ ڌرين جي انگ کي گھٽائڻ لاء هڪ طاقت تجزيو، جنهن Kramer ۽ طريقي جو اثر ڪاٺ جي قدرتي آزمائش مان هتان جي بنياد تي ڪم ڪيو ٿي سگهي ٿو جو انتظام ڪرڻ آهي Coviello et al. (2014) يا Kramer جي اڳ غير تجرباتي تحقيق (2012) (حقيقت ۾ اهي هن باب جي آخر ۾ سرگرميون آهن). نوٽيس ته اقتدار تجزيي جي هن استعمال عام کان هڪ ذرو مختلف آهي. جي اينالاگ جي عمر ۾، تحقيق عام پڪ آهي ته انهن جي مطالعي (يعني، هيٺ اڇلائي) تمام ننڍو نه هو بنائڻ لاء وس وارو تجزيو ڪيو. هاڻي، جڏهن ته، تحقيق طاقت تجزيو پڪ آهي ته انهن جي مطالعي تمام وڏو (يعني، مٿان اڇلائي) نه آھي ڪرڻ ڪندا گهرجي.

Repurpose: آخر ۾، مون کي هڪ چوٿين ر گڏي سمجهيو ويندو. ته تحقيق پاڻ وڌيڪ تجرباتي ڊيٽا سان ڏسي ته جي ڀيٽ ۾ اهي انهن جي اصل تحقيق سوال کي خطاب ڪرڻ جي ضرورت آهي، اهي نوان سوال پڇن ٿا ڪرڻ جي ڊيٽا repurpose وڃي، آهي. مثال طور، تصور ته Kramer ۽ ساٿيو هڪ فرق-۾-اختلاف estimator استعمال ڪئي هئي ۽ پاڻ کان وڌيڪ ڊيٽا جي ڀيٽ ۾ سندن تحقيق جي سوال کي خطاب ڪرڻ جي ضرورت سان مليو. جو پورو حد تائين جي ڊيٽا کي استعمال نه جي ڀيٽ ۾ بلڪ، اھي قبل از علاج جذباتي اظهار ڪرڻ لاء هڪ فعل جي طور تي اثر جي ماپ جو اڀياس ڪيو آهي ٿي سگهي ٿو. بس جيئن Schultz et al. (2007) مليو آهي ته علاج جي اثر نور ۽ ڳري استعمال ڪندڙن لاء مختلف هو، مان جي نيوز کاڌ ​​خوراڪ جي اثرات قوم اڳ ۾ ئي خوش (يا غمگين) الحال ڪوبه پيغام تحرير کي سنڀالي لاء مختلف هئا. Repurposing "مڇي مارڻ" رسي سگهي ٿو (Humphreys, Sierra, and Windt 2013) ۽ "ص-hacking" (Simmons, Nelson, and Simonsohn 2011) ، پر انهن الهاس نگر ايماندار رپورٽنگ جي ميلاپ سان addressable آهن (Simmons, Nelson, and Simonsohn 2011) ، قبل از رجسٽريشن (Humphreys, Sierra, and Windt 2013) ، ۽ مشين سکيا طريقن ته مٿان-گهڙڻ کان پاسو ڪرڻ جي ڪوشش ڪئي.