اڳيان پڙهڻ لاء ڇا

• تعارف (سيڪشن 4.1)

سماجي تحقيقي سببن جي باري ۾ سوال اڪثر اڪثر پيچيده ۽ مشڪل آهن. causal گراف جي بنياد تي بنيادي طور تي بنيادن جي بنياد تي، Pearl (2009) ، ۽ احتمالي نتيجن جي بنياد تي هڪ بنيادي نقطي نظر ڏسو، Imbens and Rubin (2015) . انهن ٻنهي طريقن جي وچ ۾ مقابلو لاء، Morgan and Winship (2014) ڏسو Morgan and Winship (2014) . VanderWeele and Shpitser (2013) کي واضع ڪرڻ لاء رسمي نقطي لاء، VanderWeele and Shpitser (2013) ڏسو.

هن باب ۾، مون پيدا ڪيو آهي ته تجرباتي ۽ غير تجرباتي انگن اکرن جي ڪري تخميني تخمينو ڪرڻ جي صلاح اسان جي وچ ۾ روشن لائين وانگر. بهرحال، مون سمجهيو ته، حقيقت ۾، فرق وڌيڪ خراب ٿي چڪي آهي. مثال طور، هرڪو اهو قبول ڪري ٿو ته تماڪ جي سگريٽ کي ڪينسر جو سبب بڻائيندو آهي، جيتوڻيڪ ڪڏهن به بي ترتيب ٿيل کنڊ استعمال نه ڪن، جيڪو ماڻهن کي سگريٽ ڪرڻ جي قوت حاصل ڪري چڪو آهي. causative تخميني ڪرڻ لاء غير تجرباتي انگن اکرن مان Shadish, Cook, and Campbell (2001) ڪتاب جي ڊيگهه لاء Shadish, Cook, and Campbell (2001) Rosenbaum (2002) ، ( ??? ) ، Shadish, Cook, and Campbell (2001) ، ۽ Dunning (2012) .

Freedman, Pisani, and Purves (2007) جا 1 باب 2 ۽ 2 Freedman, Pisani, and Purves (2007) تجربن، ڪنٽرول تجربو، ۽ بي ترتيب ڏنل ڪنٽرول تجربه جي وچ ۾ اختلاف جي وچ ۾ واضح تعارف پيش ڪن ٿا.

Manzi (2012) بي ترتيب ڪيل ڪنٽرول تجربن جي فلسفياتي ۽ شمارياتي نموني لاء هڪ دلچسپ ۽ قابل پڙھڻ تعارف مهيا ڪري ٿو. اهو ڪاروبار ۾ تجربو جي طاقت جي دلچسپ حقيقي دنيا کي پڻ مهيا ڪري ٿو. Issenberg (2012) سياسي پيڊن ۾ تجربن جي استعمال لاء هڪ تعارف پيش ڪن ٿا.

• تجربا ڇا آهن؟ (سيڪشن 4.2)

Box, Hunter, and Hunter (2005) ، @ casella_statistical_2008، Athey and Imbens (2016b) تجرباتي ڊيزائن ۽ تجزيو جي عددي سنڀارن تي سٺو تعارف پيش ڪن ٿا. ان کان علاوه ڪيترن ئي مختلف شعبن ۾ تجربات جي بهترين علاج موجود آهن: اقتصاديات (Bardsley et al. 2009) ، سوسائيولوجي (Willer and Walker 2007; Jackson and Cox 2013) ، نفسياتي (Aronson et al. 1989) ، سياسي سائنس (Morton and Williams 2010) ، ۽ سماجي پاليسي (Glennerster and Takavarasha 2013) .

شرڪت ڪندڙن جي جلسي جي اهميت (مثال طور، نموني) تجرباتي تحقيق ۾ اڪثر ساراهيو ويو آهي. تنهن هوندي، جيڪڏهن آبادي ۾ علاج جو اثر اثر انداز ٿئي ٿي، پوء نموني نموني اهم آهي. Longford (1999) اهو نقشو واضح طور تي ٺاهيندي جڏهن هو محقق جي نموني سان تجرباتي طور تي تجربن جي سوچڻ جي تحقيق ڪندڙن جي حمايت ڪري ٿو.

• تجربن جا ٻه طول: Lab-field ۽ اينالاگ ڊجيٽل (سيڪشن 4.3)

مون اهو تجويز ڪيو آهي ته ليب ۽ فيلڊ تجربن جي وچ ۾ لاڳاپو موجود آهي، ۽ ٻين تحقيق ڪندڙن کي وڌيڪ تفصيلي قسمن جي تجويز پيش ڪيو آهي، خاص طور تي جيڪي مختلف فارمن جي تجربن کي ڌار ڪن ٿيون (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

انگن اکرن ۾ خلاصا (Falk and Heckman 2009; Cialdini 2009) ۾ ليب ۽ فيلڊ تجربن جي مقابلي ۾ ۽ سياسي سائنس (Coppock and Green 2015) ، معاشيات (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) (Coppock and Green 2015) ۾ خاص تجربن جي نتيجن جي لحاظ کان (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) ، ۽ نفسياتي (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) ليب ۽ فيلڊ تجربن جي نتيجن جي مقابلي لاء هڪ سٺو تحقيقي ڊيزائن پيش ڪري ٿو. Parigi, Santana, and Cook (2017) بيان ڪيو ويو ته ڪئين فيلڊ تجربن کي تجربن ۽ فيلڊ تجربن جي ڪجهه خاصيتن کي گڏ ڪري سگهجي ٿو.

شرڪت ڪندڙن بابت تقريبا پنهنجن رويي کي تبديل ڪرڻ بابت خدشو آهي ڇاڪاڻ ته اهي ڄاڻن ٿا ته انهن کي ويجهي نموني سان ڪڏهن به سڏيو ويندو آهي ڪڏهن ڪڏهن گهربل اثرات سڏيا ويا آهن ۽ اهي نفسيات ۾ پڙهائي رهيا آهن (Orne 1962) ۽ اقتصاديات (Zizzo 2010) . جيتوڻيڪ اڪثر ليب تجربن سان لاڳاپيل آهي، اهي ساڳيون مسئلا پڻ فيلڊ تجربن جي مسئلن جي سبب ڪري سگهن ٿيون. حقيقت ۾، طلباء اثرات ڪڏهن ڪڏهن بههٿورن اثرات کي سڏيو ويندو آهي، جو اصطلاح، हॉस्टर्नई वर्क्स ऑफ वेस्टर्न इलेक्ट्रिक कम्पनी (Adair 1984; Levitt and List 2011) जुन 1 9 24 मा सुरु भयो. ٻئي مطالبن جي اثرات ۽ هاٿورن اثرات ، باضابطہ پیمائش جو خيال 2 باب ۾ بحث کي ويجهي سان لاڳاپيل آهي ( Webb et al. (1966) ).

تجربن ۾ معاشيات (Levitt and List 2009) سياسي پوليٽيڪل (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) ، نفسيات (Shadish 2002) ، ۽ عوامي پاليسي (Shadish and Cook 2009) . جتي سماجي شعبي جي هڪ ايراضيء جو فوري تجربو تمام گهڻو نمايان بڻجي ويو آهي. اقتصاديات جي اندر جو ڪم جو مثبت جائزو وٺڻ لاء Banerjee and Duflo (2009) ڏسو ۽ هڪ نازڪ جائزي لاء Deaton (2010) ڏسو. سياسي سائنس ۾ هن ڪم جو جائزو وٺڻ لاء Humphreys and Weinstein (2009) ڏسو. آخرڪار، سياسي سائنس جي مفهوم ۾ فيلڊ تجربن مان نڪرندڙ اخلاقي چئلينج (Humphreys 2015; Desposato 2016b) ۽ ترقياتي اقتصاد (Baele 2013) .

هن حصي ۾، مون تجويز ڪيو ته اڳ ڄاڻايل علاج بابت ڄاڻايل علاج جي اثرن جي درستگي کي بهتر ڪرڻ لاء استعمال ڪري سگهجي ٿو، پر هن نقطي بابت ڪجهه بحث آهي. ڏسو Freedman (2008) ، W. Lin (2013) ، Berk et al. (2013) ، ۽ Bloniarz et al. (2016) وڌيڪ معلومات لاء.

آخرڪار، ٻه ٻيا قسم جا سماجي ساٿين جي طرفان تجربا ڪيا آهن جيڪي تجرباتي طور تي ليب فيلڊ جي ماٿن سان مناسب نه هوندا آهن: سروي تجربات ۽ سماجي تجربات. سروي جا تجربا تجربا آهن جيڪي موجوده سروي جي زير بناء جي استعمال ڪن ٿا ۽ ساڳئي سوالن جا متبادل نسخن جي جواب جي مقابلي ۾ آهن (بعض سروي تجربات باب 3 ۾ پيش ڪيل آهن)؛ سروي تجربن تي وڌيڪ لاء، Mutz (2011) ڏسو Mutz (2011) . تجربن جا تجربا آهن، جن جو علاج ڪجهه سماجي پاليسي آهي، جيڪو صرف حڪومت طرفان لاڳو ڪري سگهجي ٿو. سماجي تجربن جي پروگرام جي تشخيص سان ويجهي سان لاڳاپيل آهن. پاليسي تجربن تي وڌيڪ، Heckman and Smith (1995) ، Orr (1998) ، ۽ @ glennerster_running_2013 ڏسو.

• سادي تجربن کان بچڻ (سيڪشن 4.4)

مون ٽن تصورن تي ڌيان ڏيڻ جو انتخاب ڪيو آهي: صحيحيت، علاج جي اثرات جي بيماري، ۽ ميلازم. انهن تصورن ۾ مختلف شعبن ۾ مختلف نالا آهن. مثال طور، نفسيات شريڪن ۽ درست تي توجهه جي سادي تجربن کان وڃڻ لاء توکان موڪلائين تڏھن (Baron and Kenny 1986) . ثالثين جو خيال قبضو ڪيو ويو آهي جيڪو آئون ميکانزم کي سڏيندو آهيان، ۽ ماهرين جي خيال تي قبضو ڪيو ويو آهي، جيڪو مون کي بااختيار سمجهي ٿو (مثال طور، مختلف حالتن ۾ هلندو تو اگر تجربات مختلف ٿي ويندا)، ۽ علاج جي اثرات جي تثليث ( مثال طور، ٻين ماڻهن جي نسبت ٻين ماڻهن کان وڌيڪ اثرات آهن).

Schultz et al. (2007) ڏيکاري ٿو ته اثرائتو مداخلت ٺاهڻ جي لاء ڪئين سماجي نظريات ڪيئن استعمال ڪري سگهجي ٿي. مؤثر مداخلت کي ڊزائين ڪرڻ ۾ اصول جي ڪردار بابت وڌيڪ عام دليلن لاء، Walton (2014) ڏسو Walton (2014) .

• صفائي (سيڪشن 4.4.1)

اندروني ۽ بيروني اعتبار جو تصور پهريون ڀيرو Campbell (1957) پاران متعارف ڪرايو ويو. وڌيڪ تفصيلي تاريخ لاء Shadish, Cook, and Campbell (2001) ڏسو Shadish, Cook, and Campbell (2001) احتياطي نتيجو جي درستگي، اندروني صحيحيت، صحيحيت جي تعمير، ۽ خارجي صحيحيت جو هڪ محتاط تفصيل.

تجربن ۾ شمارياتي نتيجن جي درستگي سان لاڳاپيل مسئلن جي جائزي لاء Gerber and Green (2012) (هڪ سماجي سائنس جي نقطي نظر کان) ۽ Imbens and Rubin (2015) (هڪ احصائياتي نقطي نظر کان). ڪجهه انگن اکرن جو نتيجو صحيح آهي ته خاص طور تي آن لائين فيلڊ تجربن ۾ پيدا ٿيندڙ مسئلن جهڙوڪ انحصار ڊيٽا (Bakshy and Eckles 2013) سان اعتماد جي وقتي ٺاهڻ لاء مطابقت واري طريقي واري طريقي سان شامل آهن.

اندروني صحيحيت کي پيچيده فيلڊ تجربن کي يقيني بڻائڻ ڏکيو ٿي سگهي ٿو. مثال طور، مثال طور، Gerber and Green (2000) ، Imai (2005) ، ۽ Gerber and Green (2005) ووٽنگ بابت هڪ پيچيده فيلڊ تجربن تي عمل ڪرڻ بابت بحث لاء. Kohavi et al. (2012) ۽ Kohavi et al. (2013) آن لائن فيلڊ تجربات ۾ وقفيت جي صحيحيت جي چيلنجن ۾ تعارف مهيا ڪن.

اندروني اعتبار جو هڪ وڏو خطرو ناڪامي بي ترتيب ٿيڻ جو امڪان آهي. بي ترتيب ڏيڻ سان پريشاني کي ڳولڻ لاء هڪ ممڪن طريقو آهي جيڪو علاج ۽ ڪنٽرول خاصيتن تي گروپ کي ڪنٽرول ڪرڻ آهي. مقابلي ۾ اهڙي قسم جو نالو بيلنس چيڪ سڏيندو آهي. Hansen and Bowers (2008) ڏسو Hansen and Bowers (2008) بيلنس چيڪ بابت خدشات لاء بيلنس چيڪن ۽ Mutz and Pemantle (2015) شناختياتي طريقي سان ڏسو. مثال طور، هڪ بيلنس جي چڪاس، Allcott (2011) کي ڪجهه ثبوت ملي ٿي ته بي ترتيب واري ترتيب کي ٽن جي اوپنر تجربن ۾ درست نه ڪيو ويو آهي (ٽيبل 2، سائيٽ 2، 6، ۽ 8 ڏسو). ٻين نقطي لاء، Imbens and Rubin (2015) جو باب 21 Imbens and Rubin (2015) ڏسو.

اندروني اعتبار جي لحاظ کان ٻيا اهم خدشات آهن: (1) هڪ رخا رعايت نه آهي، علاج جي گروپ ۾ هر ماڻهو اصل ۾ علاج حاصل نه ڪيو، (2) ٻن رخا غير معاهدي، جتي علاج جي گروپ ۾ هر ماڻهو علاج حاصل ڪري ٿو ۽ ڪجهه ماڻهو ڪنٽرول گروپ کي علاج حاصل ڪري ٿي، 3) تڪليف، ڪجهه شرڪت ڪندڙن لاء نتيجو ماپ نه ڪيو ويو آهي. (4) مداخلت، جتي علاج ماڻهن جي علاج کان ماڻهن ماڻهن جي ڪنٽرول حالت ۾ اچي ٿو. انهن سڀني مسئلن تي گهڻو ڪجهه لاء Gerber and Green (2012) باب 5، 6، 7، ۽ 8 ڏسو.

Westen and Rosenthal (2003) بڻائڻ تي وڌيڪ، Westen and Rosenthal (2003) ڏسو Westen and Rosenthal (2003) ، ۽ وڌيڪ ڄاڻايل ڊيٽا وسيلن ۾ صحيح، Lazer (2015) ۽ هن ڪتاب جو 2 باب.

خارجي صحيحيت جو هڪ پاسو اهو جوڙ آهي جنهن ۾ هڪ مداخلت آزمائشي آهي. Allcott (2015) ۽ تجرباتي علاج سان سائيٽ جي انتخاب جي تعصب مهيا ڪري ٿي. هيء مسئلو Deaton (2010) پاران پڻ بحث ڪيو ويندو آهي. خارجي صحيحيت جو هڪ ٻيو مقصد اهو آهي ته متبادل آپريشنلريشنون ساڳيا مداخلت جا ساڳيا اثرات هوندا. انهي حالت ۾، Schultz et al. (2007) ۽ Allcott (2011) ظاهر ڪري ٿو ته اوپنر تجربن اصل تجربن کان وڌيڪ ننڍڙي اندازي سان اثر انداز ڪيو هو. Schultz ۽ ساٿي وارن (1.7٪ بمبئي 5٪). Allcott (2011) ڄاڻايل آهي ته اپيل تجربن جو ننڍڙو اثر هو، ڇاڪاڻ ته طريقن سان ڪهڙو فرق آهي: هڪ هٿ سان ايمٽيڪن هڪ ڪاميٽي اي ايمٽيڪن جي مقابلي ۾ وڏي ڪاميابي سان گڏ يونيورسٽي جي نالي سان هڪ مطالعو جو حصو آهي. هڪ طاقت ڪمپني جي رپورٽ ڪريو.

• علاج جي اثرائتي اثرات (سيڪشن 4.4.2)

فيلڊ تجربن ۾ علاج جي اثرات جي تثليث جي بهترين جائزي لاء، Gerber and Green (2012) جو باب 12 ڏسو Gerber and Green (2012) . طبي آزمائش ۾ علاج جي اثرات جي بي حرمتي جي تعريف ڪرڻ لاء، Kent and Hayward (2007) ، Longford (1999) ، ۽ Kravitz, Duan, and Braslow (2004) . علاج جي اثرائتي اثرات جي نظرثاني عام طور تي خاص طور تي علاج کان اڳ واريون خاصيتن تي ٻڌل آهن. جيڪڏهن توهان پوسٽ علاج جي نتيجن جي بنياد تي تثليثيت ۾ دلچسپي رکو ٿا، پوء وڌيڪ پيچيده طريقي جي ضرورت آهي، جهڙوڪ پرنسپل استحکام (Frangakis and Rubin 2002) ؛ ڏسو Page et al. (2015) جائزي لاء

ڪيترائي محقق رينجر ريفريشن جي استعمال سان علاج جي اثرات جي تثليث جو اندازو لڳائي ٿو، پر نئين طريقن تي مشين سکڻ تي عمل ڪندي؛ مثال طور، مثال طور Green and Kern (2012) ، Imai and Ratkovic (2013) ، Taddy et al. (2016) ، Athey and Imbens (2016a) .

اثرات جي تثليث جي نتيجن جي باري ۾ ڪجهه شڪايت موجود آهي ڇاڪاڻ ته متعدد مقابلو مسئلن ۽ "ماهيگيري" بابت مختلف قسم جا مسئلا موجود آهن، جيڪي مختلف قسمن جي خدشات بابت فڪر کي پتو پئجي سگھن ٿا (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . خدشات بابت "مڇي مارڻ" بابت اڳڀرائي بابت هڪ رجسٽريشن اڳ ۾ ئي رجسٽريشن آهي، جيڪو نفسياتي نفسيات ۾ عام طور تي (Nosek and Lakens 2014) ، سياسي سائنس (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ، ۽ اقتصاديات (Olken 2015) .

Costa and Kahn (2013) جي مطالعي ۾ تجربو ۾ صرف اڌ گھر جي اڌ ڊيموگرافڪ معلومات سان ڳنڍيل ٿي سگهي ٿي. پڙهندڙن کي انهن ڄاڻن ۾ دلچسپي اصل پيپر ڏانهن اشارو گهرجي.

• ميڪانيزم (سيڪشن 4.4.3)

ميکانيزم ناقابل اعتبار حد کان اهم آهن، پر انهن کي پڙهائڻ لاء تمام ڏکيو هوندو. ميڪانيزم بابت تحقيقات نفسياتيات ۾ ثالث جي مطالعي سان ويجهي سان تعلق رکي ٿو (پر انهن خيالن جي وچ ۾ درست مقابلو لاء VanderWeele (2009) پڻ ڏسو. آرٽيڪل رياضن کي ڳولڻ جو طريقو، جهڙوڪ Baron and Kenny (1986) ۾ ترقي وارو نقشو Baron and Kenny (1986) ڪافي عام آهن. بدقسمتي سان، اهو معلوم ٿئي ٿو ته اهي طريقا ڪجهه مضبوط مفهوم (Bullock, Green, and Ha 2010) ڀروسو ٿين ٿا ۽ متعدد ميکانيزم جو شڪار ٿين، ڇو ته ھڪڙي (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) حالتون (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) ۽ Imai and Yamamoto (2013) ڪجهه بهتر شمارياتي طريقا پيش ڪن ٿا. وڌيڪ، VanderWeele (2015) ڪيترن ئي اهم نتيجن سان ڪتاب جي ڊيگهه علاج پيش ڪندو آهي، جنهن ۾ حساسيت جي تجزيه لاء جامع طريقه شامل آهي.

هڪ الڳ نقشو تجربن تي ڌيان ڏئي ٿو جيڪو ميٽرڪريشن کي سڌارڻ جي ڪوشش ڪري ٿو (مثال طور، ڪاري ملاح وارن سيٽ). بدقسمتي سان، ڪيتريون ئي سماجي سائنس جي جوڙجڪ ۾، اڪثر ڪري ڪيترن ئي ميڪانيزم وارا هوندا آهن ۽ اهو علاج ڪرڻ لاء سخت آهي، جيڪا ٻين کي تبديل ڪرڻ کان سواء هڪ تبديلي آڻيندي. Imai, Tingley, and Yamamoto (2013) ، Ludwig, Kling, and Mullainathan (2011) ، ۽ Pirlott and MacKinnon (2016) پاران ڏنل طريقيڪار جي استعمال جي طريقيڪار تي ڪجھه طريقا پيش ڪن ٿا.

محققن کي مڪمل طور تي فطري طور تي استعمال ٿيندڙ تجربن بابت ڪيترن ئي تڪرار جي جاچ بابت ڳڻتي ٿيڻ گهرجي. وڌيڪ معلومات لاء Fink, McConnell, and Vollmer (2014) ۽ List, Shaikh, and Xu (2016) ڏسو.

آخرڪار، ميڊيڪلزم جو سائنس جي فلسفي ۾ پڻ ڊگهي تاريخ آهي جنهن کي Hedström and Ylikoski (2010) بيان ڪيل آهي.

• موجوده ماحول کي استعمال ڪندي (سيڪشن 4.5.1)

تبعيض جي خاتمي لاء خطا جي مطالعي ۽ آڊيٽ مطالعي جي استعمال تي، Pager (2007) ڏسو Pager (2007) .

• پنهنجي پنهنجي تجربن جي تعمير ڪريو (سيڪشن 4.5.2)

شرڪت ڪندڙن کي گڏ ڪرڻ لاء سڀ کان وڏو طريقو اهو آهي ته توهان کي ايم ڊي ميزيڪل مڪيڪ ترڪ ٺاهيو آهي. ڇاڪاڻ ته ٽڪريڪ روايتي ليب جا تجربا جي ماڻهن کي پورو ڪري رهيا آهن جيڪي ماڻهن کي مڪمل طور تي تحقيق ڪرڻ وارا نه هوندا هئا، انهن اڳ ۾ ئي ترڪنرز (ميٽرڪڪ ڪارڪنن) کي تجرباتي شرڪت ڪندڙن جي شروعات ڪري رهيا آهن، جنهن جي نتيجي ۾ تيز ۽ سستي ڊيٽا گڏ ڪري سگهجي ٿي. روايتي ڪئمپس ليبارٽري تجربو (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

عام طور تي، شرڪت ڪندڙن کي استعمال ڪرڻ ۾ سڀ کان وڏو فائدو ميٽرڪ مان نوڪر نوڪر آهي. ليبار تجربن کي هفتي هلائڻ لاء هفتي وٺي سگهي ٿو ۽ تجربن جي فيلڊ مهينن کان سيٽ اپ کي استعمال ڪري رهيا آهن. مثال طور، Berinsky, Huber, and Lenz (2012) هڪ ڏينهن ۾ 400 مضامين کي گزارش ڪرڻ جي قابل هئا 8 منٹ تجربه ۾ حصو وٺن. ان کان علاوه، شرڪت ڪندڙ تقريبن ڪنهن مقصدن لاء نوڪر حاصل ڪري سگهجي ٿو (سروي ۽ ڪاميٽي تعاون، جيئن ته باب 3 ۽ 5 ۾ بحث ڪيو ويو آهي). جلدي جي جلدي جي آسانيء جو مطلب اهو آهي ته محقق تيز رفتار ڪاميابيء سان لاڳاپيل تجربن جي ترتيب هلائي سگهن ٿا.

شرڪت ڪندڙن کان وٺي ميٽرڪ پنهنجن تجربن لاء، پهريان چار اهم شيون جيڪي توهان کي ڄاڻڻ جي ضرورت آهي. پهرين، ڪيترائي محقق انهن ترڪرن ۾ تجربن جي هڪ غير نصابي شڪ ۾ آهن. ڇو ته هي شڪست مخصوص ناهي، اهو ثبوت سان مقابلو ڪرڻ ڏکيو آهي. بهرحال، ڪيترن ئي سالن کان تربيتن جي مطالعي کانپوء، اسان هاڻي اهو نتيجو ڪري سگهون ٿا ته هي شڪست خاص طور تي ثابت نه ڪيو ويو آهي. ترڪي جي ڊيموگرافڪ جي مقابلي ۾ ڪيترين ئي اڀياس ڪئي وئي آهي، جن کي ٻين ماڻهن جي مقابلي جي مقابلي جي مقابلي جي مقابلي جي لحاظ کان ٻين ماڻهن ۽ ان جي مختلف مطالعات. هن سڀني ڪم کي ڇڏي ڏنو، مان سمجهان ٿو ته توهان جي باري ۾ سوچڻ لاء بهترين رستو اهو آهي ته ترڪنر هڪ مناسب سهولت نموني آهي، جهڙوڪ شاگردن وانگر مگر ٿورڙو وڌيڪ متنوع (Berinsky, Huber, and Lenz 2012) . ان ڪري، جيئن ته شاگردن ڪجهه لاء هڪ مناسب آبادي وارا آهن، پر سڀ ڪجهه نه، تحقيق، ترڪ ڪجهه ڪجهه لاء مناسب آبادي آهن، پر سڀ تحقيق نه. جيڪڏهن توهان ترڪيز سان ڪم ڪرڻ چاهيندا آهيو، ان کان پوء انهن جي مقابلي ۾ ڪيترائي گهڻا مطالعو پڙهڻ ۽ انهن جي نونسن کي سمجهي ٿي.

ٻيو، تحقيق ڪندڙن کي ميٽرڪ تجربن جي اندروني اعتبار وڌائڻ لاء بهترين طريقا ٺاهيا آهن، ۽ توهان انهن بهترين طريقن جي باري ۾ ڄاڻڻ گهرجي (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . مثال طور، ترڪيرز استعمال ڪندي محقق کي پراڻين شرڪت ڪندڙن (Berinsky, Margolis, and Sances 2014, 2016) کي ختم ڪرڻ لاء همٿايو ويو آهي (پر پڻ DJ Hauser and Schwarz (2015b) ۽ DJ Hauser and Schwarz (2015a) ). جيڪڏهن غير جانبدار ڌرين کي نه هٽايو وڃي، پوء علاج جو ڪو اثر شور جي ذريعي پيش ڪري سگهجي ٿو جيڪي انهن کي متعارف ڪرايو وڃي ۽ عملي طور تي غير حاضري جي شموليت انتهائي اهم ٿي سگهي ٿو. حبير ۽ ساٿين جي تجربن ۾ (2012) تقريبا 30 سيڪڙو شرڪت ڪندڙن کي بنيادي ڌيان جاچيندڙ. ٻيا مسئلا عام طور تي پيدا ٿيندا آهن جڏهن ترڪنر استعمال ٿيل آهن غير اخلاقي شرڪت ڪندڙ (Chandler et al. 2015) ۽ گريجوئيشن (Zhou and Fishbach 2016) .

ٽيون، ڪنهن به ڊجيٽل تجربن جا ٻيا روپ، ميٽرڪ تجربن جي پيماني تي نه ٿي سگهن. Stewart et al. (2015) اندازو آهي ته ڪنهن به وقت تي ميٽرڪ ۾ فقط 7000 ماڻهو آهن.

آخرڪار، توهان کي ڄاڻڻ گهرجي ته ميٽرڪ هڪ ڪميونٽي آهي جيڪو پنهنجي قاعدن ۽ ريتن سان گڏ آهي (Mason and Suri 2012) . ساڳئي طريقي سان توهان هڪ ملڪ جي ثقافت بابت جتي ڳولڻ چاهيندا هئا ته توهان پنهنجي تجربن کي هلائڻ وارا هئا، توهان کي ترڪرز جي ثقافت ۽ ريتن بابت وڌيڪ ڄاڻڻ جي ڪوشش ڪئي وڃي (Salehi et al. 2015) صالحه (Salehi et al. 2015) . ۽ توهان کي ڄاڻڻ گهرجي ته جيڪڏهن توهان کي ڪنهن نا مناسب يا غير اخلاقي ڪم ڪيو وڃي ته ترڪن پنهنجي ڳالهائڻ بابت ڳالهائيندي ويندي (Gray et al. 2016) .

ميٽرڪ شرڪت ڪندڙن کي پنهنجي تجربن ۾ ڀرپور هڪ آسان طريقو آهي، ڇا Huber, Hill, and Lenz (2012) ، يا وڌيڪ فيلڊ جهڙوڪ Mason and Watts (2009) جيئن ته لبنان جهڙوڪ آهن، ، Goldstein, McAfee, and Suri (2013) ، Goldstein et al. (2014) ، Horton and Zeckhauser (2016) ، ۽ Mao et al. (2016) .

• پنهنجي پنهنجي پيداوار جي پيداوار ڪريو (سيڪشن 4.5.3)

جيڪڏهن توهان پنهنجي پنهنجي پيداوار ٺاهڻ جي ڪوشش ڪرڻ جي سوچڻ چاهيندا آهيو، آئون سفارش ڪريان ٿو ته توهان Harper and Konstan (2015) ۾ فلم لينز گروپ Harper and Konstan (2015) پاران پيش ڪيل مشوري پڙهي. هڪ اهم ڄاڻ جو تجربو اهو آهي ته هر ڪامياب منصوبي لاء ڪيترائي گهڻا ناڪام آهن. مثال طور، مووي لينس گروپ ٻين شين کي شروع ڪيو، جهڙوڪ گوپر انٽرنٽ، جيڪي مڪمل ناڪامي هئا (Harper and Konstan 2015) . هڪ محقق جي هڪ ٻيو مثال هڪ پيداوار جي پيدا ٿيڻ جي ڪوشش ۾ ناڪام ٿي ويو. اڊدن کي آن لائن کھیل تيار ڪرڻ لاء ايڊڊڊ کاستروفا جي ڪوشش آهي. $ 250،000 جي فنڊ ۾، هن منصوبي تي هڪ فلوپ (Baker 2008) . پراپرڪٽس جهڙن منصوبن وانگر ۽ اردن بدقسمتي سان فلمونز وانگر منصوبن کان گهڻو عام آهن.

• طاقتور سان ڀائيواري (سيڪشن 4.5.4)

مون ڏٺو آهي ته ٽيڪسٽ ڪمپنيء ۾ اڪثر پيسٽور جي چادرنٽ بابت خيالن بابت بحث ڪيو ويو آهي، ۽ اهو گوگل ۾ تحقيق جي ڪوششن کي منظم ڪرڻ ۾ مدد ڪري ٿو (Spector, Norvig, and Petrov 2012) .

بوند ۽ ساٿين جي مطالعي (2012) پڻ انهن علاج جو اثر حاصل ڪرڻ جي ڪوشش ڪري انهن ماڻهن جي دوستن کي ڳولڻ جو ڪوشش ڪيو. تجربن جي ڊزائين جي ڪري، اهي اسپاهر صاف ڪرڻ سان ڄاڻڻ ڏکيا آهن؛ دلچسپي پڙهندڙن کي Bond et al. (2012) ڏسڻ گهرجي Bond et al. (2012) وڌيڪ تفصيلي بحث لاء. جونز ۽ ساٿين (2017) پڻ 2012 ع جي چونڊن دوران هڪ ئي ساڳيا تجربا ڏنيون. انهن تجربن کي ووٽ ڏيڻ جي ڪوشش (Green and Gerber 2015) ڪوشش ۾ سياسي سائنس ۾ تجربن جي ڊگهي روايت جو حصو آهن. انهن تجربن مان ٻاهر نڪرڻ لاء عام طور تي آهن، ڇاڪاڻ ته اهي پوسٽور جي چانسلر ۾ آهن. اهو آهي، اهڙا ڪيترائي ماڻهو آهن جيڪي ووٽ وڌائڻ ۽ ووٽ وڌائڻ لاء رويو رويي ۽ سوشل اثر بابت بابت وڌيڪ عام بابت امتحان ڏيڻ لاء دلچسپ دلچسپ ٿي سگهي ٿو.

پارٽينيون ادارن جهڙوڪ سياسي جماعتن، اين جي اوز ۽ ڪاروبار سان هلندڙ فيلڊ تجربن بابت مشوره Loewen, Rubenson, and Wantchekon (2010) ، JA List (2011) ، ۽ Gueron (2002) ڏسو. خيالن جي باري ۾ تنظيمن سان ڀائيواري ڪيئن ٺهيل ڊزائن تي اثر انداز ڪري سگهن ٿا، King et al. (2007) ڏسو King et al. (2007) ۽ Green, Calfano, and Aronow (2014) . شراکت Humphreys (2015) ۽ Nickerson and Hyde (2016) پاران ڪيل ڳالهه ٻولهه سان اخلاقي سوالن جي ڪري سگھي ٿو.

• ڊيزائن جي صلاح (سيڪشن 4.6)

جيڪڏهن توهان پنهنجي تجربن کي هلائڻ کان اڳ هڪ تجزيو منصوبو ٺاهي رهيا آهيو، مان سمجهان ٿو ته توهان شروعاتي رپورٽنگ جي رهنمائي ڪرڻ جي شروعات ڪندي. CONSORT (قاعده اسٽڊي رپورٽنگ جي ٽائلس) هدايتون دوا ۾ ٺاهيا ويا (Schulz et al. 2010) ۽ سوشل تحقيق (Mayo-Wilson et al. 2013) لاء تبديل ٿيل. تجرباتی سیاسی سائنس کے جرنل کے Mutz and Pemantle (2015) ھڪڙو سلسلو تیار کیا گیا ہے (Gerber et al. 2014) ( Mutz and Pemantle (2015) اور Gerber et al. (2015) ). آخرڪار، نفسياتيات (APA Working Group 2008) ۾ رپورٽنگ جي هدايتن جي ترقي ڪئي وئي آهي، ۽ Simmons, Nelson, and Simonsohn (2011) پڻ ڏسندا.

جيڪڏهن توهان تجزيو منصوبو ٺاهيو ٿا، توهان ان کي پهريان کان رجسٽريشن تي غور ڪيو آهي ڇاڪاڻ ته پري کان رجسٽريشن اعتماد ۾ اضافو ٿيندو جيڪو ٻين کي توهان جي نتيجن ۾ آهي. وڌيڪ، جيڪڏهن توهان هڪ پارٽنر سان ڪم ڪري رهيا آهيو، نتيجن کي ڏسڻ کان پوء تجزيو کي تبديل ڪرڻ جي پنهنجي پارٽنر جي صلاحيت کي محدود ڪري ڇڏيندو. نفسياتي رجسٽريشن ۾ عام طور تي عام ٿي رهيو آهي (Nosek and Lakens 2014) ، سياسي سائنس (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ، ۽ اقتصاديات (Olken 2015) .

آن لائن فيلڊ تجربن لاء خاص طور تي ڊيزائن جي صلاح مشورو Konstan and Chen (2007) ۽ Chen and Konstan (2015) ۾ پڻ پيش ڪيو ويو آهي.

ڇا مون کي چيو ويو آهي ته آرماڊا جي حڪمت عملي ڪڏهن ڪڏهن پروگراماتي تحقيق کي سڏيو ويندو آهي. Wilson, Aronson, and Carlsmith (2010) ڏسو.

• صفر متغير قيمت جي ڊيٽا ٺاهڻ (سيڪشن 4.6.1)

MusicLab تجربن تي وڌيڪ، Salganik, Dodds, and Watts (2006) ڏسو Salganik, Dodds, and Watts (2006) ، Salganik and Watts (2008) ، Salganik and Watts (2009b) ، Salganik and Watts (2009a) ، ۽ Salganik (2007) . فاتح-تي-سڀ مارڪيٽن تي وڌيڪ، Frank and Cook (1996) ڏسو. وڌيڪ قسمت ۽ مهارت تي ناپسند ڪرڻ تي وڌيڪ، ڏسو Mauboussin (2012) ، Watts (2012) ، ۽ Frank (2016) .

شرڪت جي ادائيگي کي ختم ڪرڻ لاء هڪ ٻيو طريقو آهي جيڪو محققین احتياط سان استعمال ڪرڻ گهرجي: نسخ. ڪيترين ئي آن لائين فيلڊ تجربن ۾ شرڪت ڪندڙ بنيادي طور تي تجربن ۾ تيار ڪيا ويا آهن ۽ ڪڏهن به معاوضي نه ٿيندي. هن اچڻ جو مثال Restivo ۽ وإن من Rijt جي شامل آهن (2012) وڪيپيڊيا ۽ بانڊ ۾ انعام ۽ ان جي تي آزمائش (2012) ماڻهن کي ووٽ لاء همٿ تي آزمائش. هنن تجربن ۾ واقعي صفر متغير قيمت نه آهي، اهي تحقيق ڪندڙن لاء صفر متغير قيمت آهن. اهڙي تجربن ۾، جيتوڻيڪ جيڪڏهن هر شرڪت جي قيمت تمام ننڍڙو آهي، مجموعي قيمت تمام وڏي ٿي سگهي ٿي. محقق ڪيترن ئي آنلائن تجربن تي هلندڙ اڪثر ڪري ننڍي انداز سان علاج ٿيندڙ اثرات جي اهميت کي صحيح ڪندي ڏيندي چيو ته ڪيترن ئي ماڻهن تي لاڳو ٿيندو جڏهن اهي ننڍا اثرات اهم ٿي سگهن ٿيون. ساڳئي ئي سوچ سوچڻ تي لاڳو ٿئي ٿو ته محققین شرڪت ڪندڙن تي ڌيان ڏيندا آهن. جيڪڏهن توهان جو تجربو هڪ ملين ماڻهن کي هڪ منٽ ضايع ڪرڻ جو سبب بڻائيندو آهي، ڪنهن به خاص شخص لاء تجربه تمام نقصانڪار نه آهي، پر مجموعي طور تي تقريبا ٻه سال ضايع ڪري ڇڏيو آهي.

ګډونوالو ته صفر متغیر قیمت کی ادائیگی پیدا ڪرڻ لاء هڪ ٻيو نقطہ نظر یہ ہے چې لوٹری، ایک سروے جو سرو سروے میں استعمال کیا جاتا ہے (Halpern et al. 2011) . مزيدار صارف تجربن جي ڊزائين ڪرڻ بابت، Toomim et al. (2011) ڏسو Toomim et al. (2011) . صفر متغير قيمت تجربن جي تجربن کي ڏسڻ لاء بوٽ استعمال ڪرڻ بابت وڌيڪ ( ??? ) .

• ٻيھر، تبديل ڪريو ۽ گھٽ ڏيو (حصو 4.6.2)

جيئن ته آر ڊي جي اصل طور تي پيش ڪيل Russell and Burch (1959) طرفان Russell and Burch (1959) هن ريت آهن:

"لڳائڻ جي insentient مواد جي باشعور رهندڙ اعلي جانورن جي راء جو مطلب آهي. گهٽ هڪ ڏنو رقم ۽ سڌائي جي معلومات حاصل ڪرڻ لاء استعمال ڪيو جانورن جي تعداد ۾ گهٽتائي جو مطلب آهي. جي لطافت جو incidence يا غير انساني طريقا جي بيرحميء ۾ ڪنهن جي ضايع ٿيڻ تن جانورن اڃا به استعمال ڪيو ويندو آهي، جنهن کي لاڳو جو مطلب آهي. "

ٽي آر جو آء اهو پيش ڪريان ٿو باب 6 ۾ بيان ڪيل اخلاقي اصولن کي مٿي نٿو ڪري، بلڪه اهي انهن سڀني اصولن کان وڌيڪ تفصيلي نسخ آهن، خاص طور تي انساني تجربن جي ترتيب ۾.

(Kramer, Guillory, and Hancock 2014) ۽ جذباتي مقصود قدرتي تجربو (Lorenzo Coviello et al. 2014) جي پهرين رونٽ ("متبادل") جي اصطلاحن جي لحاظ سان تجربن جي فطري تجربن مان گذارڻ ۾ (۽ نموني وانگر ٻين نقشن جيڪي غير تجرباتي ڊيٽا ۾ تقريبا تجربا ڪرڻ جي ڪوشش ڪندا؛ 2 باب ڏسو). اخلاقي فائدي کان علاوه، تجرباتي غير تجرباتي مطالعي مان سوئچنگ پڻ محقق کي پڙهي ٿو ته انهن کي علاج ڪرڻ جو مطالبو ڪرڻ جي قابل آهي. جيتوڻيڪ اخلاقي ۽ لوڪليني فائدي تي خرچ اچي ٿو. قدرتي تجربن سان محقق شيون شين تي گھٽ ڪنٽرول وانگر حصو وٺندڙن جي جذباتي، بي ترتيب ڏيڻ، ۽ علاج جي طبيعت تي مشتمل آهن. مثال طور، ٺٽو جي هڪ حد جي طور تي علاج اهو آهي ته ٻنهي ۾ مثبتيت وڌائي ۽ منفي کي گهٽائي ٿي. جيتوڻيڪ تجرباتي مطالعي ۾، ڪررر ۽ ساٿين کي آزاديء سان مثبتيت ۽ منفيات کي سڌارڻ جي قابل هئي. Lorenzo Coviello et al. (2014) استعمال سے خاص نقطہ نظر Lorenzo Coviello et al. (2014) L. Coviello, Fowler, and Franceschetti (2014) وڌيڪ وضاحت ڪئي وئي. اوزار جي تعارف لاء تعارف لاء، جيڪي Lorenzo Coviello et al. (2014) طرفان استعمال ڪيو وڃي ٿو Lorenzo Coviello et al. (2014) ، ڏسو Angrist and Pischke (2009) (گهٽ رسمي) يا Angrist, Imbens, and Rubin (1996) (وڌيڪ رسمي). اوزار متغيرات جي شڪست جي تشخيص لاء، Deaton (2010) ، ۽ اوزار جي متغيرات جي ضعيف آلات (مينهن ھڪ ڪمزور آلو) آھي، Murray (2006) ڏسو Murray (2006) . وڌيڪ عام طور تي، Dunning (2012) پاران هڪ بهترين تعارف Dunning (2012) ۽ Rosenbaum (2002) ، ( ??? ) ، ۽ Shadish, Cook, and Campbell (2001) کان سواء تجربن جي سببن جي سببن جي باري ۾ سٺو خيال پيش ڪن ٿا.

سيڪنڊ آر جي اصطلاحن ۾ ("تقرري")، سائنسي ۽ لوڪلڪي واپاري تجارت وارا آھن، جڏھن پوسٽن کي وڌائڻ لاء پوسٽن کي ختم ڪرڻ کان جذباتي ڪنڊوين جي ڊزائن کي تبديل ڪرڻ تي غور ڪندا. مثال طور، اهو شايد اهو ٿي سگهي ٿو ته خبرن جي فيڊ جي ٽيڪنالاجي لاڳو ڪرڻ اهو هڪ آسان استعمال آهي جنهن ۾ پوسٽون هڪ کان سواء انهن کي مضبوط ڪيو ويو آهي (انهي ۾ نوٽ ڪيو ويو آهي ته پوسٽن کي روڪڻ جو تجربو لاڳو ٿي سگهي ٿو جيئن ته ڪنهن به اخبار جي فيڊ سسٽم جي بغير ڪنهن بنيادي نظام جي ڦيرڦار جي ضرورت هجي). سائنسي طور تي، هن نظريي کي خطاب ڪندي ٻين ڳالهين تي واضح طور تي پيش نه ڪيو ويو. بدقسمتي سان، مون خبرن فيڊ ۾ مواد کي روڪڻ ۽ وڌائڻ جي مائٽن جي متعلق بابت اڳوڻي اڳوڻي تحقيق کان واقف نه آهيان. انهي سان گڏ، مون گهڻو تحقيق ڪونه ڏٺو آهي ته انهن کي گهٽائڻ جي علاج بابت گهٽ نقصان پهچائڻ؛ هڪ استثنا B. Jones and Feamster (2015) ، جنهن ۾ انٽرنيٽ B. Jones and Feamster (2015) جي ماپ جو معاملو سمجهي ٿو (هڪ موضوع مان اينڪر مطالعي سان تعلق ۾ باب 6 ۾ بحث (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

ٽين آر ("گهٽتائي") جي اصطلاحن ۾ روايتي طاقت جي تجزيي سان سٺا تعارف Cohen (1988) (ڪتاب) ۽ Cohen (1992) (مضمون)، جڏهن ته Gelman and Carlin (2014) ٿورڙي مختلف نقشو پيش ڪن ٿا. تجربن جي ڊزائنر ۽ تجزيو اسٽيشن ۾ اڳ ۾ علاج علاج ڪري سگهجي ٿو. Gerber and Green (2012) جو باب 4 Gerber and Green (2012) ٻنهي طريقن سان سٺو تعارف فراهم ڪيو آهي، ۽ Casella (2008) هڪ وڌيڪ اندروني علاج فراهم ڪري ٿي. ٽيڪنڪيڪس جيڪي هن پري علاج جي معلومات کي ترتيب ڏيڻ ۾ استعمال ڪندا آهن عام طور تي يا تو ٺهيل تجرباتي ڊزائن يا استحقاق تجرباتي ڊزائن کي استعمال ڪندو آهي (اصطلاحن ۾ اڪثر اصطلاحن جي استعمال نه هوندي)؛ انهن ٽيڪنالاجي کي نموني نموني جي طريقن سان ويجهي سان لاڳاپيل آهن. 3. انهن وڏين تجربن ۾ انهن ڊزائنس استعمال ڪرڻ تي وڌيڪ لاء Higgins, Sävje, and Sekhon (2016) ڏسو. تجزيا جي شروعاتي علاج سان پڻ تجزيو اسٽيشن ۾ شامل ڪري سگھجي ٿو. McKenzie (2012) تفصيل سان تفصيلي اختلافات فيلڊ تجربن کي تجزيه ڪرڻ جي انداز ۾ ڳولي ٿو. Carneiro, Lee, and Wilhelm (2016) ڏسو ته علاج جي اثرات جي اندازن ۾ صحت جي لحاظ کان مختلف طريقن جي وچ ۾ وڌيڪ تجارت لاء. آخرڪار، جڏهن فيصله ڪن ته ڊزائن يا تجزياتي اسٽيج تي اڳ ۾ علاج علاج سان شامل ڪرڻ جي ڪوشش ڪئي وئي (يا ٻنهي)، غور ڪرڻ لاء ڪجھه عنصر موجود آهن. هڪ جوڙجڪ جتي جتي محقق ڏيکارڻ چاهيندا آهن ته اهي "ماهيگيري" (Humphreys, Sierra, and Windt 2013) ، ڊزائين اسٽيج ۾ اڳ علاج ڪرڻ واريون استعمال ڪندي مددگار ثابت ٿيون (Higgins, Sävje, and Sekhon 2016) . اهڙن حالتن ۾ جتي شرڪت جيڪي ترتيب وٺن ٿا، خاص طور تي آنلائن فيلڊ تجربن، ڊزائين اسٽيج ۾ پري علاج جي معلومات استعمال ڪندي، شايد منطقي طور تي ڏکيو ٿي سگهي ٿو. ڏسو، مثال طور، Xie and Aurisset (2016) .

اهو تفاوت جي ڪجهه دير سان ٻڌل هوندو آهي ڇو ته فرق وچ ۾ فرق مختلف طريقن سان هڪٻئي کان وڌيڪ اثرائتو ٿي سگهي ٿو. ڪيتريون ئي آن لائن نتيجو تمام وڏا ويڙهاڪ آهن (مثال طور، RA Lewis and Rao (2015) ۽ Lamb et al. (2015) ) ۽ وقت سان نسبتا مستحڪم آهن. انهي صورت ۾، تبديلي جو انگ اکرن جي چڪاس جي امتحان ۾ وڌائي، ننڍا ننڍا ويڙها هوندا. هڪ سبب اهو اهو نقشو گهڻو وقت استعمال نه ڪيو ويو آهي ته ڊجيٽل عمر کان اڳ، اهو عام طور تي علاج کان اڳوڻو نتيجو نه آهي. انهي جي باري ۾ سوچڻ لاء هڪ وڌيڪ مشڪل طريقي سان هڪ تجربو تصور ڪرڻ لاء اهو آهي ته ڪنهن مخصوص ورزش جي معمولي کي نقصان گھٽائي ٿو يا نه. جيڪڏهن توهان هڪ وچ ۾ وسيع طريقي سان اپيل ڪريو ٿا، توهان جو اندازو آباديء ۾ وزن جي مختلف حالتن ۾ پيدا ٿيڻ واري تبديليء سان هوندو. جيڪڏهن توهان هڪ فرق ۾ اختلاف ٿيڻ واريون طريقيڪار ڪريو ٿا، جڏهن ته، وزن ۾ تفاوت عام طور تي ختم ٿي ويندي آهي، ۽ توهان علاج جي نتيجي ۾ وڌيڪ آسان بڻائي سگهو ٿا.

آخرڪار، مون کي چوٿين ر ۾ شامل سمجهيو ويو: "ٻيهر رپيا". اهو آهي، جيڪڏهن محقق پاڻ کي وڌيڪ تجرباتي ڊيٽا سان گڏ پاڻ کي پنهنجي اصلي تحقيقي سوال کي خطاب ڪرڻ جي ضرورت پئجي ويندا آهن، انهن کي ڊيٽا کي نئين سوالن کان پڇڻ گهرجي. مثال طور، انهي ڪري سوچيو ته ڪررام ۽ پنهنجن ڀائرن کي فرق-۾-اختلاف تخميني استعمال ڪندڙ استعمال ڪيو ويو ۽ پاڻ کي وڌيڪ ڊيٽا سان گڏ انهن جي تحقيق جي سوال کي پتو ڏيڻ جي ضرورت کان وڌيڪ مليو. بلڪه هن کي مڪمل حد تائين ڊيٽا استعمال نه ڪرڻ، انهن کي جذباتي اظهار کان اڳ جي علاج جي طور تي اثر انداز جي اڀياس ڪري سگهي ٿي. بس Schultz et al. (2007) اهو معلوم ٿيو ته علاج جو اثر روشن ۽ ڳري استعمال ڪندڙن لاء مختلف هو، شايد خبرون فيڊ جا اثر مختلف ماڻهن لاء هئا جيڪي اڳ ۾ خوش (يا اداس) پيغام پوسٽ ڪرڻ تي مجبور ڪيا ويا آهن. Repurposing کي شايد "ماهي گيري" (Humphreys, Sierra, and Windt 2013) ۽ "پي-هيڪنگ" (Simmons, Nelson, and Simonsohn 2011) ، پر انهن تي وڏي تعداد ۾ ايماندار رپورٽنگ جي ميلاپ (Simmons, Nelson, and Simonsohn 2011) ، رجسٽريشن (Humphreys, Sierra, and Windt 2013) ، ۽ مشين سکڻ وارا طريقا جيڪي ختم ڪرڻ کان بچڻ جي ڪوشش ڪندا آهن.