مزید یہ تفسیر

اس حصے کی ایک داستان کے طور پر پڑھا جا کرنے کے بجائے، ایک ریفرنس کے طور پر استعمال کیا جا کرنے کے لئے ڈیزائن کیا گیا ہے.

• تعارف (سیکشن 4.1)

سماجی تحقیق میں حادثے کے بارے میں سوالات اکثر پیچیدہ اور پیچیدہ ہیں. اسباب گراف پر مبنی حادثے کے لئے ایک بنیادی نقطہ نظر کے لئے دیکھیں Pearl (2009) ، اور ممکنہ نتائج کی بنیاد پر ایک بنیادی نقطہ نظر کے لئے، دیکھیں Imbens and Rubin (2015) (اور اس باب میں تکنیکی اپینڈکس). ان دونوں نقطہ نظر کے درمیان ایک موازنہ کے لئے دیکھیں Morgan and Winship (2014) . ایک confounder کی وضاحت کرنے کے لئے ایک باقاعدہ نقطہ نظر کے لئے دیکھیں VanderWeele and Shpitser (2013) .

باب میں، میں نے تجرباتی اور غیر تجربہ ڈیٹا سے اسباب تخمینے بنانے کے لئے اپنی صلاحیت کے درمیان ایک روشن لائن کی طرح لگ رہا تھا کیا پیدا. حقیقت میں، مجھے لگتا ہے کہ امتیاز blurrier ہے. مثال کے طور پر، سب کے تمباکو نوشی کے ہم ایک randomized کنٹرول تجربہ لوگوں کو تمباکو نوشی کرنے پر مجبور ہے کہ کبھی نہیں کیا ہے، اگرچہ کینسر کی وجہ سے قبول کرتا ہے. غیر تجرباتی اعداد و شمار سے اسباب تخمینے بنانے پر بہترین کتاب لمبائی علاج کے لئے دیکھیں Rosenbaum (2002) ، Rosenbaum (2009) ، Shadish, Cook, and Campbell (2001) ، اور Dunning (2012) .

ابواب 1 اور 2 Freedman, Pisani, and Purves (2007) تجربات، کنٹرول تجربات کے درمیان اختلافات میں ایک واضح تعارف پیش کرتے ہیں، اور کنٹرول تجربات بے ترتیب.

Manzi (2012) randomized کنٹرول تجربات کی فلسفیانہ اور شماریاتی مضبوطی میں ایک دلچسپ اور پڑھنے کے قابل تعارف فراہم. یہ بھی کاروبار میں تجربات کی طاقت کی دلچسپ مثالیں حقیقی دنیا فراہم کرتا ہے.

• تجربات کیا ہیں؟ (دفعہ 4.2)

Casella (2008) ، Box, Hunter, and Hunter (2005) ، Athey and Imbens (2016b) تجرباتی ڈیزائن اور تجزیہ کے اعداد و شمار پہلوؤں سے اچھا تعارف ہے. معاشیات: اس کے علاوہ، بہت سے مختلف شعبوں میں تجربات کے استعمال کی بہترین علاج ہیں (Bardsley et al. 2009) ، عمرانیات (Willer and Walker 2007; Jackson and Cox 2013) ، نفسیات (Aronson et al. 1989) ، پولیٹیکل سائنس (Morton and Williams 2010) ، اور سماجی پالیسی (Glennerster and Takavarasha 2013) .

شرکت کنندہ کی بھرتی (مثلا، سیمپلنگ) کی اہمیت تجرباتی تحقیق میں انڈر تعریف اکثر ہے. تاہم، علاج کے اثر آبادی میں متفاوت ہے، تو نمونے لینے کے لئے اہم ہے. Longford (1999) وہ اویوستیت نمونے لینے کے ساتھ آبادی کے سروے کے تجربات کے بارے میں سوچ کے محققین کے لئے وکالت جب واضح طور پر اس نقطہ ہوتا ہے.

• تجربات کے دو ابعاد: لیب میدان اور ینالاگ ڈیجیٹل (سیکشن 4.3)

وجود میں ائی میں لیب اور تجربات کے درمیان پیش کیا ہے کہ تھوڑا سا آسان ہے. سچ تو یہ ہے، دیگر محققین تجربات کے مختلف اقسام کو الگ ہے کہ خاص طور والوں میں زیادہ تفصیلی typologies تجویز پیش کی ہے، (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . سروے کے تجربات اور سماجی تجربات موجودہ سروے کے بنیادی ڈھانچے کا استعمال کرتے ہوئے تجربات کر رہے ہیں سروے تجربات اور متبادل ورژن کے جوابات کا موازنہ: اس کے علاوہ، وہاں سماجی سائنسدانوں کی طرف سے کارکردگی تجربات لیب اور میدان سے وجود میں ائی میں صفائی فٹ نہیں کرتے کہ ان دونوں میں دوسری اقسام ہیں. ایک ہی سوال (کچھ سروے تجربات باب 3 میں پیش کر رہے ہیں)؛ سروے تجربات پر زیادہ دیکھنے کے لئے Mutz (2011) . سماجی تجربات تجربات علاج کے کچھ سماجی پالیسی صرف ایک حکومت کی طرف سے لاگو کیا جا سکتا ہے کہاں ہیں. سماجی تجربات قریب سے تشخیص کے پروگرام سے متعلق ہیں. پالیسی کے تجربات پر زیادہ کے لئے، دیکھیں Orr (1998) ، Glennerster and Takavarasha (2013) ، اور Heckman and Smith (1995) .

کاغذات کی ایک بڑی تعداد کے خلاصہ میں لیب اور تجربات کے مقابلے میں ہے (Falk and Heckman 2009; Cialdini 2009) اور سیاسیات میں مخصوص تجربات کے نتائج کے لحاظ سے (Coppock and Green 2015) ، معاشیات (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) اور نفسیات (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) لیب اور تجربات سے نتائج کا موازنہ کرنے کے لئے ایک اچھا تحقیق ڈیزائن فراہم کرتا ہے.

ان کے رویے کو تبدیل کرنے کے کیونکہ وہ جانتے ہیں کہ وہ قریب سے مشاہدہ کیا جا رہا ہے کبھی کبھی مانگ اثرات کو کہا جاتا ہے، اور وہ نفسیات میں مطالعہ کیا گیا ہے کے شرکاء کے بارے میں خدشات (Orne 1962) اور اقتصادیات (Zizzo 2009) . زیادہ تر لیب کے تجربات کے ساتھ منسلک اگرچہ، یہ ایک ہی مسائل کے ساتھ ساتھ میدان تجربات کے لئے مسائل پیدا کر سکتا. سچ تو یہ ہے، مانگ کے اثرات بھی کبھی کبھی Hawthorne کی اثرات، ایک فیلڈ تجربہ سے حاصل ہے کہ ایک اصطلاح، خاص طور پر مشہور الیومینیشن تجربات مغربی الیکٹرک کمپنی کے Hawthorne کی کام پر 1924 ء میں شروع ہوا ہے کہ کہا جاتا ہے (Adair 1984; Levitt and List 2011) . دونوں مانگ اثرات اور شہفنی اثرات قریب سے 2 باب میں بحث رد عمل کی پیمائش کرنے کے خیال سے متعلق ہیں (یہبھی دیکھتے Webb et al. (1966) ).

تجربات کی تاریخ معاشیات میں بیان کیا گیا ہے (Levitt and List 2009) ، پولیٹیکل سائنس (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) ، نفسیات (Shadish 2002) ، اور پبلک پالیسی (Shadish and Cook 2009) . تجربات کو تیزی سے نمایاں ہو گیا ہے جہاں سوشل سائنس کے ایک علاقے کو بین الاقوامی ترقی ہے. معاشیات کے اندر اندر اس کام کا ایک مثبت جائزے کے لئے دیکھ کر Banerjee and Duflo (2009) ، اور ایک اہم کی تشخیص کے لئے دیکھیں Deaton (2010) . سیاسیات میں اس کام کا جائزہ لینے کے لئے دیکھیں Humphreys and Weinstein (2009) . آخر میں، تجربات کے ساتھ شامل اخلاقی چیلنج سیاسیات میں کی گئی ہیں (Humphreys 2015; Desposato 2016b) اور ترقی معاشیات (Baele 2013) .

باب میں، میں نے اس کے پہلے علاج معلومات کے اندازے کے مطابق علاج کے اثرات کی صحت سے متعلق بہتر بنانے کے لئے استعمال کیا جا سکتا تجویز دی، لیکن کچھ بحث اس نقطہ نظر کے بارے میں ہے: Freedman (2008) ، Lin (2013) ، اور Berk et al. (2013) ؛ دیکھیں Bloniarz et al. (2016) مزید معلومات کے لئے.

• سادہ تجربات سے آگے (سیکشن 4.4)

موزونیت، علاج کے اثرات میں heterogeneity، اور نظام: میں تین تصورات پر توجہ مرکوز کرنے کا انتخاب کیا. یہ تصورات مختلف شعبوں میں مختلف نام ہیں. مثال کے طور پر، ماہرین نفسیات ثالثوں اور ثالثوں پر توجہ مرکوز کی طرف سے آسان تجربات سے باہر منتقل کرنے کے لئے ہوتے (Baron and Kenny 1986) . واسطوں کا خیال مجھے میکانزم کو فون کیا کی طرف سے قبضہ کر لیا ہے، اور منتظمین کے خیال میں بیرونی موزونیت (یہ مختلف حالات میں چلایا گیا تھا کہ اگر مثال کے طور پر، تجربہ کے نتائج مختلف ہو جائے گا) اور علاج کے اثرات میں heterogeneity (کہتے ہیں کی طرف سے قبضہ کر لیا ہے مثال کے طور پر، دوسرے لوگوں کے مقابلے میں کچھ افراد) کے لئے بڑے اثرات ہیں.

کا تجربہ Schultz et al. (2007) مؤثر مداخلتوں کو ڈیزائن کرنے کے لئے استعمال کیا جا سکتا ہے کہ کس طرح سماجی نظریات کو ظاہر کرتا ہے. مؤثر مداخلتوں کے ڈیزائن میں تھیوری اور اس کے کردار کے بارے میں ایک سے زیادہ عام دلیل کے لئے، دیکھیں Walton (2014) .

• ودمانیتا (دفعہ 4.4.1)

اندرونی اور بیرونی موزونیت کے تصورات سے پہلے میں متعارف کرائے گئے Campbell (1957) . دیکھو Shadish, Cook, and Campbell (2001) ، ایک مزید مفصل تاریخ اور اعداد و شمار کے اختتام موزونیت، اندرونی موزونیت کے محتاط تفصیلات کیلئے موزونیت، اور بیرونی موزونیت تعمیر.

تجربات میں شماریاتی اختتام موزونیت سے متعلق مسائل کا ایک جائزہ کے لئے ملاحظہ Gerber and Green (2012) (ایک سماجی سائنس کے نقطہ نظر کے لئے) اور Imbens and Rubin (2015) (ایک شماریاتی نقطہ نظر کے لئے). آن لائن تجربات میں خاص طور پر پیدا ہوتی ہے کہ اعداد و شمار کے اختتام موزونیت کے کچھ مسائل جیسے انحصار ڈیٹا کے ساتھ اعتماد کے وقفے بنانے کے لئے کومپٹیٹاونالل موثر طریقوں کے مسائل شامل ہیں (Bakshy and Eckles 2013) .

اندرونی موزونیت پیچیدہ تجربات میں اس بات کا یقین کرنے کے لئے مشکل ہو سکتا ہے. مثال، کے لئے، ملاحظہ کریں Gerber and Green (2000) ، Imai (2005) ، اور Gerber and Green (2005) ووٹنگ کے بارے میں ایک پیچیدہ میدان تجربہ کے نفاذ کے بارے میں بحث کے لئے. Kohavi et al. (2012) اور Kohavi et al. (2013) آن لائن تجربات میں وقفہ موزونیت کے چیلنجوں میں ایک تعارف ہے.

اندرونی موزونیت کے ساتھ ایک اہم مسئلہ randomization ہے کے ساتھ مسائل ہے. ممکنہ طور randomization ہے کے ساتھ مسائل کا پتہ لگانے کے لئے ایک طریقہ قابل مشاہدہ خصلتوں پر علاج اور کنٹرول گروہوں کا آپس میں موازنہ کرنے کے لئے ہے. مقابلے کے اس قسم کی ایک توازن کے چیک بھی کہا جاتا ہے. دیکھو Hansen and Bowers (2008) چیکوں کو متوازن، اور دیکھنے کے لئے ایک شماریاتی نقطہ نظر کے لئے Mutz and Pemantle (2015) توازن کے چیک کے بارے میں خدشات کے لئے. مثال کے طور پر، ایک توازن کا استعمال کرتے ہوئے چیک Allcott (2011) کچھ ثبوت ہے کہ randomization ہے صحیح تجربات کی تین میں OPower تجربات میں سے کچھ میں نافذ نہیں کیا گیا ہے کہ وہاں پایا (2 ٹیبل دیکھ؛ سائٹس 2، 6، اور 8). دوسرے نقطہ نظر کے لئے دیکھیں Imbens and Rubin (2015) ، باب 21.

اندرونی موزونیت سے متعلق دیگر اہم خدشات ہیں: 1) جہاں علاج کے گروپ میں ہر کوئی اصل علاج عدم تعمیل، یکطرفہ، 2) دو رخا جہاں علاج کے گروپ میں ہر کوئی علاج اور کچھ حاصل کرتا عدم تعمیل، کنٹرول گروپ میں لوگوں کو علاج، 3) چھوڑنے، نتائج کچھ شرکاء کے لئے ناپا نہیں کر رہے ہیں جہاں، اور 4) مداخلت، علاج کے کنٹرول کی حالت میں لوگوں کو علاج کی حالت میں لوگوں سے ختم spills جہاں موصول. دیکھو Gerber and Green (2012) ابواب 5، 6، 7، اور ان مسائل میں سے ہر ایک کے بارے میں مزید 8.

تعمیر موزونیت پر زیادہ کے لئے، دیکھیں Westen and Rosenthal (2003) ، اور بگ ڈیٹا کے ذرائع میں تعمیر موزونیت، پر زیادہ کے لئے Lazer (2015) اور اس کتاب کے باب 2.

بیرونی موزونیت کے ایک پہلو کی ترتیب جہاں ایک مداخلت ٹیسٹ کیا جاتا ہے. Allcott (2015) سائٹ انتخاب تعصب کے محتاط نظریاتی اور عملی علاج فراہم. یہ مسئلہ ان میں بھی بات چیت کی ہے Deaton (2010) . کئی سائٹس میں بھی اپنایا جا رہا ہے کے علاوہ میں، ہوم توانائی رپورٹ مداخلت بھی آزادانہ طور پر ایک سے زیادہ تحقیقی گروہوں کی جانب سے مطالعہ کیا گیا ہے (مثلا، Ayres, Raseman, and Shih (2013) ).

• علاج کے اثرات میں سے Heterogeneity (دفعہ 4.4.2)

تجربات میں علاج کے اثرات میں heterogeneity کی ایک بہترین جائزہ کے لئے، کے باب 12 دیکھیں Gerber and Green (2012) . طبی آزمائشوں میں علاج اثرات کی heterogeneity تعارف کے لیے ملاحظہ ہو Kent and Hayward (2007) ، Longford (1999) ، اور Kravitz, Duan, and Braslow (2004) . علاج کے اثرات میں سے Heterogeneity عام طور پر پہلے علاج خصوصیات کی بنیاد پر اختلافات پر توجہ مرکوز. آپ بعد از علاج کے نتائج پر مبنی heterogeneity میں دلچسپی رکھتے ہیں، تو زیادہ پیچیدہ approachs جیسے پرنسپل ستریکرن کی ضرورت ہے (Frangakis and Rubin 2002) ؛ دیکھیں Page et al. (2015) ایک جائزے کے لئے.

بہت سے محققین لکیری رجعت کا استعمال کرتے ہوئے کے علاج کے اثرات میں heterogeneity اندازہ ہے، لیکن نئے طریقوں کو مثال کے طور پر، مشین لرننگ پر انحصار Green and Kern (2012) ، Imai and Ratkovic (2013) ، Taddy et al. (2016) ، اور Athey and Imbens (2016a) .

کیونکہ ایک سے زیادہ مقابلے کے مسائل اور ". ماہی گیری" شماریاتی نقطہ نظر ایک سے زیادہ مقابلے کے بارے ایڈریس خدشات مدد کر سکتے ہیں کی ایک قسم ہیں کے اثرات میں heterogeneity کی نتائج کے بارے میں کچھ شکوک و شبہات نہیں ہے (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "ماہی گیری" کے بارے میں خدشات کے ایک طریقے پری رجسٹریشن، جس نفسیات میں تیزی سے عام ہوتا جا رہا ہے (Nosek and Lakens 2014) ، پولیٹیکل سائنس (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ، اور اقتصادیات (Olken 2015) .

کے مطالعہ میں Costa and Kahn (2013) کے استعمال میں گھرانوں میں سے صرف نصف کے بارے میں آبادیاتی معلومات سے منسلک کیا جا کرنے کے قابل تھے. اس تجزیہ کے ساتھ تفصیلات اور ممکنہ مسائل میں دلچسپی رکھنے والے قارئین اصل کاغذ سے رجوع کرنا چاہئے.

• طریقہ کار (دفعہ 4.4.3)

طریقہ کار انتہائی اہم ہیں، لیکن وہ تعلیم حاصل کرنا بہت مشکل ثابت ہو. میکانزم کے بارے میں تحقیق باریک بینی سے نفسیات میں واسطوں کا مطالعہ کرنے سے متعلق (بلکہ دیکھنے VanderWeele (2009) دونوں خیالات کے درمیان ایک عین مطابق مقابلے کے لئے). جیسا کہ میں تیار نقطہ نظر کو تلاش کرنے کے طریقہ کار کے شماریاتی نقطہ نظر، Baron and Kenny (1986) ، بہت عام ہیں. بدقسمتی سے، یہ ان لوگوں کے طریقہ کار کچھ مضبوط مفروضات پر منحصر ہے کہ باہر کر دیتا ہے (Bullock, Green, and Ha 2010) اور ایک سے زیادہ میکانزم موجود ہیں جب شکار ہیں، ایک سے بہت سے حالات میں توقع کر سکتے ہیں کے طور پر (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) اور Imai and Yamamoto (2013) کچھ بہتر شماریاتی طریقوں کی پیشکش. اس کے علاوہ، VanderWeele (2015) سنویدنشیلتا کا تجزیہ کرنے کے لئے ایک جامع حکمت عملی سمیت اہم نتائج، کی ایک بڑی تعداد کے ساتھ ایک کتاب کی لمبائی علاج فراہم کرتا ہے.

ایک الگ نقطہ نظر براہ راست طریقہ کار (مثلا، دے ملاح وٹامن C) جوڑتوڑ کرنے کی کوشش ہے کہ تجربات پر مرکوز ہے. بدقسمتی سے، بہت سے سماجی سائنس کی ترتیبات میں نے اکثر ایک سے زیادہ میکانزم ہیں اور اسے دوسروں کو تبدیل کئے بغیر تبدیل کہ علاج ڈیزائن کرنے کے لئے مشکل ہے. کچھ نقطہ نظر experimentally کی تبدیلی نظام میں بیان کر رہے ہیں کرنے کے لئے Imai, Tingley, and Yamamoto (2013) ، Ludwig, Kling, and Mullainathan (2011) ، اور Pirlott and MacKinnon (2016) .

آخر میں، میکانزم بھی ایک طویل تاریخ سائنس کا فلسفہ میں کے طور پر کی طرف سے بیان کیا ہے Hedström and Ylikoski (2010) .

• موجودہ ماحول کا استعمال کرتے ہوئے (دفعہ 4.5.1.1)

امتیازی سلوک کی پیمائش کرنے کی خط و کتابت مطالعہ اور آڈٹ اسٹڈیز کے استعمال پر مزید معلومات کے لئے دیکھیں Pager (2007) .

• آپ کی اپنی تجربہ کی تعمیر (دفعہ 4.5.1.2)

آپ کی تعمیر کے تجربات کرنے کے شرکاء کو بھرتی کرنے کی سب سے عام طریقہ ایمیزون مکینیکل ترک (MTurk) ہے. روایتی لیب کے تجربات ادائیگی کرنے والے لوگوں کی MTurk دھارتا پہلوؤں وہ آزادانہ بہت سے محققین کے لئے کیا نہیں کریں گے کہ کاموں کو مکمل کرنے کی وجہ سے پہلے ہی روایتی مقابلے میں تیز اور سستا ڈیٹا جمع کرنے کے نتیجے میں انسانی مضامین تجربات میں شرکاء کے طور پر Turkers (MTurk پر کارکنوں) کا استعمال کرتے ہوئے شروع کر دیا ہے کیمپس لیبارٹری کے تجربات (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

MTurk سے بھرتی کے شرکاء کے ساتھ تجربات کی سب سے بڑی طاقت رسد ہیں: وہ محققین کو جلدی اور ضرورت کے مطابق شرکاء کو بھرتی کرنے کی اجازت دیتے ہیں. جبکہ لیب کے تجربات کو چلانے کے لئے ہفتے لگ سکتے ہیں اور تجربات اپ قائم کرنے کے لئے ماہ لگ سکتے ہیں، MTurk سے بھرتی کے شرکاء کے ساتھ تجربات دنوں میں چلایا جا سکتا ہے. مثال کے طور پر، Berinsky, Huber, and Lenz (2012) ایک 8 منٹ کے استعمال میں حصہ لینے کے لئے ایک ہی دن میں 400 رعایا کو بھرتی کرنے کے قابل تھے. کے علاوہ، ان کے شرکاء کو عملی طور پر کسی بھی مقصد کے لئے (سروے اور بڑے پیمانے پر تعاون بھی شامل ہے، ابواب 3 میں بحث کے طور پر اور 5) کے لئے بھرتی کیا جا سکتا ہے. بھرتی کا یہ آسانی کے محققین تیزی سے مسلسل متعلقہ تجربات کے انداز سے چلا سکتے ہیں کا مطلب ہے.

آپ کے اپنے تجربات کے لئے MTurk سے شرکاء کو بھرتی کرنے سے پہلے، معلوم کرنے کے لئے چار اہم چیزیں ہیں. سب سے پہلے، بہت سے محققین Turkers شامل تجربات کا ایک غیر مخصوص شکوک و شبہات ہے. اس کے شکوک و شبہات مخصوص نہیں ہے کیونکہ اس میں ثبوت کے ساتھ مقابلہ کرنے کے لئے مشکل ہے. تاہم، Turkers استعمال کرتے ہوئے مطالعہ کی کئی سال کے بعد، اب ہم ہیں کہ اس کے شکوک و شبہات، خاص طور پر ضروری نہیں ہے یہ نتیجہ اخذ کر سکتے ہیں. بہت سے مطالعے دیگر آبادیوں اور دیگر آبادیوں سے نتائج کے Turkers ساتھ تجربات کے نتائج کا موازنہ بہت سے مطالعے کے لیے Turkers کی آبادی کا موازنہ کیا گیا ہے. یہ سب کام کو دیکھتے ہوئے، مجھے لگتا ہے کہ آپ اس کے بارے میں سوچنے کے لئے سب سے بہتر طریقہ Turkers زیادہ طالب علموں لیکن تھوڑا سا زیادہ متنوع طرح، ایک مناسب سہولت نمونہ ہیں یہ ہے کہ (Berinsky, Huber, and Lenz 2012) . اس طرح، طالب علموں کو کچھ کے لئے ایک مناسب آبادی لیکن سب نہیں تجرباتی تحقیق ہیں صرف کے طور پر، Turkers کچھ کے لئے ایک معقول آبادی نہیں بلکہ تمام تحقیق ہیں. آپ Turkers کے ساتھ کام کرنے کے لئے جا رہے ہیں، تو یہ ان تقابلی مطالعے کے بہت سے پڑھیں اور ان کے پہلوؤں کو سمجھنے کے لئے سمجھ میں آتا ہے.

دوئم، محققین ترک تجربات کے اندرونی موزونیت میں اضافہ کے لئے بہترین طریقوں کو تیار کیا ہے، اور آپ کے بارے میں جاننے اور ان کے بہترین طریقوں پر عمل کرنا چاہئے (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . مثال کے طور پر، Turkers استعمال کرتے ہوئے محققین اساودان شرکاء کو دور کرنے screeners استعمال کرنے کے لئے حوصلہ افزائی کی جاتی (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (بلکہ دیکھیں DJ Hauser and Schwarz (2015b) اور DJ Hauser and Schwarz (2015a) ). آپ اساودان شرکاء کو دور نہیں کرتے ہیں تو، اس کے بعد علاج کے کسی بھی اثر اساودان شرکاء سے تعارف کرایا شور کی طرف سے دھویا جا سکتا ہے، اور عملی طور پر اساودان شرکاء کی تعداد کافی ہو سکتا ہے. ہیوبر اور ان کے ساتھیوں کے استعمال میں (2012) شرکاء کی تقریبا 30 فیصد بنیادی توجہ کے screeners ناکام رہے. Turkers ساتھ عام ایک اور مسئلہ غیر بولی شرکاء ہے (Chandler et al. 2015) .

سوئم، ڈیجیٹل تجربات کی کچھ دیگر اقسام کے رشتہ دار، MTurk تجربات پیمانے نہیں کر سکتے ہیں، Stewart et al. (2015) جو کسی بھی وقت MTurk پر صرف تقریبا 7،000 لوگوں نے اندازہ لگایا ہے.

آخر میں، آپ کو پتہ ہونا چاہئے MTurk اس کے اپنے قوانین اور معیار کے ساتھ ایک کمیونٹی ہے کہ (Mason and Suri 2012) . آپ ایسے ملک جہاں آپ اپنے تجربات کو چلانے کے لئے جا رہے تھے کی ثقافت کے بارے میں باہر تلاش کرنے کی کوشش کریں گے کہ اسی طرح میں، آپ کی ثقافت اور Turkers کے معیار کے بارے میں مزید معلومات حاصل کرنے کی کوشش کرنی چاہئے (Salehi et al. 2015) . اور، آپ کو پتہ ہونا چاہئے کہ اگر آپ غیر مناسب یا غیر اخلاقی کچھ کرنا ہے تو Turkers اپنے استعمال کے بارے میں بات کی جائے گی (Gray et al. 2016) .

MTurk اپنے تجربات کرنے کے شرکاء کو بھرتی کرنے کی ایک ناقابل یقین حد آسان طریقہ ہے، وہ اس طرح کے، لیب کی طرح ہیں کہ آیا Huber, Hill, and Lenz (2012) ، یا اس سے زیادہ کے میدان کی طرح، جیسا کہ Mason and Watts (2009) ، Goldstein, McAfee, and Suri (2013) ، Goldstein et al. (2014) ، Horton and Zeckhauser (2016) ، اور Mao et al. (2016) .

• اپنی خود کی مصنوعات کی تعمیر (دفعہ 4.5.1.3)

آپ کو آپ کی اپنی مصنوعات تخلیق کرنے کی کوشش کے بارے میں سوچ رہے ہیں تو، میں مشورہ دیتے ہیں کہ آپ میں MovieLens گروپ کی طرف سے پیش کردہ مشورہ پڑھا Harper and Konstan (2015) . ان کے تجربے سے ایک اہم بصیرت ہر کامیاب منصوبے کے لئے کئی کئی ناکامیوں موجود ہیں یہ ہے. مثال کے طور پر، MovieLens گروپ جیسے GopherAnswers مکمل ناکامی تھے کہ دیگر مصنوعات کا آغاز (Harper and Konstan 2015) . ایک مصنوعات کی تعمیر کرنے کی کوشش کرتے ہوئے ناکام رہنے کے ایک محقق کی ایک اور مثال آرڈین نامی ایک آن لائن کھیل کی تعمیر کرنا ایڈورڈ Castronova کی کوشش ہے. فنڈنگ ​​میں $ 250،000 کے باوجود، منصوبہ ایک فلاپ تھا (Baker 2008) . GopherAnswers اور آرڈین جیسے منصوبے بدقسمتی بہت زیادہ عام MovieLens جیسے منصوبے کے مقابلے میں ہیں. آخر میں، جب میں نے کہا میں نے اس کامیابی کے بار بار استعمال کے لئے مصنوعات کی تعمیر کی تھی کسی بھی دوسرے محققین کی نہیں پتہ تھا کہ یہاں میرے معیار ہیں: 1) شرکاء کیونکہ اس سے ان کو فراہم کیا (مثلا، وہ ادا نہیں کر رہے ہیں کی مصنوعات کو استعمال کرتے ہیں اور وہ نہیں ہیں رضاکاروں سائنس کی مدد کر رہا ہے) اور 2) مصنوعات ایک سے زیادہ منفرد تجربہ (یعنی، نہیں ایک ہی تجربہ ایک سے زیادہ مختلف شریک کے پول کے ساتھ بار) کے لئے استعمال کیا گیا ہے. آپ دوسرے مثالوں کے جانتے ہیں تو، براہ مہربانی مجھے بتاو.

• طاقتور ساتھ پارٹنر (دفعہ 4.5.2)

میں نے پاسچر کی کواڈرینٹ ٹیک کمپنیوں میں اکثر بحث کی کے خیال کے بارے میں سنا ہے، اور یہ گوگل میں تحقیق کی کوششوں کو منظم کرنے میں مدد کرتا (Spector, Norvig, and Petrov 2012) .

بانڈ اور ساتھیوں کے مطالعہ (2012) بھی ان کا استقبال کرنے والوں میں دوستوں پر ان طریقہ ہائے علاج کے اثر کا پتہ لگانے کی کوشش ہے. کیونکہ تجربہ کے ڈیزائن کی، ان spillovers سفائیپسند پتہ لگانے کے لئے مشکل ہیں؛ دلچسپی رکھنے والے قارئین کو دیکھنا چاہئے Bond et al. (2012) ایک سے زیادہ مکمل بحث کے لئے. یہ تجربہ ووٹنگ کی حوصلہ افزائی کرنے کی کوششوں پر پولیٹیکل سائنس میں تجربات کی ایک طویل روایت کا حصہ ہے (Green and Gerber 2015) . وہ پاسچر کی کواڈرینٹ میں ہیں کیونکہ ان حاصل باہر ووٹ تجربات حصے میں عام ہیں. یہی وجہ ہے کہ بہت سے لوگوں کے طرز عمل میں تبدیلی اور سماجی اثر و رسوخ کے بارے میں مزید عمومی نظریات ٹیسٹ کرنے کے لئے ایک دلچسپ رویے ہو سکتا ووٹنگ اور ووٹنگ میں اضافہ کرنے کی حوصلہ افزائی کر رہے ہیں جو موجود ہیں، ہے.

دیگر محققین جیسے سیاسی جماعتوں، این جی اوز، اور کاروباری اداروں کے پارٹنر تنظیموں کے ساتھ میدان تجربات چلانے کے بارے میں مشورہ فراہم کی ہے (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . دوسروں کے لئے کس طرح کی تنظیموں کے ساتھ شراکت داری کی تحقیق کے ڈیزائن اثر انداز کر سکتے بارے میں مشورہ کی پیشکش کی ہے (Green, Calfano, and Aronow 2014; King et al. 2007) . شراکت داری بھی اخلاقی سوالات پیدا ہو سکتے ہیں (Humphreys 2015; Nickerson and Hyde 2016) .

• ڈیزائن مشورہ (سیکشن 4.6)

آپ اپنے استعمال چلانے سے پہلے ایک تجزیہ منصوبہ بندی پیدا جا رہے ہیں تو میں آپ کو رپورٹنگ رہنما خطوط پڑھ کر شروع مشورہ ہے کہ. بیوی کے رہنما خطوط (ٹرائلز کی محفوظ سٹینڈرڈ رپورٹنگ) طب میں تیار کیا گیا تھا (Schulz et al. 2010) اور سماجی تحقیق کے لئے نظر ثانی شدہ (Mayo-Wilson et al. 2013) . ہدایات کا ایک سیٹ کے متعلقہ تجرباتی پولیٹیکل سائنس کے جرنل کے ایڈیٹرز کی طرف سے تیار کیا گیا ہے (Gerber et al. 2014) (یہ بھی دیکھتے ہیں Mutz and Pemantle (2015) اور Gerber et al. (2015) ). آخر میں، رپورٹنگ کے رہنما خطوط نفسیات میں تیار کیا گیا ہے (Group 2008) ، اور بھی دیکھیں Simmons, Nelson, and Simonsohn (2011) .

آپ ایک تجزیہ منصوبہ بندی پیدا ہو تو آپ کی وجہ سے پری رجسٹریشن اعتماد دوسروں کو آپ کے نتائج میں ہے کہ میں اضافہ کرے گا جو پہلے سے رجسٹر کرنے پر غور کرنا چاہئے. اس کے علاوہ، آپ کو ایک پارٹنر کے ساتھ کام کر رہے ہیں، اس کے نتائج کو دیکھنے کے بعد تجزیہ کے تبدیل کرنے کے لئے آپ کے ساتھی کی صلاحیت کو محدود کریں گے. پری رجسٹریشن نفسیات میں تیزی سے عام ہوتا جا رہا ہے (Nosek and Lakens 2014) ، پولیٹیکل سائنس (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ، اور اقتصادیات (Olken 2015) .

آپ کے پہلے سے تجزیہ کی منصوبہ بندی کی تشکیل کرتے ہوئے آپ کو کچھ محققین کو یہ بھی اندازہ لگایا علاج اثر کی صحت سے متعلق بہتر بنانے کے لئے رجعت اور متعلقہ طریقوں کا استعمال معلوم ہونا چاہئے کہ، اور کچھ بحث اس نقطہ نظر کے بارے میں ہے: Freedman (2008) ، Lin (2013) ، اور Berk et al. (2013) ؛ دیکھیں Bloniarz et al. (2016) مزید معلومات کے لئے.

آن لائن تجربات کے لئے خاص ڈیزائن مشورہ بھی میں پیش کیا جاتا Konstan and Chen (2007) اور Chen and Konstan (2015) .

• صفر متغیر لاگت کے اعداد و شمار بنائیں (دفعہ 4.6.1)

MusicLab تجربات پر زیادہ کے لئے، دیکھیں Salganik, Dodds, and Watts (2006) ، Salganik and Watts (2008) ، Salganik and Watts (2009b) ، Salganik and Watts (2009a) ، اور Salganik (2007) . جیتنے والے کو تمام مارکیٹوں پر زیادہ کے لئے، دیکھیں Frank and Cook (1996) . زیادہ عام طور untangling قسمت اور مہارت پر زیادہ کے لئے، دیکھیں Mauboussin (2012) ، Watts (2012) ، اور Frank (2016) .

جبری بھرتی: شرکت کنندہ ادائیگیوں محققین احتیاط سے استعمال کرنا چاہئے کہ ختم کرنے کے لئے ایک اور نقطہ نظر نہیں ہے. بہت سے آن لائن تجربات میں شرکاء کو بنیادی طور پر تجربات میں بھرتی اور کبھی معاوضہ رہے ہیں. اس نقطہ نظر کی مثالیں Restivo اور وین ڈی Rijt کے شامل ہیں (2012) وکی پیڈیا اور بانڈ اور ساتھی کی میں انعامات پر تجربہ (2012) لوگوں کو ووٹ دینے کی حوصلہ افزائی پر تجربہ. ان تجربات واقعی صفر متغیر لاگت کی ضرورت نہیں ہے، وہ صفر محققین کے متغیر لاگت ہے. اگرچہ ان تجربات میں سے کئی کی لاگت ہر شریک کے لئے انتہائی چھوٹا ہے، چھوٹے اخراجات شرکاء کی ایک بہت بڑی تعداد کو فوری طور پر شامل کر سکتے عائد. بڑے پیمانے پر آن لائن تجربات چلانے محققین اکثر یہ کہتے ہوئے بہت سے لوگوں پر لاگو جب ان چھوٹے اثرات اہم ہو سکتا ہے کہ کی طرف سے چھوٹے اندازے کے مطابق علاج کے اثرات کی اہمیت کا جواز پیش. بالکل وہی سوچ اخراجات محققین نے شرکاء پر مسلط ہے کہ پر لاگو ہوتا ہے. آپ کے تجربات سے ایک لاکھ افراد کا سبب بنتا ہے تو ایک منٹ ضائع کرنے، تجربہ کسی خاص شخص کے لئے بہت نقصان دہ نہیں ہے، لیکن مجموعی طور پر اس وقت کے تقریبا دو سال برباد کیا ہے.

شرکاء کو صفر متغیر لاگت کی ادائیگی کرنے کے لئے ایک اور نقطہ نظر ایک لاٹری، بھی سروے تحقیق میں استعمال کیا گیا ہے کہ ایک نقطہ نظر کا استعمال کرنا ہے (Halpern et al. 2011) . آخر میں، ڈیزائن کے بارے میں مزید کے لئے آننددایک صارف تجربات دیکھیں Toomim et al. (2011) .

• ، بدل دیں تلاش کو بہتر، اور کم (دفعہ 4.6.2)

یہاں تین R کے اصل کی تعریف کی طرف سے ہیں Russell and Burch (1959) :

"تبدیلی insentient مواد کے ہوش رہنے والے اعلی جانوروں کے لئے متبادل کا مطلب. کمی ایک دی گئی رقم اور صحت سے متعلق معلومات حاصل کرنے کے لئے استعمال جانوروں کی تعداد میں کمی کا مطلب. ادائیگی واقعات یا اب بھی استعمال کیا جا کرنے کے لئے ہے جس میں ان جانوروں پر لاگو غیر انسانی طریقہ کار کی شدت میں کوئی کمی کا مطلب ہے. "

تین R کی میں تجویز ہے کہ باب 6. میں بیان اخلاقی اصولوں کی جگہ لے لے نہیں کرتے بلکہ وہ انسانی تجربات کی ترتیب کے لئے ان اصولوں-فیض-خاص طور پر کے ایک زیادہ وضاحت کے ورژن میں سے ایک ہیں.

جذباتی متعدی غور کر جب، اس کے استعمال کی ترجمانی کرتے وقت ذہن میں رکھنے کے لئے تین غیر اخلاقی مسائل موجود ہیں. پہلے، یہ تجربہ کی اصل تفصیلات کے نظریاتی دعووں سے رابطہ قائم کس طرح واضح نہیں ہے؛ دوسرے الفاظ میں، تعمیر موزونیت کے بارے میں سوالات ہیں. یہ واضح نہیں ہے مثبت اور منفی لفظ شمار الفاظ ہیں کہ لوگوں کو پوسٹ ان کے جذبات کا ایک اچھا اشارہ ہے کہ 1) یہ واضح نہیں ہے کیونکہ اصل میں شرکاء کی جذباتی ریاست کی ایک اچھی اشارے ہیں اور 2) یہ کہ واضح نہیں ہے خاص جذبات تجزیہ ٹیکنالوجی کے محققین استعمال کیا ہے کہ معتبر جذبات نتیجہ نکالنا کرنے کے قابل ہے (Beasley and Mason 2015; Panger 2016) . دوسرے الفاظ میں، ایک متعصب سگنل کی ایک بری اقدام ہو سکتا ہے. دوئم، تجربہ کی ڈیزائن اور تجزیہ ہمیں سب سے زیادہ متاثر کیا گیا تھا جنہوں نے (یعنی، علاج کے اثرات میں heterogeneity کی کوئی تجزیہ نہیں ہے) اور میکانزم ہو سکتا ہے کے بارے میں کچھ نہیں بتاتا. اس صورت میں، محققین نے شرکاء کے بارے میں معلومات کے بہت تھا، لیکن وہ بنیادی طور پر تجزیہ میں ویجٹ کے طور پر علاج کیا گیا. سوئم، اس کے استعمال میں اثر سائز بہت چھوٹا تھا. علاج اور کنٹرول حالات میں فرق 1،000 الفاظ میں 1 کے بارے میں ہے. ان اخبار میں، کریمر اور ان کے ساتھیوں کے کیس اس کے سائز کی ایک اثر اہم ہے کہ لوگوں کی لاکھوں کی سینکڑوں ان کی خبر ہر ایک دن فیڈ تک رسائی کی وجہ بنا. دوسرے الفاظ میں، وہ مجموعی طور پر بڑے ہیں ہر شخص کے لئے چھوٹے ہیں کہ اس سے بھی اثرات بحث. آپ کو اس دلیل کو قبول کرنے کے لئے تھے یہاں تک کہ اگر، یہ اب بھی واضح نہیں اس کے سائز کی ایک اثر جذباتی متعدی بارے میں مزید عمومی سائنسی سوال کے بارے میں اہم ہے اگر ہے. جہاں حالات چھوٹے اثرات اہم ہیں پر زیادہ کے لئے دیکھیں Prentice and Miller (1992) .

پہلی R (تبدیلی)، کے معاملے میں جذباتی متعدی تجربہ کا موازنہ (Kramer, Guillory, and Hancock 2014) اور جذباتی contagion کو قدرتی تجربہ (Coviello et al. 2014) تجارت آف سے آگے بڑھ کے ساتھ ملوث بارے میں کچھ عام سبق پیش کرتا ہے قدرتی تجربات تجربات (اور غیر تجرباتی اعداد و شمار میں تجربات تقریبا اس کوشش کے ملاپ کی طرح دوسرے کے نقطہ نظر، 2 باب ملاحظہ کریں). اخلاقی فوائد کے علاوہ، غیر تجرباتی مطالعہ تجرباتی سے سوئچنگ بھی وہ ذرائع آمدورفت کے مسائل کو تعینات کرنے کے قابل نہیں ہیں کہ علاج کا مطالعہ کرنے کے محققین کے قابل بناتا ہے. یہ اخلاقی اور انتظامی فوائد تاہم، ایک قیمت پر آتے ہیں. قدرتی تجربات کے ساتھ محققین نے شرکاء، randomization ہے کی بھرتی کی طرح چیز پر کم کنٹرول، اور علاج کی نوعیت ہے. مثال کے طور پر، ایک علاج کے طور پر بارش کی ایک حد ہے کہ یہ دونوں دناتمکتا بڑھاتا ہے اور منفی کمی واقع ہوتی ہے. تجرباتی مطالعہ میں، تاہم، کریمر اور ان کے ساتھیوں کو آزادانہ دناتمکتا اور منفی کو ایڈجسٹ کرنے کے قابل تھے.

مخصوص نقطہ نظر کی طرف سے استعمال Coviello et al. (2014) مزید کہا کہ میں وضاحت کی گئی تھی Coviello, Fowler, and Franceschetti (2014) . اہم کردار متغیر کے لئے ایک تعارف کے طور پر دیکھیں Angrist and Pischke (2009) (کم رسمی) یا Angrist, Imbens, and Rubin (1996) (زیادہ رسمی). اہم کردار متغیرات میں سے ایک شبہ تشخیص کے لئے دیکھیں Deaton (2010) ، اور کمزور آلات (بارش ایک کمزور ہتھیار ہے) کے ساتھ اہم کردار متغیر کے لئے ایک تعارف کے لیے ملاحظہ ہو Murray (2006) .

مزید عام طور پر، قدرتی تجربات کے لئے ایک اچھا تعارف ہے Dunning (2012) ، اور Rosenbaum (2002) ، Rosenbaum (2009) ، اور Shadish, Cook, and Campbell (2001) تجربات بغیر اسباب کے اثرات کا اندازہ بارے میں اچھے خیالات پیش کرتے ہیں.

سیکنڈ R (ادائیگی) کے لحاظ سے، سائنسی اور انتظامی تجارت آف خطوط بڑھانے کے لئے خطوط کو مسدود کرنے سے جذباتی contagion کے ڈیزائن کو تبدیل کرنے پر غور کر جب سے ہیں. مثال کے طور پر، یہ نیوز فیڈ کے تکنیکی نفاذ کے یہ خطوط بڑھانے کے ساتھ ایک تجربہ بجائے خطوط کو مسدود کرنے کے ساتھ ایک تجربہ کیا کرنے کو کافی آسان ہے بناتا ہے کہ کیس ہو سکتا ہے (خطوط کو مسدود کرنے کے ساتھ ایک تجربہ پر ایک پرت کے طور پر لاگو کیا جا سکتا ہے یاد رکھیں کہ بنیادی نظام کی تبدیلی) کے لئے کسی بھی ضرورت کے بغیر خبر فیڈ نظام کے سب. سائنسی، تاہم، نظریہ تجربہ کی طرف سے خطاب میں واضح طور پر دوسرے پر ایک ڈیزائن کا مشورہ نہیں دیا.

بدقسمتی سے، میں مسدود کرنے اور نیوز فیڈ میں مواد کو بڑھانے کے رشتہ دار امتیازات وخصوصیات بارے میں کافی دلچسپی کے اظہار کی تحقیق سے آگاہ نہیں ہوں. اس کے علاوہ، میں نے ان سے کم نقصان دہ بنانے کے لئے طریقہ علاج کو بہتر بنانے کے بارے میں زیادہ تحقیق نہیں دیکھی. ایک رعایت ہے Jones and Feamster (2015) انٹرنیٹ سنسر شپ کی پیمائش کی صورت سمجھتی ہے جو، (I ینکور مطالعے کے تعلقات میں باب 6 میں بات چیت ایک موضوع (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

تیسری R (کمی) کے لحاظ سے، روایتی طاقت کے تجزیہ کے لئے ایک اچھا تعارف ہے Cohen (1988) . پہلے علاج covariates ڈیزائن مرحلے اور تجربات کا تجزیہ مرحلے میں شامل کیا جا سکتا ہے؛ کے باب 4 Gerber and Green (2012) دونوں کے نقطہ نظر کے لئے ایک اچھا تعارف فراہم کرتا ہے، اور Casella (2008) ایک سے زیادہ میں گہرائی علاج فراہم. randomization ہے میں اس پہلے علاج کی معلومات کا استعمال ہے کہ تکنیک عام طور پر یا تو تجرباتی ڈیزائن یا ستریقرت تجرباتی ڈیزائن (اصطلاحات کمیونٹیز پر استقلال نہیں استعمال کیا جاتا ہے) بلاک کر کہا جاتا ہے؛ ان تراکیب کو دل کی گہرائیوں باب 3. دیکھتے میں بحث ستریقرت نمونے لینے کی تکنیک سے متعلق ہیں Higgins, Sävje, and Sekhon (2016) بڑے پیمانے پر تجربات میں ان کے ڈیزائن کا استعمال کرتے ہوئے پر زیادہ کے لئے. پہلے علاج covariates بھی تجزیہ مرحلے میں شامل کیا جا سکتا ہے. McKenzie (2012) مزید تفصیل میں تجربات کا تجزیہ کرنے کے لئے فرق-اختلافات میں نقطہ نظر ڈالی. دیکھو Carneiro, Lee, and Wilhelm (2016) کے علاج کے اثرات میں سے تخمینے میں درستی میں اضافہ کرنے کے لئے مختلف نقطہ نظر کے درمیان تجارت آف پر زیادہ کے لئے. آخر میں، فیصلہ کرتے وقت کے ڈیزائن یا تجزیہ مرحلے (یا دونوں) پر پہلے علاج covariates شامل کرنے کے لئے کوشش کرنے کے لئے کہ آیا، پر غور کرنے کے لئے چند عوامل ہیں. ایک ترتیب محققین وہ "ماہی گیری" نہیں ہیں دکھانے کے لئے چاہتے ہیں، جہاں میں (Humphreys, Sierra, and Windt 2013) ، کے ڈیزائن کے مرحلے میں پہلے علاج covariates استعمال کرتے ہوئے مددگار ہو سکتا ہے (Higgins, Sävje, and Sekhon 2016) . حالات شرکاء، ایک ترتیب پہنچ خاص طور پر آن لائن تجربات، ڈیزائن مرحلے میں پہلے علاج معلومات استعمال ذرائع آمدورفت کے مسائل مشکل ہو سکتا ہے جہاں میں، مثال کے دیکھیں Xie and Aurisset (2016) .

یہ کیوں فرق-اختلافات میں فرق میں اسباب سے اتنا زیادہ مؤثر ہو سکتا ہے کے بارے میں انترجشتھان کا تھوڑا سا انہوں نے مزید کہا کر کے قابل ہے. بہت سے آن لائن نتائج بہت ہی اعلی بادبانی ہے (ملاحظہ کریں مثال کے طور پر، Lewis and Rao (2015) اور Lamb et al. (2015) ) اور وقت کے ساتھ نسبتا مستحکم ہیں. اس صورت میں، تبدیلی اسکور شماریاتی ٹیسٹ کی طاقت میں اضافہ، کافی حد تک چھوٹی بادبانی پڑے گا. اس کی ایک وجہ یہ رابطہ کیا زیادہ کثرت سے استعمال نہیں کیا جاتا ہے کہ ڈیجیٹل دور کے لئے پہلے اس کو پہلے علاج کے نتائج کو حاصل ہے کے لئے عام نہیں تھا ہے. اس کے بارے میں سوچنے کے لئے ایک سے زیادہ ٹھوس طریقہ ایک مخصوص ورزش معمول کے وزن میں کمی کا سبب بنتا ہے چاہے پیمائش کرنے کے ایک تجربہ تصور کرنا ہے. آپ کو ایک فرق-اسباب میں نقطہ نظر کرتے ہیں تو، آپ کے تخمینہ آبادی میں وزن میں تبورتنییتا سے آتا ہے کہ تبورتنییتا پڑے گا. آپ کو ایک فرق-میں-فرق نقطہ نظر کرتے ہیں تو، تاہم، وزن میں ہے کہ قدرتی طور پر واقع تغیرات ہٹا دیا جاتا ہے اور آپ کو زیادہ آسانی کے علاج کی وجہ سے ایک فرق کا پتہ لگانے کر سکتے ہیں.

آپ کے تجربے میں شرکاء کی تعداد کم کرنے کے لئے ایک اہم طریقہ ہے جس کریمر اور ان کے ساتھیوں کی طرف سے قدرتی تجربہ سے مشاہدہ اثر سائز پر مبنی کر سکتا تھا ایک طاقت تجزیہ، عمل کرنے کے لئے ہے Coviello et al. (2014) یا اس سے قبل Kramer کی طرف سے غیر تجرباتی تحقیق (2012) (حقیقت میں ان کو اس باب کے آخر میں سرگرمیوں ہیں). نوٹس کی طاقت کے تجزیہ کے اس استعمال عام کے مقابلے میں تھوڑا مختلف ہے کہ. ینالاگ عمر میں، محققین عام طور پر یقین ہے کہ ان کا مطالعہ بہت چھوٹا نہیں تھا بنانے کے لئے طاقت تجزیہ کیا (یعنی، کے تحت چلنے والے). اب، تاہم، محققین طاقت کے تجزیہ ہے کہ ان کا مطالعہ بہت بڑا نہیں ہے اس بات کو یقینی بنانے کے لئے کیا کرنا چاہئے (یعنی، زیادہ طاقت).

Repurpose: آخر میں، میں نے انہوں نے مزید کہا ایک چوتھی R سمجھا. یہی وجہ ہے کہ محققین کو زیادہ تجرباتی اعداد و شمار کے ساتھ خود کو مل جائے تو وہ ان کے اصل تحقیق سوال کو حل کرنے کی ضرورت کے مقابلے میں، وہ نئے سوالات پوچھیں کرنے کے لئے ڈیٹا repurpose چاہئے، ہے. مثال کے طور پر، کریمر اور ان کے ساتھیوں کو ان کی تحقیق کے سوال حل کرنے کی ضرورت کے مقابلے میں زیادہ ڈیٹا کے ساتھ ایک فرق-اختلافات میں تخمینہ لگانے والا خود استعمال کیا اور پایا تھا کہ اس کا تصور. بلکہ مکمل حد تک کے اعداد و شمار کا استعمال کرتے ہوئے نہیں کے مقابلے میں، وہ پہلے سے علاج سے جذباتی اظہار ایک تقریب کے طور پر اثر کے سائز کا مطالعہ کیا جا سکتا تھا. بس کے طور پر Schultz et al. (2007) پایا علاج کا اثر ہلکے اور بھاری صارفین کے لئے مختلف تھا، شاید نیوز فیڈ کے اثرات پہلے سے ہی خوش (یا دکھ) پیغامات شائع کرنے کے لئے تھے جو لوگوں کے لئے مختلف تھے. repurposing کا "ماہی گیری" شروع ہو سکتی ہے (Humphreys, Sierra, and Windt 2013) اور "P-ہیکنگ" (Simmons, Nelson, and Simonsohn 2011) ، لیکن ان میں زیادہ تر ایماندار رپورٹنگ کا ایک مجموعہ کے ساتھ پتہ کرنے کی ہیں (Simmons, Nelson, and Simonsohn 2011) ، پری رجسٹریشن (Humphreys, Sierra, and Windt 2013) ، اور اس سے زیادہ کی فٹنگ سے بچنے کے لئے کی کوشش ہے کہ مشین سیکھنے کے طریقوں.