اگلے پڑھنے کے لئے کیا ہے

• تعارف (سیکشن 4.1)

سوشل تحقیق میں causality کے بارے میں سوالات اکثر پیچیدہ اور پیچیدہ ہوتے ہیں. causal گراف پر مبنی causality کے بنیاد پرست نقطہ نظر کے لئے، Pearl (2009) دیکھیں اور ممکنہ نتائج پر مبنی ایک بنیاد پرست نقطہ نظر کے لئے، Imbens and Rubin (2015) . ان دو طریقوں کے درمیان مقابلے کے لئے، Morgan and Winship (2014) . ایک الجھن کی وضاحت کرنے کے لئے ایک رسمی نقطہ نظر کے لئے، ملاحظہ کریں VanderWeele and Shpitser (2013) .

اس باب میں، میں نے پیدا کیا ہے کہ تجرباتی اور غیر تجرباتی اعداد و شمار سے متعلق تخمینوں کا تخمینہ کرنے کی صلاحیت کے درمیان ایک روشن لائن کی طرح لگ رہا تھا. تاہم، مجھے لگتا ہے کہ، حقیقت میں، فرق زیادہ دھندلا ہے. مثال کے طور پر، ہر کوئی قبول کرتا ہے کہ تمباکو نوشی کرنے والے کینسر کا سبب بنتی ہے، اگرچہ بے ترتیب کنٹرول نہیں ہے جو لوگوں کو دھواں کرنے کے لئے مجبور کرتی ہے. غیر تجرباتی اعداد و شمار سے متعلق تخمینوں کا تخمینہ لگانے کے لئے بہترین کتاب کی لمبائی کا علاج Rosenbaum (2002) ، ( ??? ) ، Shadish, Cook, and Campbell (2001) ، اور Dunning (2012) .

Freedman, Pisani, and Purves (2007) باب 1 اور 2 تجربات، کنٹرول تجربات، اور بے ترتیب کنٹرول تجربات کے درمیان اختلافات کا واضح تعارف پیش کرتے ہیں.

Manzi (2012) بے ترتیب کنٹرول تجربات کے فلسفیانہ اور اعداد وشمار کے نفاذ کے لئے ایک دلچسپ اور پڑھنے کے قابل تعارف فراہم کرتا ہے. یہ کاروبار میں تجربے کی طاقت کی دلچسپ حقیقی دنیا کی مثال بھی پیش کرتا ہے. Issenberg (2012) سیاسی مہمات میں استعمال کے استعمال کے لئے ایک دلچسپ تعارف فراہم کرتا ہے.

• تجربات کیا ہیں؟ (سیکشن 4.2)

Box, Hunter, and Hunter (2005) ، @ casella_statistical_2008، Athey and Imbens (2016b) تجرباتی ڈیزائن اور تجزیہ کے اعداد و شمار کے اعداد و شمار کے لئے اچھے تعارف فراہم کرتے ہیں. اس کے علاوہ، بہت سے مختلف شعبوں میں تجربات کے استعمال کے بہترین علاج موجود ہیں: اقتصادیات (Bardsley et al. 2009) ، سماجیولوجی (Willer and Walker 2007; Jackson and Cox 2013) ، نفسیاتی (Aronson et al. 1989) ، سیاسی سائنس (Morton and Williams 2010) ، اور سماجی پالیسی (Glennerster and Takavarasha 2013) .

شراکت داروں کی بھرتی کی اہمیت (مثال کے طور پر، نمونے) اکثر تجرباتی تحقیق میں کم از کم تعریف کرتے ہیں. تاہم، اگر علاج کے اثرات آبادی میں متغیر ہے، تو نمونے لگانا اہم ہے. Longford (1999) اس نقطہ نظر کو واضح طور پر بناتا ہے جب وہ ماہرین نمونے کے ساتھ آبادی کے سروے کے طور پر تجربات کے بارے میں سوچنے والے محققین کے لئے وکالت کرتا ہے.

• تجربات کے دو طول و عرض: لیب فیلڈ اور ینالاگ ڈیجیٹل (سیکشن 4.3)

میں نے تجزیہ کیا ہے کہ لیبارٹری اور فیلڈ تجربات کے درمیان مسلسل توازن موجود ہے، اور دیگر محققین نے مزید تفصیلی نوعیت کی تجویز پیش کی ہے، خاص طور پر جو مختلف فیلڈ تجربات (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

کئی دستاویزات نے خلاصہ (Falk and Heckman 2009; Cialdini 2009) میں لیبارٹری اور فیلڈ تجربات کا مقابلہ کیا ہے (Falk and Heckman 2009; Cialdini 2009) سیاسی سائنس (Coppock and Green 2015) ، معیشت (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) (Coppock and Green 2015) میں مخصوص تجربات کے نتائج کے لحاظ سے ہے (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) ، اور نفسیات (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) لیب اور میدان تجربات کے نتائج کے مقابلے میں ایک اچھا تحقیقی ڈیزائن پیش کرتے ہیں. Parigi, Santana, and Cook (2017) وضاحت کرتا ہے کہ آن لائن فیلڈ تجربات لیبارٹری اور فیلڈ تجربات کی کچھ خصوصیات کو یکجا کر سکتے ہیں.

شرکاء کے بارے میں ان کے رویے میں تبدیلی کے بارے میں خدشہ ہے کیونکہ وہ جانتا ہے کہ وہ قریبی مشاہدہ کیا جا رہا ہے، کبھی کبھی طلباء کے اثرات کو بلایا جاتا ہے ، اور وہ نفسیات (Orne 1962) اور معیشت (Zizzo 2010) میں پڑھ چکے ہیں. اگرچہ لیبارٹری تجربات کے ساتھ زیادہ تر منسلک ہوتے ہیں، ان میں بھی یہی مسائل میدان تجربات کے ساتھ ساتھ مسائل کا سبب بن سکتی ہیں. دراصل، مطالبہ کے اثرات کو کبھی کبھی ہاؤتھورن اثرات بھی کہا جا سکتا ہے، ایک اصطلاح جس نے مشہور برومینشن تجربات حاصل کیے جو 1 9 24 میں مغربی وسطی کمپنی (Adair 1984; Levitt and List 2011) ہارٹورٹ (Adair 1984; Levitt and List 2011) ہورتھھرے کاموں میں شروع ہوئی. مطالبہ اثرات اور ہاونورے اثرات کو باب 2 میں بحث کرنے والے ردعمل کی پیمائش کے خیال سے قریبی تعلق سے متعلق ہے ( Webb et al. (1966) بھی ملاحظہ کریں.

فیلڈ کے تجربات میں معیشت (Levitt and List 2009) ، سیاسی سائنس (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) ، نفسیات (Shadish 2002) اور عوامی پالیسی (Shadish and Cook 2009) میں ایک طویل تاریخ ہے (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) . سماجی سائنس کا ایک علاقہ جہاں میدان کے تجربات کو فوری طور پر اہم بن گیا ہے، بین الاقوامی ترقی ہے. اقتصادیات کے اندر اس کام کا مثبت جائزہ لینے کے لئے Banerjee and Duflo (2009) ، اور ایک اہم تشخیص کے لئے Deaton (2010) دیکھیں. سیاسی سائنس میں اس کام کا جائزہ لینے کے لئے Humphreys and Weinstein (2009) . آخر میں، فیلڈ تجربات سے پیدا ہونے والے اخلاقی چیلنجوں کو سیاسی سائنس (Humphreys 2015; Desposato 2016b) اور ترقیاتی معیشت (Baele 2013) تناظر میں تلاش کیا گیا ہے.

اس سیکشن میں، میں نے تجویز کی ہے کہ پہلے سے علاج کے بارے میں معلومات کا اندازہ لگایا جا سکتا ہے کہ اندازۂ اثرات کے اثرات کو بہتر بنانے کے لئے استعمال کیا جاسکتا ہے، لیکن اس نقطہ نظر کے بارے میں کچھ بحث ہے. دیکھیں Freedman (2008) ، W. Lin (2013) ، Berk et al. (2013) ، اور Bloniarz et al. (2016) مزید معلومات کے لئے.

آخر میں، سماجی سائنسدانوں کی طرف سے کئے جانے والے دو دیگر قسم کے تجربات موجود ہیں جو تجربہ کار تجربے اور سماجی تجربات کے ساتھ ساتھ صاف نہیں ہیں. موجودہ سروے کے بنیادی ڈھانچے کا استعمال کرتے ہوئے سروے تجربات کا استعمال کرتے ہیں اور اسی سوال کے متبادل ورژن کے جوابات کا موازنہ کرتے ہیں (کچھ سروے تجربات باب 3 میں پیش کیے جاتے ہیں)؛ سروے کے تجربات پر مزید کے لئے Mutz (2011) دیکھیں. سماجی تجربات ایسے تجربات ہیں جہاں علاج ایسی سماجی پالیسی ہے جو صرف ایک حکومت کی طرف سے لاگو کیا جا سکتا ہے. سماجی تجربات پروگرام کی تشخیص سے قریب سے متعلق ہیں. پالیسی کے تجربات پر زیادہ کے لئے، Heckman and Smith (1995) ، Orr (1998) اور @ glennerster_running_2013 دیکھیں.

• سادہ تجربات سے باہر منتقل (سیکشن 4.4)

میں نے تین تصورات پر توجہ مرکوز کرنے کا انتخاب کیا ہے: درستیت، علاج کے اثرات کے تناظر، اور میکانزم. یہ تصورات مختلف شعبوں میں مختلف نام ہیں. مثال کے طور پر، نفسیات پسندوں کو ثالث اور منتظمین (Baron and Kenny 1986) پر توجہ مرکوز کرکے سادہ تجربات سے باہر نکل جاتے ہیں. مباحثے کا خیال یہ ہے کہ میں جو میکانزم کی طرف اشارہ کرتا ہوں، اور ماڈیٹروں کے خیال کو قبضہ کیا جاتا ہے، جس میں میں نے بیرونی صداقت کا مطالبہ کیا ہے (مثال کے طور پر، اگر مختلف حالتوں میں یہ چلتے ہیں تو تجربے کے نتائج مختلف ہوں گے) اور علاج کے اثرات کے تثلیث ( مثال کے طور پر، دوسروں کے مقابلے میں کچھ لوگوں کے لئے اثرات بڑے ہوتے ہیں).

Schultz et al. (2007) طرف سے تجربہ Schultz et al. (2007) ظاہر کرتا ہے کہ مؤثر مداخلتوں کو ڈیزائن کرنے کے لئے کس طرح سوشل نظریات استعمال کیا جا سکتا ہے. مؤثر مداخلت کے ڈیزائن میں اصول کے کردار کے بارے میں زیادہ عام دلیل کے لۓ، Walton (2014) دیکھیں Walton (2014) .

• وادی (سیکشن 4.4.1)

Campbell (1957) طرف سے داخلی اور خارجی صداقت کے تصورات سب سے پہلے متعارف کرایا گیا. Shadish, Cook, and Campbell (2001) کو مزید تفصیلی تاریخ کے لئے ملاحظہ کریں اور اعداد و شمار کے خاتمے کی توثیق، اندرونی صداقت، صداقت اور بیرونی صداقت کی ایک محتاط وضاحت.

تجربات میں اعداد و شمار کے اختتام کے بارے میں ایک جائزہ کے لئے Gerber and Green (2012) (سوشل سائنس کے نقطہ نظر سے) اور Imbens and Rubin (2015) (ایک اعداد و شمار کے نقطہ نظر سے) دیکھیں. اعداد و شمار کے اختتام کے کچھ جائزے جو خاص طور پر آن لائن فیلڈ تجربات میں پیدا ہوتے ہیں ان میں انحصار ڈیٹا (Bakshy and Eckles 2013) ساتھ اعتماد کے وقفے کو پیدا کرنے کے لئے مؤثر طریقے سے موثر طریقوں جیسے مسائل شامل ہیں.

اندرونی صداقت پیچیدہ میدان تجربات میں یقینی بنانے کے لئے مشکل ہو سکتا ہے. مثال کے طور پر، مثال کے طور پر، Gerber and Green (2000) ، Imai (2005) ، اور Gerber and Green (2005) ووٹنگ کے بارے میں پیچیدہ فیلڈ تجربے کے عمل کے بارے میں بحث کے لئے. Kohavi et al. (2012) اور Kohavi et al. (2013) آن لائن فیلڈ تجربات میں وقفہ کی توثیق کی چیلنجوں میں تعارف فراہم کرتے ہیں.

اندرونی اعتبار کے لئے ایک بڑا خطرہ ناکام ہونے والی بے ترتیب کا امکان ہے. تصادفی کے ساتھ مسائل کا سراغ لگانے کا ایک ممکنہ طریقہ مشاہداتی خصوصیات پر علاج اور گروپوں کا کنٹرول کرنے کا ہے. اس طرح کے مقابلے میں ایک بیلنس چیک کہا جاتا ہے. بیلنس چیکز کے بارے میں خدشات کے لۓ بیلنس چیکز اور Mutz and Pemantle (2015) کے اعداد و شمار کے نقطہ نظر کے لئے Hansen and Bowers (2008) دیکھیں. مثال کے طور پر، ایک بیلنس چیک کا استعمال کرتے ہوئے، Allcott (2011) نے کچھ ثبوت پایا کہ بے ترتیب کو دو اوورور تجربات میں درست طریقے سے لاگو نہیں کیا گیا (میز 2 دیکھیں؛ سائٹس 2، 6، اور 8). دوسرے نقطہ نظر کے لئے، Imbens and Rubin (2015) باب 21 Imbens and Rubin (2015) .

اندرونی صداقت سے متعلق دیگر اہم خدشات یہ ہیں: (1) ایک رخا غیر عدم اطمینان، جہاں علاج کے گروپ میں ہر کوئی واقعی علاج نہیں ملتا، (2) دو رخا غیر موثر، جہاں علاج کے گروپ میں سب کو علاج نہیں ملے گا اور کچھ لوگ کنٹرول گروپ کو علاج ملتا ہے، (3) جذبہ، جہاں شرکاء کچھ شرکاء کے لئے ماپا نہیں ہیں، اور (4) مداخلت، جہاں علاج سے حالت میں لوگوں کو کنٹرول حالت میں لوگوں کے علاج سے زیادہ مقدار میں اضافہ ہوتا ہے. ان مسائل میں سے ہر ایک پر زیادہ سے زیادہ کے لئے Gerber and Green (2012) کے باب 5، 6، 7، اور 8 دیکھیں.

جائزیت کی تعمیر پر مزید کے لئے، Westen and Rosenthal (2003) ، اور بڑے اعداد و شمار کے وسائل، Lazer (2015) اور اس کتاب کے باب 2 میں قابل اعتماد کی تعمیر پر مزید کے لئے.

بیرونی صداقت کا ایک پہلو اس ترتیب میں ہے جس میں مداخلت کا تجربہ کیا جاتا ہے. Allcott (2015) سائٹ کے انتخاب کے تعصب کی ایک محتاط نظریاتی اور تجرباتی علاج فراہم کرتا ہے. Deaton (2010) طرف سے یہ مسئلہ بھی بات چیت کی جاتی ہے. بیرونی اعتبار کی ایک اور پہلو یہ ہے کہ آیا اسی مداخلت کے متبادل آپریشنلائزیشن کو بھی اسی اثرات پڑے گا. اس معاملے میں، Schultz et al. (2007) درمیان ایک مقابلے Schultz et al. (2007) اور Allcott (2011) سے پتہ چلتا ہے کہ Allcott (2011) تجربات کے تجربات کے نتیجے میں Schultz اور ساتھیوں (1.7٪ کے مقابلے میں 5٪) کی طرف سے حقیقی تجربات کے مقابلے میں ایک چھوٹا سا تخمینہ لگایا جاتا ہے. Allcott (2011) نے اندازہ کیا ہے کہ Allcott (2011) مقابلے میں ایک بڑے پیمانے پر Allcott (2011) مقابلے میں، ایک یونیورسٹی کی طرف سے سپانسر ہونے والی ایک تحریر کے طور پر ہاتھ سے لکھی ہوئی جذباتی امراض ایک چھوٹا اثر تھا. پاور کمپنی سے رپورٹ

• علاج کے اثرات کی ہتھیاروں کی خصوصیات (سیکشن 4.4.2)

فیلڈ تجربات میں علاج کے اثرات کے تجاوز کے بہترین نقطہ نظر کے لئے، Gerber and Green (2012) باب 12 دیکھیں. طبی آزمائشیوں میں علاج کے اثرات کے تجاوز کرنے کے لئے تعارف کے لئے متعارف کرایا، Kent and Hayward (2007) ، Longford (1999) Kravitz, Duan, and Braslow (2004) . علاج کے اثرات کے تجاویز کے بارے میں غور عام طور پر پری علاج کے خصوصیات پر مبنی اختلافات پر توجہ مرکوز. اگر آپ کو علاج کے بعد کے نتائج کے مطابق (Frangakis and Rubin 2002) میں دلچسپی رکھتے ہیں تو، زیادہ پیچیدہ نقطہ نظر کی ضرورت ہوتی ہے، جیسے پرنسپل استحکام (Frangakis and Rubin 2002) ؛ Page et al. (2015) دیکھیں Page et al. (2015) ایک جائزہ کے لئے.

بہت سے محققین لکیری رجفریشن کا استعمال کرتے ہوئے علاج کے اثرات کے جغرافیایی انداز کا تخمینہ کرتے ہیں، لیکن مشین سیکھنے پر انحصار کرنے والے نئے طریقے؛ ملاحظہ کریں، مثال کے طور پر، Green and Kern (2012) ، Imai and Ratkovic (2013) ، Taddy et al. (2016) ، Athey and Imbens (2016a) Taddy et al. (2016) Athey and Imbens (2016a) .

متعدد موازنہ کے مسائل اور "ماہی گیری" کے اثرات کی وجہ سے کچھ اثرات کی وجہ سے کچھ شکایات موجود ہیں. مختلف اعداد و شمار کے بارے میں تشویشوں سے نمٹنے میں مدد مل سکتی ہے جو کہ ایک سے زیادہ اعداد و شمار (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "ماہی گیری" کے بارے میں خدشات سے متعلق خدشات پہلے سے رجسٹریشن ہے، جو نفسیاتی (Nosek and Lakens 2014) ، سیاسی سائنس (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ، اور اقتصادیات (Olken 2015) .

Costa and Kahn (2013) مطالعہ میں تجربہ میں تقریبا آدھی گھریلو آبادی ڈیموگرافک معلومات سے منسلک کیا جا سکتا ہے. ان تفصیلات میں دلچسپی رکھنے والی قارئین کو اصل کاغذ کا حوالہ دینا چاہئے.

• میکانیزم (سیکشن 4.4.3)

نظام ناقابل یقین حد تک اہم ہیں، لیکن وہ پڑھنے کے لئے بہت مشکل ہو جاتے ہیں. میکانیزم کے بارے میں تحقیق نفسیات میں ثالثوں کے مطالعہ سے قریبی تعلق رکھتا ہے (لیکن دو نظریات کے درمیان عین مطابق موازنہ کے لئے VanderWeele (2009) بھی دیکھیں. Baron and Kenny (1986) میں تیار کردہ نقطہ نظر کے طور پر میکانزم تلاش کرنے کے لئے اعداد و شمار کے نقطہ نظر، بہت عام ہیں. بدقسمتی سے، یہ پتہ چلتا ہے کہ ان طریقہ کار کو کچھ مضبوط مفادات (Bullock, Green, and Ha 2010) پر منحصر ہے (Bullock, Green, and Ha 2010) جب متعدد میکانیزم موجود ہوتے ہیں تو ان کی وجہ سے بہت سے حالات (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) اور Imai and Yamamoto (2013) کچھ بہتر اعداد وشماری کے طریقوں کی پیشکش کرتے ہیں. اس کے علاوہ، VanderWeele (2015) حساسیت تجزیہ کے وسیع پیمانے پر ایک جامع نقطہ نظر سمیت کئی اہم نتائج کے ساتھ ایک کتاب کی لمبائی کا علاج فراہم کرتا ہے.

ایک علیحدہ نقطہ نظر تجربات پر توجہ مرکوز کرتا ہے جو میکانیزم کو نیویگیشن کو براہ راست کرنے کی کوشش کرتا ہے (مثال کے طور پر، ناول وٹامن سی). بدقسمتی سے، بہت سے سماجی سائنس کی ترتیبات میں اکثر اکثر ایک سے زیادہ میکانیزم ہوتے ہیں اور یہ علاج کرنے کے لئے مشکل ہے کہ دوسروں کو تبدیل کرنے کے بغیر کسی کو تبدیل نہ کریں. تجرباتی تبدیل کرنے کے طریقوں پر کچھ نقطہ نظر Imai, Tingley, and Yamamoto (2013) ، Ludwig, Kling, and Mullainathan (2011) ، اور Pirlott and MacKinnon (2016) طرف سے بیان کیا جاتا ہے کی طرف سے بیان کیا جاتا ہے.

تحقیقاتی ماہرین کو مکمل طور پر فلویلیل تجربات چلانے کی ضرورت ہوگی. مزید معلومات کے لئے Fink, McConnell, and Vollmer (2014) اور List, Shaikh, and Xu (2016) دیکھیں.

آخر میں، Hedström and Ylikoski (2010) طرف سے بیان کردہ سائنس کے فلسفہ میں میکانیزم بھی ایک طویل تاریخ ہے.

• موجودہ ماحول کا استعمال کرتے ہوئے (سیکشن 4.5.1)

تبعیض کی پیمائش کرنے کے لئے وابستہ مطالعہ اور آڈٹ مطالعہ کے استعمال کے بارے میں، Pager (2007) دیکھیں Pager (2007) .

• اپنا اپنا تجربہ استعمال کریں (سیکشن 4.5.2)

شراکت داروں کو بھرتی کرنے کا سب سے عام طریقہ آپ کی تعمیر میں ایمیزون میکانی ترک (MTurk) ہے. کیونکہ MTurk روایتی لیب کے تجربات کے نقطہ نظر کی طرف اشارہ کرتا ہے- لوگوں کو ان کاموں کو پورا کرنے کے لئے ادائیگی کرتی ہے جو وہ مفت کے بہت سے محققین کے لئے نہیں کریں گے، پہلے سے ہی ترکرس (MTurk پر کارکنوں) تجرباتی شرکاء کے طور پر استعمال کررہے ہیں، جس کے نتیجے میں تیزی سے اور سستا ڈیٹا جمع ہوسکتا ہے. روایتی پر کیمپس لیبارٹری کے تجربات میں (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

عموما، MTurk سے بھرپور شرکاء کا استعمال کرنے کا سب سے بڑا فوائد لوژستیک ہیں. جبکہ لیب کے تجربات ہفتے چلنے کے لئے لے جا سکتے ہیں اور میدان کے تجربات ماہانہ سیٹ اپ کرسکتے ہیں، MTurk سے بھرپور شرکت کے تجربات کے ساتھ دنوں میں چل سکتے ہیں. مثال کے طور پر، Berinsky, Huber, and Lenz (2012) ایک ہی دن میں 400 مضامین بھرتی کرنے میں کامیاب تھے. اس کے علاوہ، ان شرکاء کو تقریبا کسی بھی مقصد کے لئے بھرتی کیا جا سکتا ہے (بشمول سروے اور بڑے پیمانے پر تعاون سمیت، باب 3 اور 5 میں بحث کے طور پر). بھرتی کے اس آسانی کا مطلب ہے کہ محققین تیزی سے کامیابی میں متعلقہ تجربات کے سلسلے کو چل سکتے ہیں.

اپنے اپنے تجربات کے لئے مائیکروک کے شرکاء کو بھرنے سے پہلے، آپ کو جاننے کی ضرورت ہے کہ چار اہم چیزیں موجود ہیں. سب سے پہلے، بہت سے محققین نے ترکرسوں کے تجربات کا ایک غیر معمولی شبہ ہے. کیونکہ یہ شکست خاص نہیں ہے، ثبوت کے ساتھ مقابلہ کرنا مشکل ہے. تاہم، ترکرسوں کا استعمال کرتے ہوئے کئی سالوں کے بعد، ہم اب یہ نتیجہ اخذ کرسکتے ہیں کہ یہ شکست خاص طور پر جائز نہیں ہے. ترک باشندوں کے ڈیموگرافکس کے مقابلے میں بہت سے مطالعہ دیگر آبادیوں کے ساتھ ہیں اور ترک باشندوں کے ساتھ تجربات کے نتائج کے مقابلے میں بہت سے مطالعے دوسرے آبادی سے ہیں. اس سبھی کام کو دیکھتے ہوئے، مجھے لگتا ہے کہ آپ کے بارے میں سوچنے کا بہترین طریقہ یہ ہے کہ ترکرس ایک مناسب سہولت نمونہ ہیں، جیسے طلباء لیکن تھوڑا سا زیادہ متنوع (Berinsky, Huber, and Lenz 2012) . اس طرح، جیسا کہ طالب علم کچھ کے لئے ایک مناسب آبادی ہیں، لیکن سب نہیں، تحقیق، ترکارکن کچھ کے لئے مناسب آبادی ہیں، لیکن سب نہیں، تحقیق. اگر آپ ترککنوں کے ساتھ کام کرنے جا رہے ہیں، تو یہ ان موازنہ مطالعہ کو پڑھنے اور ان کے نانووں کو سمجھنے کے لئے سمجھتا ہے.

دوسرا، محققین نے MTurk کے تجربات کی اندرونی اعتبار میں اضافہ کرنے کے لئے بہترین طریقوں تیار کیے ہیں، اور آپ کو ان بہترین طریقوں کے بارے میں سیکھنا چاہئے (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . مثال کے طور پر، ترکرس کا استعمال کرتے ہوئے محققین کو حوصلہ افزائی کرنے میں حوصلہ افزائی کی جاتی ہے کہ غیر (Berinsky, Margolis, and Sances 2014, 2016) شرکاء (Berinsky, Margolis, and Sances 2014, 2016) (لیکن DJ Hauser and Schwarz (2015b) اور DJ Hauser and Schwarz (2015a) دیکھیں. اگر آپ غیر جانبدار شرکاء کو نہیں ہٹاتے ہیں، تو علاج کے کسی بھی اثر کو شور کی طرف سے دھویا جاسکتا ہے جو وہ متعارف کراتے ہیں، اور عملی طور پر ناخوشگوار شرکاء کی تعداد کافی ہوسکتی ہے. ہبیر اور ساتھیوں (2012) تجربے میں، تقریبا 30 فیصد شرکاء نے بنیادی توجہ کی اسکرینرز کو ناکام بنایا. دیگر مسائل جو عام طور پر ترکی میں استعمال ہوتے ہیں وہ پیدا ہوتے ہیں غیر غیر متفق شرکاء (Chandler et al. 2015) اور جذبہ (Zhou and Fishbach 2016) .

تیسرے، ڈیجیٹل تجربات کے کسی دوسرے قسم کے تعلق سے، MTurk تجربات پیمانے نہیں لگ سکتے ہیں؛ Stewart et al. (2015) کا تخمینہ ہے کہ کسی بھی وقت MTTurk پر تقریبا 7،000 لوگ موجود ہیں.

آخر میں، آپ کو یہ معلوم ہونا چاہئے کہ MTurk اس کے اپنے قوانین اور معیار (Mason and Suri 2012) ساتھ ایک کمیونٹی ہے. اسی طرح آپ ایسے ملک کی ثقافت کے بارے میں تلاش کرنے کی کوشش کریں گے جہاں آپ اپنے تجربات کو چلانے کے لئے جا رہے تھے، تو آپ کو ترکرس کے ثقافت اور معیارات کے بارے میں مزید جاننے کی کوشش کرنی چاہئے (Salehi et al. 2015) . اور تم کیا پتہ ہونا چاہیئے کہ آپ غیر مناسب یا غیر اخلاقی کچھ کرنا ہے تو Turkers اپنے استعمال کے بارے میں بات کی جائے گی (Gray et al. 2016) .

MTurk شراکت داروں کو اپنے تجربات میں بھرتی کرنے کے لئے ایک ناقابل یقین حد تک آسان طریقہ ہے، چاہے وہ لیبارٹری کی طرح ہو، جیسے Huber, Hill, and Lenz (2012) ، یا زیادہ فیلڈ جیسے جیسے Mason and Watts (2009) ، Goldstein, McAfee, and Suri (2013) ، Goldstein et al. (2014) ، Horton and Zeckhauser (2016) ، اور Mao et al. (2016) .

• اپنی اپنی مصنوعات کی تشکیل (سیکشن 4.5.3)

اگر آپ اپنی مصنوعات کی تخلیق کرنے کی کوشش کر رہے ہیں تو، میں سفارش کرتا ہوں کہ آپ Harper and Konstan (2015) میں فلم لینس گروپ کی جانب سے پیش کردہ مشورہ Harper and Konstan (2015) . ان کے تجربے سے ایک اہم بصیرت یہ ہے کہ ہر کامیاب منصوبے کے لئے بہت سے، بہت سے ناکامیاں موجود ہیں. مثال کے طور پر، فلم لینس گروپ نے دوسری مصنوعات شروع کی، جیسے گوفر انکشن، جو مکمل ناکامی (Harper and Konstan 2015) تھے. ایک مصنوعات بنانے کی کوشش کرتے ہوئے ایک محقق کا ایک اور مثال ایڈڈڈ کاسٹروفا کا ارڈ نامہ آن لائن کھیل بنانے کی کوشش ہے. $ 250،000 میں فنڈز کے باوجود، اس منصوبے میں ایک فلپ (Baker 2008) . گوفر انکشن اور اردن جیسے منصوبوں بدقسمتی سے فلموں کی طرح منصوبوں سے کہیں زیادہ عام ہیں.

• طاقتور کے ساتھ ساتھی (سیکشن 4.5.4)

میں نے سنا ہے کہ پیٹر کمپنیوں نے اکثر کمپنیوں پر بات چیت کی ہے، اور یہ Google (Spector, Norvig, and Petrov 2012) میں ریسرچ کی کوششوں کو منظم کرنے میں مدد ملتی ہے.

بانڈ اور ساتھیوں کے مطالعہ (2012) کو ان علاج کے اثرات کا پتہ لگانے کی بھی کوشش کی گئی جنہوں نے ان کے دوستوں کو ان پر حاصل کیا. تجربے کے ڈیزائن کی وجہ سے، یہ سپلائر صاف طریقے سے پتہ لگانے کے لئے مشکل ہے؛ دلچسپی رکھنے والی قارئین Bond et al. (2012) کو دیکھنا چاہئے Bond et al. (2012) ایک مکمل بحث کے لئے. جونز اور ساتھیوں نے (2017) نے 2012 کے انتخاب کے دوران بھی بہت ہی تجربہ کیا. یہ تجربات ووٹنگ کو فروغ دینے کے لئے کوششوں پر سیاسی سائنس میں تجربات کی طویل روایت کا حصہ ہیں (Green and Gerber 2015) . یہ باہر نکلنے والے ووٹ تجربات عام ہیں، کیونکہ وہ پیٹرورس کے کواڈرنٹ میں ہیں. یہی ہے، بہت سے لوگ ہیں جنہوں نے ووٹ میں اضافہ کرنے کی حوصلہ افزائی کی ہے اور ووٹنگ کے بارے میں زیادہ عام نظریات کو جانچنے کے لئے ایک دلچسپ رویہ ہوسکتا ہے اور سماجی اثرات کے بارے میں.

پارٹنر تنظیموں جیسے سیاسی جماعتوں، این جی اوز اور کاروباری اداروں کے ساتھ چلنے والے میدان تجربات کے بارے میں مشورہ کے Loewen, Rubenson, and Wantchekon (2010) ، JA List (2011) ، اور Gueron (2002) . کے بارے میں خیالات کے بارے میں تنظیموں کے ساتھ شراکت داری تحقیق کے ڈیزائن پر اثر انداز کر سکتے ہیں، King et al. (2007) دیکھیں King et al. (2007) اور Green, Calfano, and Aronow (2014) . شراکت داری اخلاقی سوالات کی قیادت کرسکتی ہے، جیسا کہ Humphreys (2015) اور Nickerson and Hyde (2016) طرف سے بات چیت کی.

• ڈیزائن مشورہ (سیکشن 4.6)

اگر آپ اپنے تجربے کو چلانے سے پہلے تجزیہ کی منصوبہ بندی کررہے ہیں تو، میں تجزیہ کرتا ہوں کہ آپ رپورٹنگ کی ہدایات کو پڑھنے سے شروع کرتے ہیں. کنسرٹ (قدامت پسند معیاری رپورٹنگ کے مقدمات کی سماعت) کے رہنما اصولوں میں طبقے (Schulz et al. 2010) تیار کیے گئے اور سماجی تحقیق (Mayo-Wilson et al. 2013) لئے نظر ثانی کی. تجرباتی سیاسی سائنس برائے جرنل کے ایڈیٹرز (Gerber et al. 2014) ادارے کی طرف سے ایک متعلقہ سیٹ تیار کیا گیا ہے ( Mutz and Pemantle (2015) اور Gerber et al. (2015) دیکھیں. آخر میں، نفسیات (APA Working Group 2008) میں رپورٹنگ کی ہدایات تیار کی گئی ہیں، اور Simmons, Nelson, and Simonsohn (2011) بھی دیکھیں.

اگر آپ تجزیہ کی منصوبہ بندی بناتے ہیں، تو آپ کو پہلے سے رجسٹر کرنے پر غور کرنا ہوگا کیونکہ پری رجسٹریشن اس اعتماد میں اضافہ کرے گی کہ دوسروں کو آپ کے نتائج میں ہے. مزید، اگر آپ کسی پارٹنر کے ساتھ کام کر رہے ہیں تو، نتائج کو دیکھنے کے بعد تجزیہ کو تبدیل کرنے کے لۓ آپ کے پارٹنر کی صلاحیت محدود ہوجائے گی. پری رجسٹریشن نفسیات (Nosek and Lakens 2014) ، سیاسی سائنس (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ، اور معیشت (Olken 2015) میں تیزی سے عام ہوتا جا رہا ہے.

آن لائن فیلڈ تجربات کے لئے خاص طور پر ڈیزائن مشورہ Konstan and Chen (2007) اور Chen and Konstan (2015) میں بھی پیش کی جاتی ہے.

جس نے میں نے آرمیڈا کی حکمت عملی کو بلایا ہے، کبھی کبھی پروگراماتی تحقیق کو بھی کہا جاتا ہے؛ Wilson, Aronson, and Carlsmith (2010) .

• صفر متغیر لاگت ڈیٹا (سیکشن 4.6.1) بنائیں

MusicLab تجربات پر مزید کے لئے ملاحظہ Salganik, Dodds, and Watts (2006) ، Salganik and Watts (2008) ، Salganik and Watts (2009b) ، Salganik and Watts (2009a) ، اور Salganik (2007) . فاتح-لی-تمام مارکیٹوں پر مزید کے لئے، Frank and Cook (1996) . غیر معمولی قسمت اور مہارت پر زیادہ سے زیادہ عام طور پر، Mauboussin (2012) ، Watts (2012) اور Frank (2016) ملاحظہ کریں.

شرکاء کی ادائیگی کو ختم کرنے کا دوسرا نقطہ نظر ہے کہ محققین کو احتیاط سے استعمال کرنا چاہئے: نسخہ. بہت سے آن لائن فیلڈ تجربات میں شرکاء بنیادی طور پر تجربات میں تیار کی جاتی ہیں اور کبھی بھی معاوضہ نہیں دیے جاتے ہیں. اس نقطہ نظر کی مثال میں لوگ ویکیپیڈیا اور بانڈ اور ساتھیوں کے (2012) تجربے میں انعامات پر ریویو اور وین ڈیججٹ (2012) تجربے میں شامل ہیں. یہ تجربات واقعی صفر متغیر قیمت نہیں ہیں بلکہ ان کے پاس محققین کے صفر متغیر قیمت ہے . اس طرح کے تجربات میں، یہاں تک کہ اگر ہر شرکاء کا خرچ بہت کم ہے، مجموعی لاگت کافی بڑی ہوسکتی ہے. بڑے پیمانے پر آن لائن تجربات چلانے والے محققین اکثر چھوٹے اندازے سے متعلق علاج کے اثرات کی اہمیت کو مسترد کرتی ہیں کہ یہ بہت کم اثرات بہت اہم ہو سکتے ہیں جب بہت سے لوگ لاگو ہوتے ہیں. عین اسی سوچ میں لاگو ہوتا ہے کہ محققین پر شرکاء پر پابندی لگتی ہے. اگر آپ کا تجربہ ایک لاکھ افراد کو ایک منٹ ضائع کرنے کا سبب بنتا ہے، تو تجربہ کسی بھی شخص کے لئے بہت نقصان دہ نہیں ہے، لیکن مجموعی طور پر اس نے تقریبا دو سال ضائع کیے ہیں.

شراکت داروں کے لئے صفر متغیر کی لاگت کی ادائیگی کا ایک اور نقطہ نظر ایک لاٹری کا استعمال کرنا ہے، جس کا سروے سروے کے تحقیق میں بھی استعمال کیا گیا ہے. (Halpern et al. 2011) . لطف اندوز صارف کے تجربات کو ڈیزائن کرنے کے بارے میں مزید کے Toomim et al. (2011) ، Toomim et al. (2011) دیکھیں Toomim et al. (2011) . صفر متغیر لاگت تجربات پیدا کرنے کے لئے بٹس استعمال کرنے کے بارے میں مزید کے لئے دیکھیں ( ??? ) .

• تبدیل، بہتر بنانے اور کم کرنے (سیکشن 4.6.2)

Russell and Burch (1959) کی طرف سے پیش کردہ طور پر تین تین آر مندرجہ ذیل ہیں:

"تبدیلی insentient مواد کے ہوش رہنے والے اعلی جانوروں کے لئے متبادل کا مطلب. کمی ایک دی گئی رقم اور صحت سے متعلق معلومات حاصل کرنے کے لئے استعمال جانوروں کی تعداد میں کمی کا مطلب. ادائیگی واقعات یا اب بھی استعمال کیا جا کرنے کے لئے ہے جس میں ان جانوروں پر لاگو غیر انسانی طریقہ کار کی شدت میں کوئی کمی کا مطلب ہے. "

تین آر جو تجویز کرتا ہوں کہ باب باب میں بیان کردہ اخلاقی اصولوں پر نظر ثانی نہ کریں. بلکہ، وہ ان اصولوں اور مفادات میں سے ایک خاص طور پر انسانی تجربات کی ترتیب میں ایک زیادہ مشہور ورژن ہیں.

پہلی ر ("متبادل") کی شرائط میں، جذباتی کنواگ تجربات (Kramer, Guillory, and Hancock 2014) اور جذباتی حیات قدرتی تجربہ (Lorenzo Coviello et al. 2014) شامل ہیں جس میں شامل ہونے والے تجارتی آف کے بارے میں کچھ عام سبق پیش کرتا ہے (Lorenzo Coviello et al. 2014) تجربات سے قدرتی تجربات (اور دوسرے نقطہ نظر جیسے مماثل تجربات میں غیر تجرباتی اعداد و شمار کی کوشش کرنے کی کوشش کرتے ہیں؛ باب نمبر 2 دیکھیں). اخلاقی فوائد کے علاوہ، تجرباتی اور غیر تجرباتی مطالعے سے سوئچنگ محققین کو مطالعہ کرنے کے قابل بناتا ہے کہ وہ لاگو کرنے کے لۓ منطقی طور پر قابل ہو. تاہم، یہ اخلاقی اور لوجیجی فوائد ایک قیمت پر آتے ہیں. قدرتی تجربات کے حامل محققین چیزوں پر کم کنٹرول رکھتے ہیں جیسے شرکاء کی بھرتی، تصادفی، اور علاج کی نوعیت. مثال کے طور پر، ایک علاج کے طور پر بارش کی ایک حد یہ ہے کہ یہ دونوں مثبتیت کو بڑھاتا ہے اور منفی کو کم کرتی ہے. تجرباتی مطالعہ میں، کرم اور ساتھیوں کو آزادانہ طور پر مثبت اور غربت پسندی کو ایڈجسٹ کرنے کے قابل تھا. Lorenzo Coviello et al. (2014) طرف سے استعمال کیا خاص نقطہ نظر Lorenzo Coviello et al. (2014) کی مزید وضاحت کی گئی تھی L. Coviello, Fowler, and Franceschetti (2014) . آلے کے متغیرات کے تعارف کے لئے، جو Lorenzo Coviello et al. (2014) طرف سے استعمال کیا نقطہ نظر ہے Lorenzo Coviello et al. (2014) ، Angrist and Pischke (2009) (کم رسمی) یا Angrist, Imbens, and Rubin (1996) (مزید رسمی) Angrist, Imbens, and Rubin (1996) . آلہ متغیر کی شکایاتی تشخیص کے لئے، Deaton (2010) ، اور کمزور آلات (بارش ایک کمزور آلہ ہے) کے ذریعہ متغیر متغیرات کے تعارف کے لئے دیکھیں، Murray (2006) دیکھیں Murray (2006) . زیادہ تر عام طور پر، Dunning (2012) طرف سے دیا جاتا ہے، جبکہ Rosenbaum (2002) ، ( ??? ) ، اور Shadish, Cook, and Campbell (2001) کی وجہ سے تجربات کے اثرات کے اثرات کا اندازہ لگایا گیا ہے.

دوسری آر ("اصلاح") کی شرائط میں، پوزیشن کو بڑھانے کے لئے خطوط کو روکنے سے جذباتی کاگنا کے ڈیزائن کو تبدیل کرنے پر غور کرنے میں سائنسی اور لوجیاتی تجارتی بند موجود ہیں. مثال کے طور پر، یہ معاملہ ہوسکتا ہے کہ نیوز فیڈ کے تکنیکی عملدرآمد سے یہ ایک ایسا تجربہ کرنا آسان ہے جس میں پوسٹس کو روکنے کے بجائے ایک سے زائد رکھے جاتے ہیں (نوٹ کریں کہ خطوط کو روکنے سے متعلق تجربے کو نافذ کیا جاسکتا ہے. نیوز فیڈ سسٹم کے سب سے اوپر پر پرت کے طور پر بنیادی نظام کی تبدیلی کے بغیر کسی بھی ضرورت کے بغیر). سائنسی طور پر، تاہم، تجربہ کی طرف سے خطاب کیا اصول دوسرے پر ایک ڈیزائن کو واضح طور پر تجویز نہیں کیا. بدقسمتی سے، میں خبر فیڈ میں مواد کو روکنے اور مواد کو فروغ دینے کے قابلیت کے بارے میں کافی پہلے سے ہی تحقیق سے واقف نہیں ہوں. اس کے علاوہ، میں نے ان کو کم نقصان دہ بنانے کے لئے علاج کے علاج کے بارے میں زیادہ تحقیق نہیں دیکھا. ایک استثنا B. Jones and Feamster (2015) ، جس میں انٹرنیٹ سنسرشپ کی پیمائش کا معاملہ (جس موضوع میں میں Encore مطالعہ کے سلسلے میں باب 6 میں گفتگو کرتا ہوں (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

تیسری آر ("کمی") کے لحاظ سے، روایتی طاقت کا تجزیہ کرنے کے لئے اچھے تعارف Cohen (1988) (کتاب) اور Cohen (1992) (مضمون) کی طرف سے دیا جاتا ہے، جبکہ Gelman and Carlin (2014) تھوڑا سا مختلف نقطہ نظر پیش کرتے ہیں. قبل از علاج علاج covariates تجربات کے ڈیزائن اور تجزیہ مرحلے میں شامل کیا جا سکتا ہے؛ Gerber and Green (2012) باب 4 دونوں نقطہ نظروں کا ایک اچھا تعارف فراہم کرتا ہے، اور Casella (2008) زیادہ گہری علاج فراہم کرتا ہے. تخنیکرن میں اس پری علاج کے بارے میں معلومات کا استعمال کرتے ہوئے تراکیبوں کو عام طور پر یا تو غیر فعال تجرباتی ڈیزائن یا استحکام تجرباتی ڈیزائن کہا جاتا ہے (اصطلاحات میں کمیونٹی بھر میں مسلسل استعمال نہیں ہوتا). یہ تکنیک باب باب میں بات چیت کے مطابق نمونے والی نمونے والی تکنیک کے قریبی سے متعلق ہیں. بڑے پیمانے پر تجربات میں ان ڈیزائنوں کو استعمال کرنے کے لئے زیادہ سے زیادہ کے لئے Higgins, Sävje, and Sekhon (2016) . تجزیہ مرحلے میں قبل از علاج علاج کو بھی شامل کیا جا سکتا ہے. McKenzie (2012) فیلڈ تجربات کو زیادہ تفصیل سے فرق تجزیہ کرنے کے فرق میں اختلافات کے نقطہ نظر کی وضاحت کرتا ہے. علاج کاروں کے اثرات کے تخمینے میں صحت سے متعلق ہونے کے لۓ مختلف طریقوں کے درمیان تجارتی بندوں پر مزید Carneiro, Lee, and Wilhelm (2016) . آخر میں، جب فیصلہ یا تحلیل کے مرحلے میں (یا دونوں) پر پری علاج کاروائٹس شامل کرنے کی کوشش کرنا چاہے تو، اس پر غور کرنے کے چند عوامل موجود ہیں. ایک ایسی ترتیب میں جہاں محققین کو یہ ظاہر کرنا ہوگا کہ وہ "ماہی گیری" (Humphreys, Sierra, and Windt 2013) ، ڈیزائن کے مرحلے میں قبل از علاج علاج کو استعمال کرتے ہوئے مددگار ثابت ہوتے ہیں (Higgins, Sävje, and Sekhon 2016) . حالات میں جہاں شرکاء ترتیب میں آتے ہیں، خاص طور پر آن لائن فیلڈ تجربات، ڈیزائن کے مرحلے میں پری علاج کے بارے میں معلومات کا استعمال کرتے ہوئے، منطقی طور پر مشکل ہوسکتی ہے؛ ملاحظہ کریں، مثال کے طور پر، Xie and Aurisset (2016) .

اس کے بارے میں تھوڑا سا انضمام شامل کرنے کے قابل ہے کیوں فرق میں فرق کے نقطہ نظر فرق میں ایک سے کہیں زیادہ مؤثر ہو سکتا ہے. بہت سے آن لائن نتائج بہت زیادہ مختلف ہیں (مثال کے طور پر، RA Lewis and Rao (2015) اور Lamb et al. (2015) ) اور وقت کے ساتھ نسبتا مستحکم ہیں. اس صورت میں، اعدادوشمار کے اعداد و شمار کی طاقت کو بڑھانے میں تبدیلی کا اسکور بہت کم متغیر ہوگا. ایک وجہ یہ نقطہ نظر زیادہ بار استعمال نہیں کیا جاتا ہے یہ ڈیجیٹل عمر سے قبل یہ پہلے سے ہی علاج کے نتائج حاصل کرنے کے لئے عام نہیں تھا. اس کے بارے میں سوچنے کے لئے ایک اور کنکریٹ طریقہ یہ ہے کہ اس تجربے کا اندازہ لگایا جاسکے کہ آیا مخصوص مشق روزانہ وزن میں کمی کا سبب بنتی ہے یا نہیں. اگر آپ کو فرق میں آنے والے نقطہ نظر کو اپنایا جائے تو، آپ کا اندازہ آبادی میں وزن میں متغیر سے متغیر ہونے والی تبدیلی ہوگی. اگر آپ فرق میں فرق اختلافات کرتے ہیں، تاہم، وزن میں قدرتی طور پر مختلف قسم کی تبدیلی کو ہٹا دیا جاتا ہے، اور آپ علاج کے سبب سے زیادہ آسانی سے جان سکتے ہیں.

آخر میں، میں نے چوتھے آر کو شامل کیا تھا سمجھا: "دوبارہ". یہ ہے، اگر محققین اپنے تجرباتی اعداد و شمار کے ساتھ اپنے آپ کو اپنے اصل تحقیق کے سوال کو حل کرنے کی ضرورت ہوتی ہے، تو انہیں ڈیٹا کو نئے سوالات سے متعلق سوالات کو دوبارہ کرنا چاہئے. مثال کے طور پر، تصور کریں کہ کریمر اور اس کے ساتھیوں نے فرق میں فرق اختلافات کا تخمینہ استعمال کیا تھا اور اپنے تحقیق کے سوال کو حل کرنے کے بجائے خود کو مزید ڈیٹا کے ساتھ مل گیا. اس کے بجائے مکمل حد تک اعداد و شمار کا استعمال نہ کرنے کے بجائے، وہ اثرات کا اندازہ پڑھ سکتے ہیں جو پہلے سے ہی جذباتی اظہار سے متعلق علاج کے طور پر ہیں. جیسا کہ Schultz et al. (2007) پتہ چلا کہ علاج کا اثر روشنی اور بھاری صارفین کے لئے مختلف تھا، شاید نیوز فیڈ کے اثرات لوگوں کے لئے مختلف تھے جنہوں نے پہلے ہی خوش (یا اداس) کے پیغامات پوسٹ کرنے کے لئے تیار تھے. Repurposing کی قیادت "ماہی گیری" (Humphreys, Sierra, and Windt 2013) اور "پی ہیکنگ" (Simmons, Nelson, and Simonsohn 2011) ، لیکن یہ انتہائی ایماندارانہ رپورٹنگ کے ایک مجموعہ (Simmons, Nelson, and Simonsohn 2011) ساتھ قابل ذکر ہیں. (Simmons, Nelson, and Simonsohn 2011) ، پری رجسٹریشن (Humphreys, Sierra, and Windt 2013) ، اور مشینری سیکھنے والے طریقوں سے زیادہ فٹنگ سے بچنے کی کوشش کی جاتی ہے.