4.4.1 درست

جواز ایک استعمال کے نتائج ایک سے زیادہ عام اختتام کی حمایت کتنا سے مراد.

کوئی تجربہ بہترین ہے، اور محققین ایک وسیع ذخیرہ الفاظ تیار کیا ہے ممکنہ مسائل کو بیان کرنے کے. درست ہے جس کے لئے ایک خاص تجربہ کے نتائج کچھ اور جنرل اختتام کی حمایت حد تک مراد. سماجی سائنسدانوں یہ مددگار چار بنیادی اقسام میں تقسیم کرنے کے لئے موزونیت مل گیا ہے:، شماریاتی اختتام موزونیت، اندرونی موزونیت موزونیت کی تعمیر، اور بیرونی موزونیت (Shadish, Cook, and Campbell 2001, Ch 2) . ان تصورات عبور آپ تنقید اور ایک تجربہ کی ڈیزائن اور تجزیہ کی بہتری کے لئے ایک ذہنی اصلاح کی فہرست کو فراہم کرے گا، اور یہ آپ کو دیگر محققین کے ساتھ بات چیت میں مدد ملے گی.

شماریات اختتام موزونیت کے استعمال کی شماریاتی تجزیہ درست طریقے سے کیا گیا تھا کہ آیا کے ارد گرد مرکوز ہے. کے تناظر میں Schultz et al. (2007) اس طرح کے سوال کا وہ صحیح طریقے سے ان P-اقدار حساب چاہے پر مرکز سکتا ہے. شماریاتی تجزیہ اس کتاب کی گنجائش سے باہر ہے، لیکن میں کہہ سکتے ہیں کہ ڈیزائن اور تجربات کا تجزیہ کرنے کی ضرورت شماریاتی اصولوں ڈیجیٹل دور میں تبدیل نہیں کیا ہے. تاہم، ڈیجیٹل تجربات میں مختلف اعداد و شمار کے ماحول نئے اعداد و شمار کا مواقع پیدا کرتا ہے (مثلا، علاج کے اثرات میں heterogeneity اندازہ لگانے کے لئے مشین سیکھنے کے طریقوں کا استعمال کرتے ہوئے (Imai and Ratkovic 2013) ) اور نئے کمپیوٹیشنل چیلنجز (مثلا، بڑے پیمانے پر تجربات میں مسدود کرنے (Higgins, Sävje, and Sekhon 2016) ).

اندرونی موزونیت کے گرد تجرباتی طریقہ کار صحیح مظاہرہ کر رہے تھے کہ آیا مراکز. کا تجربہ کرنے کے لئے ریٹرننگ Schultz et al. (2007) ، اندرونی موزونیت کے بارے میں سوالات، randomization ہے کے ارد گرد مرکز نتائج کے علاج کی فراہمی، اور پیمائش کر سکتے تھے. مثلا، اگر آپ اس تحقیق کے معاونین معتبر الیکٹرک میٹر نہیں پڑھا فکر مند ہو سکتا. سچ تو یہ ہے، Schultz کی اور ان کے ساتھیوں کو اس مسئلہ کے بارے میں فکر مند تھے اور انہوں نے دو مرتبہ پڑھا میٹر کا ایک نمونہ تھا؛ خوش قسمتی سے، نتائج بنیادی طور پر ایک جیسے تھے. عام طور پر، Schultz کی اور ان کے ساتھیوں 'تجربہ اعلی اندرونی موزونیت ہے ظاہر ہوتا ہے، لیکن یہ ہمیشہ ایسا نہیں ہے؛ پیچیدہ میدان ہے اور آن لائن تجربات اکثر مسائل اصل صحیح لوگوں کو صحیح علاج کی فراہمی اور سب کے لئے پیمائش کے نتائج میں چلانے کے. یہ آسان ہے کہ ان لوگوں نے اسے حاصل کرنے کے لئے اور تمام شرکاء کے لئے نتائج کی پیمائش کرنے کے لئے سمجھا رہے ہیں جو کرنے کے لئے ڈیزائن کے طور پر علاج ہونے والا ہے اس بات کا یقین کرنے کے لئے بناتا ہے کیونکہ خوش قسمتی سے، ڈیجیٹل دور اندرونی موزونیت کے بارے میں خدشات کم کرنے میں مدد کر سکتے ہیں.

اعداد و شمار اور نظریاتی تشکیل کے درمیان میچ کے ارد گرد موزونیت کے مراکز کی تعمیر. 2 باب میں بحث کے طور پر، تشکیل تجریدی تصورات کہ سماجی سائنسدانوں کے بارے میں کی وجہ سے ہیں. بدقسمتی سے، ان تجریدی تصورات ہمیشہ واضح تعریف اور پیمائش کی ضرورت نہیں ہے. پر آرہے Schultz et al. (2007) ، دعوی کے سماجی معیار بجلی کے استعمال کو کم کر سکتے امتناعی کہ "امتناعی سماجی معیار" جوڑتوڑ گا کہ (مثلا، ایک اموٹکان) اور "بجلی کے استعمال" ناپنے کے لئے ایک علاج کے ڈیزائن کرنے کے محققین کی ضرورت ہوتی ہے. ینالاگ تجربات میں، بہت سے محققین ان کے اپنے معالجوں ڈیزائن کیا گیا اور ان کے اپنے نتائج کو ماپا. یہ نقطہ نظر، کہ جتنا ممکن، تجربات خلاصہ تشکیل مطالعہ کیا جا رہا مماثل یقینی بناتا ہے. جہاں کمپنیوں یا حکومتوں کے ساتھ محققین پارٹنر معالجے کی فراہمی اور نتائج کی پیمائش کرنے کے ہمیشہ پر استعمال کرتے ڈیٹا سسٹمز کے لئے ڈیجیٹل تجربات میں، تجربہ اور نظریاتی تشکیل کے درمیان میچ سے کم تنگ ہو سکتی ہے. اس طرح، میں تعمیر موزونیت مطابق تجربات کے مقابلے میں ڈیجیٹل تجربات میں ایک بڑی تشویش ہونے کے لئے ہوتے ہوں گے کہ توقع.

آخر میں، بیرونی موزونیت کے ارد گرد اس تجربہ کے نتائج دوسرے حالات کو جامع گا کہ آیا مراکز. پر آرہے Schultz et al. (2007) ، ایک، پوچھ سکتے ہیں کریں گے ان کے ساتھیوں کے تعلقات میں ان کی توانائی کے استعمال اور امتناعی اقدار (مثال کے طور پر، ایک اموٹکان) اس میں ایک مختلف طریقے سے کیا گیا تھا تو -reduce توانائی کے استعمال کی ایک سگنل کے بارے میں یہ ایک ہی خیال-فراہم کرنے لوگوں کی معلومات ایک مختلف ترتیب؟ کے لئے سب سے زیادہ اچھی طرح سے ڈیزائن اور اچھی طرح سے چلانے کے تجربات، بیرونی موزونیت کے بارے میں خدشات کو حل کرنے کے لئے سب سے مشکل ہیں. ماضی میں، بیرونی موزونیت کے بارے میں ان بحثوں اکثر طریقہ کار ایک مختلف طریقے سے کیا گیا تھا تو، یا ایک مختلف جگہ میں، یا مختلف لوگوں کے ساتھ کیا ہوتا تصور کرنے کی کوشش کر ایک کمرے میں بیٹھے لوگوں کی صرف ایک گروپ تھے. خوش قسمتی سے، ڈیجیٹل دور ان اعداد و شمار سے پاک قیاس سے باہر منتقل اور empirically بیرونی موزونیت کا اندازہ کرنے کے محققین کے قابل بناتا ہے.

سے نتائج کیونکہ Schultz et al. (2007) Opower نامی ایک کمپنی کو زیادہ وسیع پیمانے پر علاج کے تعینات کرنے میں ریاستہائے متحدہ امریکہ کی افادیت کے ساتھ شراکت داری، قدر پر جوش تھے. کے ڈیزائن کی بنیاد پر Schultz et al. (2007) ، Opower اپنی مرضی کے مطابق پیدا ہوم توانائی کی رپورٹیں دو اہم ماڈیولز، ایک ایک اموٹکان کے ساتھ اپنے پڑوسیوں کے لئے ایک گھر کی بجلی کے استعمال کے رشتہ دار ملک اور ایک توانائی کے استعمال کو کم کرنے کے لئے تجاویز فراہم کر پڑا کہ (شکل 4.6). اس کے بعد، محققین کے ساتھ شراکت میں، Opower کنٹرول تجربات ہوم توانائی رپورٹس کے اثرات کا اندازہ کرنے کے randomized بھاگ گیا. ان تجربات میں علاج عام طور پر پرانے زمانے میں سست کے ذریعے جسمانی طور پر عام طور پر دیئے گئے اگرچہ میل والے نتائج جسمانی دنیا میں ڈیجیٹل آلات (مثلا، بجلی کے میٹر) استعمال کرتے ہوئے ماپا گیا تھا. بلکہ دستی طور پر ہر گھر میں آنے کے تحقیق کے معاونین کے ساتھ یہ معلومات جمع کرنے کے مقابلے میں، Opower تجربات تمام طاقت ریڈنگ تک رسائی حاصل کرنے کے محققین کو چالو کرنے پاور کمپنیوں کے ساتھ شراکت داری میں کیا گیا تھا. اس طرح، ان کو جزوی ڈیجیٹل تجربات کم متغیر لاگت سے ایک بڑے پیمانے پیمانے پر چلتی رہے تھے.

پیکر 4.6: برائے ہوم توانائی کی رپورٹیں Allcott (2011) سوشل موازنہ ماڈیول اور ایک کارروائی کے اقدامات ماڈیول تھا.

امریکہ بھر میں 10 کمپنیوں کی طرف سے خدمت 600،000 گھرانوں کو شامل تجربات کا ایک پہلے سیٹ میں، Allcott (2011) ہوم توانائی رپورٹ 1.7٪ کی طرف سے بجلی کی کھپت کو کم کیا پایا. دوسرے الفاظ میں، بہت بڑے، زیادہ جغرافیائی متنوع مطالعہ سے نتائج سے نتائج کے گتاتمک اسی طرح تھے Schultz et al. (2007) . لیکن، اثر سائز چھوٹا تھا: میں Schultz et al. (2007) وضاحتی اور injective اقدار حالت (اموٹکان کے ساتھ ایک) میں گھروں 5٪ کی طرف سے ان کو بجلی کے استعمال کو کم کیا. اس فرق کے لئے عین مطابق وجہ نامعلوم ہے، لیکن Allcott (2011) ایک یونیورسٹی کی طرف سے سپانسر ایک مطالعہ کے ایک حصے کے کے طور پر ایک ہاتھ سے لکھے اموٹکان وصول کرنا ایک کی طرف سے ایک بڑے پیمانے پر پیدا رپورٹ کے ایک حصے کے طور پر ایک چھپی ہوئی اموٹکان وصول مقابلے رویے پر ایک بڑے اثر ہو سکتا ہے کہ کررہا پاور کمپنی.

اس کے علاوہ، اس کے نتیجے میں تحقیق میں، Allcott (2015) میں ایک اضافی 8 ملین گھرانوں شامل ایک اضافی 101 تجربات پر رپورٹ. ان اگلے 101 تجربات میں ہوم توانائی رپورٹ لوگوں کو ان کی بجلی کی کھپت کو کم کرنے کا سبب بنے رہے، لیکن اس کے اثرات سے بھی چھوٹے تھے. اس کمی کے لئے عین مطابق وجہ معلوم نہیں ہے، لیکن Allcott (2015) رپورٹ کی تاثیر کیونکہ یہ اصل میں شرکاء کی مختلف اقسام پر لاگو کیا جا رہا تھا وقت کے ساتھ زوال پذیر ہو گیا کہ کررہا. مزید خاص طور پر، زیادہ ماحولیات علاقوں میں افادیت کے امکانات زیادہ تھے اس سے قبل پروگرام کو اپنانے اور ان کے گاہکوں کے علاج سے زیادہ ذمہ دار تھے. کم ماحولیاتی گاہکوں کے ساتھ افادیت پروگرام منظور کر لیا ہے کے طور پر، اس کی تاثیر کو رد کرنے شائع ہوا. اس طرح، تجربات میں randomization ہے کو یقینی بناتا ہے بالکل اسی طرح جیسے علاج اور کنٹرول گروپ طرح ہیں کہ، تحقیق سائٹس میں randomization ہے کا اندازہ ہے کہ (نمونے لینے کے بارے میں باب 3 پر واپس لگتا ہے کہ) ایک سے زیادہ عام آبادی کے شرکاء میں سے ایک ایک گروپ کی طرف سے عام کیا جا سکتا ہے کو یقینی بناتا ہے. ایک بالکل ڈیزائن اور منظم کیا مشکلات تجربہ-سکتا تحقیق سائٹس تصادفی نمونے نہیں ہیں تو، پھر سامانییکرن بھی سے.

ایک ساتھ مل کر، ان 111 تجربات. 10 میں Allcott (2011) اور 101 Allcott (2015) تمام امریکہ بھر سے تقریبا 8.5 ملین گھرانوں -involved. وہ مسلسل ہے کہ ہوم توانائی رپورٹس اوسط بجلی کی کھپت، کیلی فورنیا میں 300 گھروں سے Schultz کی کی اصل نتائج اور ان کے ساتھیوں کی حمایت کرتا ہے کہ اس کے نتیجے میں کم کر دکھائے. صرف ان اصل نتائج کے replicating پرے، فالو اپ تجربات بھی اثر کا سائز مقام کی طرف سے مختلف ہوتی ہے کہ دکھاتے ہیں. تجربات کی یہ سیٹ بھی جزوی طور پر ڈیجیٹل تجربات کے بارے میں دو سے زیادہ عام نکات کی وضاحت کرتا ہے. سب سے پہلے، محققین تجربات چلانے کی قیمت کم ہے جب بیرونی موزونیت کے بارے ایڈریس خدشات کو empirically کرنے کے قابل ہو جائے گا، اور اس کے نتائج پہلے سے ہی ایک کے اعداد و شمار ہمیشہ پر نظام کی طرف سے ماپا جا رہا ہے تو یہ ہو سکتا ہے. لہذا، یہ ہے کہ تحقیق کے دیگر دلچسپ اور اہم طرز عمل ہے کہ پہلے سے ہی ریکارڈ کی جارہی لئے دیکھو آؤٹ پر ہونا چاہئے، اور اس کے بعد اس موجودہ ماپنے کے بنیادی ڈھانچے کی چوٹی پر تجربات کو ڈیزائن سے پتہ چلتا ہے. دوئم، تجربات کی اس سیٹ کے ہمیں یاد دلاتا ہے کہ ڈیجیٹل تجربات نہیں ہیں صرف آن لائن. دن بدن میں وہ تعمیر ماحول میں سینسر کی طرف سے ماپا بہت نتائج کے ساتھ ہر جگہ ہو جائے گا امید رکھتے ہیں.

موزونیت-شماریاتی اختتام موزونیت، اندرونی موزونیت کی چار اقسام، موزونیت تعمیر، بیرونی موزونیت-فراہم محققین کا اندازہ لگانے کے ایک خاص تجربہ سے نتائج ایک سے زیادہ عام اختتام کی حمایت چاہے مدد کے لئے ایک ذہنی اصلاح کی فہرست. ینالاگ عمر تجربات کے مقابلے میں، ڈیجیٹل دور کے تجربات میں یہ empirically کی بیرونی موزونیت سے نمٹنے کے لئے آسان ہونا چاہئے اور یہ اندرونی موزونیت یقینی بنانے کے لئے آسان ہونا چاہئے. دوسری طرف، تعمیر موزونیت کے مسائل شاید ڈیجیٹل دور کے تجربات میں زیادہ مشکل ہو جائے گا (اگرچہ کہ Opower تجربات کے ساتھ معاملہ نہیں تھا).