আরও ভাষ্য

এই বিভাগে বদলে একটি আখ্যান হিসেবে পড়ার জন্য একটি রেফারেন্স হিসাবে ব্যবহার করার জন্য ডিজাইন করা হয়.

• ভূমিকা (অনুচ্ছেদ 4.1)

সামাজিক গবেষণায় কার্যকারণ সম্পর্কে প্রশ্ন প্রায়ই জটিল হয়. কার্যকারণ গ্রাফ উপর ভিত্তি করে কার্যকারণ থেকে একটি মূল পদ্ধতির জন্য দেখুন, Pearl (2009) , এবং একটি মূল সম্ভাব্য ফলাফলের উপর ভিত্তি করে পদ্ধতির জন্য, দেখুন Imbens and Rubin (2015) (এবং এই অধ্যায়ের কারিগরি পরিশিষ্টের মধ্যে). এই দুটি পন্থা মধ্যে একটি তুলনা করার জন্য, দেখুন Morgan and Winship (2014) . একটি confounder সংজ্ঞায়িত করার জন্য একটি আনুষ্ঠানিক পদ্ধতির জন্য দেখুন VanderWeele and Shpitser (2013) .

অধ্যায়ে আমি কি পরীক্ষামূলক এবং অ পরীক্ষা ডেটা থেকে কার্যকারণ অনুমান করতে আমাদের ক্ষমতা মধ্যে একটি উজ্জ্বল লাইন ভালো লাগে সৃষ্টি. বাস্তবে, আমি মনে করি যে পার্থক্য blurrier হয়. উদাহরণস্বরূপ, সবাই যে ধূমপান ক্যান্সার, যদিও আমরা একটি এলোমেলোভাবে নিয়ন্ত্রিত পরীক্ষা যে জোর মানুষ ধূমপান করতে না করেছি কারণ স্বীকার করে. অ পরীক্ষামূলক ডেটা থেকে কার্যকারণ অনুমান তৈরীর উপর চমৎকার বই দৈর্ঘ্য চিকিত্সার জন্য দেখুন Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , এবং Dunning (2012) .

অধ্যায় 1 এবং 2 Freedman, Pisani, and Purves (2007) পরীক্ষায়, নিয়ন্ত্রিত পরীক্ষায় মধ্যে পার্থক্য মধ্যে একটি স্পষ্ট ভূমিকা প্রস্তাব, এবং নিয়ন্ত্রিত পরীক্ষায় এলোমেলোভাবে.

Manzi (2012) এলোমেলোভাবে নিয়ন্ত্রিত পরীক্ষাগুলির দার্শনিক ও পরিসংখ্যান ভিত্তি মধ্যে একটি চটুল এবং পাঠযোগ্য ভূমিকা প্রদান করে. এটা নানা ধরনের ব্যবসার সঙ্গে পরীক্ষা ক্ষমতার আকর্ষণীয় real-world উদাহরণের উপলব্ধ.

• পরীক্ষায় কী? (অনুচ্ছেদ 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) পরীক্ষামূলক নকশা এবং বিশ্লেষণ পরিসংখ্যানগত দিক থেকে ভাল প্রচলন প্রদান. অর্থনীতি তাছাড়াও, সেখানে বিভিন্ন ক্ষেত্রের মধ্যে পরীক্ষায় ব্যবহারের চমৎকার চিকিত্সা হয় (Bardsley et al. 2009) , সমাজবিজ্ঞান (Willer and Walker 2007; Jackson and Cox 2013) , মনোবিজ্ঞান (Aronson et al. 1989) , রাষ্ট্রবিজ্ঞান (Morton and Williams 2010) , এবং সামাজিক নীতি (Glennerster and Takavarasha 2013) .

অংশগ্রহণকারী নিয়োগ (যেমন, স্যাম্পলিং) গুরুত্ব প্রায়ই পরীক্ষামূলক গবেষণা কম বয়সী প্রশংসা করা হয়. যাইহোক, যদি চিকিত্সার প্রভাব জনসংখ্যায় ভিন্নধর্মী হয়, তারপর স্যাম্পলিং সমালোচনামূলক হয়. Longford (1999) যখন তিনি এলোমেলো স্যাম্পলিং সঙ্গে জনসংখ্যা জরিপে পরীক্ষাগুলির চিন্তা গবেষকদের জন্য অত্যাবশ্যক পরিষ্কারভাবে এই বিন্দু করে তোলে.

• পরীক্ষায় দুই মাত্রা: ল্যাব-ক্ষেত্র এবং এনালগ-ডিজিটাল (অনুচ্ছেদ 4.3)

বৈপরীত্য যে আমি ল্যাব এবং ক্ষেত্র পরীক্ষায় মধ্যে উপস্থাপন সরলীকৃত একটি বিট. আসলে, অন্যান্য গবেষকরা নির্দিষ্ট বেশী যে আলাদা ক্ষেত্র পরীক্ষায় বিভিন্ন ধরনের আরো বিস্তারিত typologies প্রস্তাব করেছেন, (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . জরিপ পরীক্ষায় এবং সামাজিক পরীক্ষা-নিরীক্ষা সার্ভে পরীক্ষায় উপস্থিত সার্ভে অবকাঠামো ব্যবহার পরীক্ষায় এবং এর বিকল্প সংস্করণ প্রতিক্রিয়া তুলনা তাছাড়াও, সেখানে সমাজ বিজ্ঞানীদের দ্বারা সঞ্চালিত পরীক্ষায় যে ল্যাব এবং ক্ষেত্র বৈপরীত্য মধ্যে সুন্দরভাবে মাপসই করা হবে না অন্য দুই ধরনের হয়. একই প্রশ্ন (কিছু জরিপ পরীক্ষায় অধ্যায় 3 উপস্থাপন করা হয়); জরিপ পরীক্ষায় উপর আরো দেখুন জন্য Mutz (2011) . সমাজ পরীক্ষায় পরীক্ষায় যেখানে চিকিত্সা কিছু সামাজিক নীতি যে শুধুমাত্র একটি প্রকল্প বাস্তবায়ন করা যাবে না হয়. সামাজিক পরীক্ষা-নিরীক্ষা ঘনিষ্ঠভাবে মূল্যায়ন প্রোগ্রাম এর সাথে সম্পর্কিত করা হয়. নীতি-নিরীক্ষা সম্পর্কে আরো জানার জন্য, দেখুন Orr (1998) , Glennerster and Takavarasha (2013) , এবং Heckman and Smith (1995) .

কাগজপত্র একটি সংখ্যা বস্তুনিষ্ঠভাবে ল্যাব এবং ক্ষেত্র পরীক্ষায় তুলনা করেছেন (Falk and Heckman 2009; Cialdini 2009) এবং রাষ্ট্রবিজ্ঞান বিভাগের মধ্যে নির্দিষ্ট পরীক্ষায় ফলাফলের দিক থেকে (Coppock and Green 2015) , অর্থনীতি (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) এবং মনোবিজ্ঞান (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) ল্যাব এবং ক্ষেত্র পরীক্ষা থেকে ফলাফল তুলনা জন্য একটি চমৎকার গবেষণা নকশা উপলব্ধ করা হয়.

তাদের আচরণ পরিবর্তন করে কারণ তারা জানে তারা ঘনিষ্ঠভাবে পািলত হয় কখনো কখনো চাহিদা প্রভাব বলা হয়, এবং তারা মনোবিজ্ঞান গবেষণা হয়েছে অংশগ্রহণকারীদের সম্পর্কে উদ্বেগ (Orne 1962) এবং অর্থনীতি (Zizzo 2009) . যদিও বেশিরভাগ ল্যাব পরীক্ষায় সাথে যুক্ত, এই একই বিষয় পাশাপাশি ক্ষেত্র পরীক্ষার জন্য সমস্যা সৃষ্টি করতে পারে. বস্তুত, চাহিদা প্রভাব মাঝে মাঝে Hawthorne প্রভাব শব্দটি একটি ক্ষেত্র পরীক্ষা থেকে আহরিত, বিশেষভাবে বিখ্যাত আলোকসজ্জা পরীক্ষায় যে ওয়েস্টার্ন ইলেকট্রিক কোম্পানির Hawthorne ওয়ার্কস এ 1924 সালে শুরু হয় বলা হয়, (Adair 1984; Levitt and List 2011) . উভয় চাহিদা প্রভাব এবং বেড়াগাছবিশেষ প্রভাব ঘনিষ্ঠভাবে অধ্যায় 2 আলোচনা প্রতিক্রিয়াশীল পরিমাপের ধারণা সাথে সম্পর্কিত হয় (আরো দেখুন Webb et al. (1966) ).

ক্ষেত্র পরীক্ষায় ইতিহাসে অর্থনীতি বর্ণিত হয়েছে (Levitt and List 2009) , রাষ্ট্রবিজ্ঞান (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , মনোবিজ্ঞান (Shadish 2002) , এবং পাবলিক পলিসি (Shadish and Cook 2009) . যেখানে ক্ষেত্র পরীক্ষায় দ্রুত বিশিষ্ট হয়ে ওঠে সামাজিক বিজ্ঞানের এক এলাকায় আন্তর্জাতিক উন্নয়ন. অর্থনীতি মধ্যে যে কাজ একটি ইতিবাচক পর্যালোচনা দেখুন Banerjee and Duflo (2009) , এবং একটি সমালোচনামূলক মূল্যায়ন দেখতে Deaton (2010) . রাষ্ট্রবিজ্ঞানের এই কাজ একটি পর্যালোচনার জন্য দেখতে Humphreys and Weinstein (2009) . অবশেষে, নৈতিক ক্ষেত্র পরীক্ষানিরীক্ষা জড়িত চ্যালেঞ্জ রাজনৈতিক বিজ্ঞান অন্বেষণ করা হয়েছে (Humphreys 2015; Desposato 2016b) ও উন্নয়ন অর্থনীতি (Baele 2013) .

অধ্যায়ে আমি যে প্রাক চিকিত্সা তথ্য আনুমানিক চিকিত্সার প্রভাব স্পষ্টতা উন্নত করতে ব্যবহার করা যেতে পারে, কিন্তু সেখানে এই পদ্ধতির সম্পর্কে কিছু বিতর্ক: Freedman (2008) , Lin (2013) , এবং Berk et al. (2013) ; দেখতে Bloniarz et al. (2016) আরও তথ্যের জন্য.

• সহজ পরীক্ষায় পরলোক মুভিং (অনুচ্ছেদ 4.4)

বৈধতা, চিকিত্সার প্রভাব বিষমসত্ত্বতা এবং মেকানিজম: আমি তিনটি ধারণার উপর ফোকাস করার জন্য চয়ন করা. এসব ধারণা বিভিন্ন ক্ষেত্রে বিভিন্ন নাম আছে. উদাহরণস্বরূপ, মনোবৈজ্ঞানিক মধ্যস্থতাকারী এবং মডারেটর উপর মনোযোগ নিবদ্ধ দ্বারা সহজ পরীক্ষায় অতিক্রম সরানো ঝোঁক (Baron and Kenny 1986) . মধ্যস্থতাকারী এর ধারণা আমি কি মেকানিজম কল দ্বারা বন্দী করা হয়, এবং মডারেটর এর ধারণা কি আমি বাইরের বৈধতা (যেমন, পরীক্ষার ফলাফল ভিন্ন হবে যদি এটি বিভিন্ন পরিস্থিতিতে চালানো হয়েছিল) এবং চিকিত্সার প্রভাব বিষমসত্ত্বতা (কল দ্বারা বন্দী করা হয় যেমন, প্রভাব অন্যান্য মানুষের চেয়ে কিছু লোক) জন্য বড় হয়.

এর পরীক্ষা Schultz et al. (2007) দেখায় কিভাবে সামাজিক তত্ত্ব কার্যকর হস্তক্ষেপ ডিজাইন করতে ব্যবহার করা যেতে পারে. কার্যকর হস্তক্ষেপ নকশা তত্ত্ব ভূমিকা সম্পর্কে একটি সাধারণ যুক্তির জন্য, দেখুন Walton (2014) .

• মেয়াদ (অনুচ্ছেদ 4.4.1)

অভ্যন্তরীণ ও বহিস্থিত বৈধতার ধারণা প্রথম চালু হয় Campbell (1957) . দেখুন Shadish, Cook, and Campbell (2001) , একটি আরো বিস্তারিত ইতিহাস এবং পরিসংখ্যান উপসংহার বৈধতা, অভ্যন্তরীণ বৈধতার মনোযোগের বিবরণাদি জন্য বৈধতা ও বহিস্থিত বৈধতা নির্মাণে.

পরীক্ষায় পরিসংখ্যানগত উপসংহার বৈধতা সম্পর্কিত সমস্যার একটি ওভারভিউ দেখুন Gerber and Green (2012) (ক সামাজিক বিজ্ঞান দৃষ্টিকোণ জন্য) এবং Imbens and Rubin (2015) (একটি পরিসংখ্যানগত দৃষ্টিকোণ জন্য). পরিসংখ্যানগত উপসংহার বৈধতা কিছু বিষয় যে অনলাইন ক্ষেত্র পরীক্ষায় বিশেষভাবে উঠা যেমন নির্ভরশীল ডেটার সঙ্গে আস্থা অন্তর তৈরি করার জন্য কার্যকরী পদ্ধতি যেমন বিষয় অন্তর্ভুক্ত (Bakshy and Eckles 2013) .

অভ্যন্তরীণ বৈধতা জটিল ক্ষেত্র পরীক্ষায় নিশ্চিত করা কঠিন হতে পারে. উদাহরণস্বরূপ, জন্য, দেখুন Gerber and Green (2000) , Imai (2005) , এবং Gerber and Green (2005) ভোটদান সম্পর্কে একটি জটিল ক্ষেত্র পরীক্ষা বাস্তবায়ন সম্পর্কে বিতর্ক জন্য. Kohavi et al. (2012) এবং Kohavi et al. (2013) অনলাইন ক্ষেত্র পরীক্ষায় ব্যবধান বৈধতা চ্যালেঞ্জ মধ্যে একটি ভূমিকা প্রদান.

অভ্যন্তরীণ মেয়াদসহ এক বড় উদ্বেগের বিষয় র্যান্ডোমাইজেশন সঙ্গে সমস্যা হয়. ওয়ান ওয়ে সম্ভাব্য র্যান্ডোমাইজেশন সঙ্গে সমস্যা সনাক্ত করতে লক্ষণীয় বৈশিষ্ট্যের উপর চিকিত্সা এবং নিয়ন্ত্রণ গ্রুপ তুলনা হয়. তুলনা এই ধরনের একটি ব্যালেন্স চেক বলা হয়. দেখুন Hansen and Bowers (2008) একটি পরিসংখ্যানগত পদ্ধতির চেক মধ্যে সামঞ্জস্য বজায় রাখা, এবং দেখার জন্য Mutz and Pemantle (2015) ভারসাম্য চেক সম্পর্কে উদ্বেগ জন্য. উদাহরণস্বরূপ, একটি ব্যালেন্স ব্যবহার পরীক্ষা Allcott (2011) পাওয়া কিছু প্রমাণ যে র্যান্ডোমাইজেশন OPower পরীক্ষায় কিছু পরীক্ষা-নিরীক্ষা তিনটি সঠিকভাবে বাস্তবায়ন করা হয়নি সেখানে যে (সারণি 2 দেখ; সাইট 2, 6 ও 8). অন্যান্য পন্থা জন্য দেখুন Imbens and Rubin (2015) , অধ্যায় 21.

অভ্যন্তরীণ বৈধতা সম্পর্কিত অন্যান্য প্রধান উদ্বেগ হল: 1) যখন একতরফা অমান্যের, যেখানে চিকিত্সা দলের সবাই না আসলে চিকিত্সা পেয়েছেন, 2) দুই পক্ষ অমান্যের, যেখানে চিকিত্সা দলের সবাই না চিকিত্সা এবং কিছু পায় কনট্রোল গ্রুপের মধ্যে মানুষ চিকিত্সা, 3) ক্ষয়, যেখানে ফলাফলের কিছু অংশগ্রহণকারীদের জন্য মাপা না হয়, এবং 4) হস্তক্ষেপ, যেখানে চিকিত্সা বেশি মানুষ থেকে চিকিত্সা অবস্থায় মানুষ নিয়ন্ত্রণ অবস্থায় স্পিলস গ্রহণ. দেখুন Gerber and Green (2012) অধ্যায় 5, 6, 7, এবং এই সমস্যা প্রতিটি আরও বেশির জন্য 8.

কনস্ট্রাক্ট বৈধতা সম্পর্কে আরো জানার জন্য, দেখুন Westen and Rosenthal (2003) , এবং বড় তথ্য উৎস কনস্ট্রাক্ট বৈধতা, এর আরও বেশির জন্য Lazer (2015) এবং এই বইয়ের অধ্যায় 2.

বাহ্যিক বৈধতা এক দৃষ্টিভঙ্গি সেটিং যেখানে একটি হস্তক্ষেপের পরীক্ষিত হয়. Allcott (2015) স্থান নির্বাচন পক্ষপাত একটি যত্নশীল তাত্ত্বিক এবং গবেষণামূলক চিকিত্সা প্রদান করে. এই ব্যাপারটাও আলোচনা করা Deaton (2010) . অনেক সাইট প্রতিলিপি হচ্ছে ছাড়াও স্বরাষ্ট্র জ্বালানি প্রতিবেদন মধ্যস্থতাও স্বাধীনভাবে একাধিক গবেষণা গ্রুপ দ্বারা চর্চিত হয়েছে (যেমন, Ayres, Raseman, and Shih (2013) ).

• চিকিত্সার প্রভাব বিষমসত্ত্বতা (অনুচ্ছেদ 4.4.2)

ক্ষেত্র পরীক্ষায় চিকিত্সার প্রভাব বিষমসত্ত্বতা একটি চমৎকার ওভারভিউ জন্য, অধ্যায় 12 দেখুন Gerber and Green (2012) . চিকিৎসা বিচারের চিকিত্সার প্রভাব বিষমসত্ত্বতা পরিচিতি জন্য দেখুন, Kent and Hayward (2007) , Longford (1999) , এবং Kravitz, Duan, and Braslow (2004) . চিকিত্সার প্রভাব বিষমসত্ত্বতা সাধারণত প্রাক চিকিত্সার বৈশিষ্ট্যের উপর ভিত্তি করে পার্থক্য ফোকাস. আপনি উত্তর-চিকিত্সার ফলাফলের উপর ভিত্তি করে বিষমসত্ত্বতা আগ্রহী, তাহলে আরও জটিল approachs যেমন প্রধান স্তরবিন্যাস হিসেবে দরকার (Frangakis and Rubin 2002) ; দেখুন Page et al. (2015) একটি পর্যালোচনা জন্য.

অনেক গবেষক রৈখিক নির্ভরণ ব্যবহার চিকিত্সার প্রভাব বিষমসত্ত্বতা অনুমান, কিন্তু নতুনতম পদ্ধতি মেশিন লার্নিং উপর ভরসা করুন, যার উদাহরণস্বরূপ Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , এবং Athey and Imbens (2016a) .

আছে কারণ একাধিক তুলনা সমস্যা ও ". মাছধরা" আছে পরিসংখ্যানগত পন্থা যে একাধিক তুলনা সম্পর্কে ঠিকানা উদ্বেগ সাহায্য করতে পারেন বিভিন্ন হয় প্রভাব বিষমসত্ত্বতা তথ্যও সম্পর্কে কিছু সংশয়বাদ হয় (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "মাছ ধরার" সম্পর্কে উদ্বেগের এক পদ্ধতির প্রি-রেজিস্ট্রেশন, যা মনোবিজ্ঞান ক্রমবর্ধমান সাধারণ হয়ে উঠছে (Nosek and Lakens 2014) , রাষ্ট্রবিজ্ঞান (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , এবং অর্থনীতি (Olken 2015) .

অধ্যয়নে Costa and Kahn (2013) শুধুমাত্র পরীক্ষা পরিবারের প্রায় অর্ধেক ডেমোগ্রাফিক তথ্যে লিঙ্ক করা যেতে সক্ষম হয়েছি. এই বিশ্লেষণের সঙ্গে বিবরণ এবং সম্ভাব্য সমস্যার মধ্যে আগ্রহী পাঠকদের মূল কাগজ পড়ুন উচিত.

• গঠনতন্ত্র (অনুচ্ছেদ 4.4.3)

গঠনতন্ত্র অবিশ্বাস্যভাবে গুরুত্বপূর্ণ হয়, কিন্তু তারা অধ্যয়ন করা খুব কঠিন হতে শয্যাত্যাগ. মেকানিজম সম্পর্কে গবেষণা ঘনিষ্ঠভাবে মনোবিজ্ঞানে মধ্যস্থতাকারী অধ্যয়নে সম্পর্কিত (বরং দেখতে VanderWeele (2009) দুটি ধারণা মধ্যে একটি সুনির্দিষ্ট তুলনা জন্য). যেমন উন্নত পদ্ধতির হিসাবে খোঁজার প্রক্রিয়া পরিসংখ্যানগত পন্থা, Baron and Kenny (1986) , খুবই সাধারণ. দুর্ভাগ্যবশত, এটি সক্রিয় আউট যে ঐ পদ্ধতি কিছু শক্তিশালী অনুমানের উপর নির্ভর করে (Bullock, Green, and Ha 2010) এবং ভোগে যখন একাধিক পদ্ধতি উপলব্ধ রয়েছে, যেমন এক অনেক পরিস্থিতিতে আশা করতে পারে (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) এবং Imai and Yamamoto (2013) কিছু উন্নত পরিসংখ্যানগত পদ্ধতি প্রস্তাব. উপরন্তু, VanderWeele (2015) সংবেদনশীলতা বিশ্লেষণ করার জন্য একটি ব্যাপক পদ্ধতির সহ গুরুত্বপূর্ণ ফলাফল, একটি সংখ্যা সঙ্গে একটি বই দৈর্ঘ্যের চিকিত্সা উপলব্ধ করা হয়.

একটি পৃথক পদ্ধতির পরীক্ষায় যে প্রক্রিয়া সরাসরি (যেমন, দান নাবিকদের ভিটামিন সি) নিপূণভাবে প্রচেষ্টা উপর গুরুত্ত্ব দেয়. দুর্ভাগ্যবশত, অনেক সামাজিক বিজ্ঞান সেটিংসে সেখানে প্রায়ই একাধিক পদ্ধতি উপলব্ধ রয়েছে এবং এটি চিকিত্সা যে অন্যদের পরিবর্তন ছাড়া এক পরিবর্তন ডিজাইন করা কঠিন. কিছু পন্থা পরীক্ষামূলকভাবে পরিবর্তনকারী প্রক্রিয়া বর্ণিত হয় Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , এবং Pirlott and MacKinnon (2016) .

পরিশেষে, প্রক্রিয়া একটি দীর্ঘ ইতিহাস বিজ্ঞানের দর্শনে যেমন দ্বারা বর্ণিত আছে Hedström and Ylikoski (2010) .

• বিদ্যমান পরিবেশের ব্যবহার (অনুচ্ছেদ 4.5.1.1)

চিঠিপত্রের স্টাডিজ এবং নিরীক্ষা গবেষণায় ব্যবহারের বৈষম্য পরিমাপের জন্য আরো জানার জন্য দেখুন Pager (2007) .

• আপনার নিজস্ব পরীক্ষা তৈরি করুন (বিভাগ 4.5.1.2)

সবচেয়ে সাধারণ ভাবে পরীক্ষা-নিরীক্ষা যে আপনি গড়ে তুলতে অংশগ্রহণকারীদের নিয়োগস্থল আমাজন মেকানিক্যাল তুর্কী (MTurk) হয়. ঐতিহ্যগত ল্যাব পরীক্ষায় বেতনের মানুষ MTurk নকল দিক যে কাজগুলো তারা বিনামূল্যে অধিকের গবেষকদের জন্য কি করবে না সম্পন্ন করার কারণে ইতিমধ্যে ঐতিহ্যগত তুলনায় দ্রুততর এবং সস্তা তথ্য সংগ্রহ ফলে মানব প্রজাদের পরীক্ষায় অংশগ্রহণকারীদের যেমন Turkers (MTurk শ্রমিক) ব্যবহার করা শুরু করে অন ​​ক্যাম্পাস ল্যাবরেটরি পরীক্ষায় (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

MTurk থেকে রিক্রুট অংশগ্রহণকারীদের সঙ্গে পরীক্ষায় সবচেয়ে বড় শক্তি যৌক্তিক হয়: তারা গবেষকরা অংশগ্রহণকারীদের নিয়োগস্থল দ্রুত এবং প্রয়োজনীয় অনুমতি. যেহেতু ল্যাবের পরীক্ষায় চালানোর সপ্তাহ সময় লাগতে পারে এবং ক্ষেত্র পরীক্ষায় কয়েক মাস লাগতে সেট আপ করতে পারেন, MTurk থেকে রিক্রুট অংশগ্রহণকারীদের সঙ্গে পরীক্ষা দিন চালানো যায়. উদাহরণস্বরূপ, Berinsky, Huber, and Lenz (2012) একদিনে 400 প্রজাদের নিয়োগে একটি 8 মিনিট পরীক্ষা অংশগ্রহণের করতে সক্ষম হয়েছি. উপরন্তু, এই অংশগ্রহণকারীদের (যেমন অধ্যায় 3 আলোচনা, সার্ভে এবং ভর সহযোগিতা সহ এবং 5) কার্যত যে কোন উদ্দেশ্যে নিয়োগ করা যেতে পারে. নিয়োগের এই স্বচ্ছন্দে যে গবেষকরা দ্রুত পারম্পর্য মধ্যে সংশ্লিষ্ট পরীক্ষায় ক্রমের চালাতে পারেন মানে.

আপনার নিজস্ব এক্সপেরিমেন্ট MTurk থেকে অংশগ্রহণকারীদের নিয়োগের আগে, সেখানে চার গুরুত্বপূর্ণ কিছু জানতে হয়. প্রথমত, অনেক গবেষক Turkers এক্সপেরিমেন্ট এর একটি অ নির্দিষ্ট সংশয়বাদ আছে. কারণ এই সংশয়বাদ নির্দিষ্ট নয়, এটা প্রমাণ সঙ্গে মোকাবেলায় কঠিন. তবে Turkers ব্যবহার অধ্যয়ন বেশ কয়েক বছর পর, আমরা এখন এই উপসংহারে আসতে পারি যে এই সংশয়বাদ বিশেষত প্রয়োজনীয় নয়. অন্যান্য অনেক জনগোষ্ঠী এবং অনেক গবেষণায় অন্যান্য জনগোষ্ঠী থেকে ফলাফলে Turkers সঙ্গে পরীক্ষাগুলির ফলাফল তুলনা করতে Turkers জনসংখ্যাতত্ত্ব তুলনা স্টাডিজ হয়েছে. এই সব কাজ দেওয়া, আমি মনে করি আপনি এটা সম্পর্কে চিন্তা করার জন্য সবচেয়ে ভাল উপায় হল যে Turkers অনেক ছাত্র কিন্তু সামান্য বেশি বিচিত্র মত, একটি যুক্তিসঙ্গত সুবিধার নমুনা হয় (Berinsky, Huber, and Lenz 2012) . সুতরাং, ঠিক যেমন ছাত্র কিছু জন্য একটি যুক্তিসঙ্গত জনসংখ্যা কিন্তু সব পরীক্ষামূলক গবেষণা হয়, Turkers কিছু জন্য একটি যুক্তিসঙ্গত জনসংখ্যা না কিন্তু সব গবেষণা হয়. আপনি Turkers সঙ্গে কাজ করতে যাচ্ছি, তাহলে এটা জানার এই তুলনামূলক গবেষণায় অনেক পড়া এবং তাদের তারতম্য বুঝতে তোলে.

দ্বিতীয়ত, গবেষক টার্ক পরীক্ষাগুলির অভ্যন্তরীণ বৈধতা বৃদ্ধি জন্য শ্রেষ্ঠ-চর্চা বিকশিত হয়েছে, এবং আপনার সম্পর্কে জানতে এবং এই ভাল-পদ্ধতি অনুসরণ করা উচিত (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . উদাহরণস্বরূপ, Turkers ব্যবহার গবেষকরা screeners ব্যবহার করতে অমনোযোগী অংশগ্রহণকারীদের অপসারণ করার পরামর্শ দেওয়া হয় (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (কিন্তু তাও দেখতে DJ Hauser and Schwarz (2015b) এবং DJ Hauser and Schwarz (2015a) ). আপনি অমনোযোগী অংশগ্রহণকারীদের অপসারণ না করে, তাহলে চিকিৎসার কোনো প্রভাব অমনোযোগী অংশগ্রহণকারীদের থেকে চালু শব্দ দ্বারা আউট ধুয়ে যাবে, এবং বাস্তবে অমনোযোগী অংশগ্রহণকারীদের সংখ্যা সারগর্ভ হতে পারে. হুবার এবং সহকর্মীদের পরীক্ষা ইন (2012) অংশগ্রহণকারীদের প্রায় 30% মৌলিক মনোযোগ screeners ব্যর্থ. আরেকটি সমস্যা Turkers সঙ্গে সাধারণ অ অখল অংশগ্রহণকারীদের হয় (Chandler et al. 2015) .

তৃতীয়ত, ডিজিটাল পরীক্ষাগুলির কিছু অন্যান্য ফর্ম আপেক্ষিক, MTurk পরীক্ষায় স্কেল করতে পারে না; Stewart et al. (2015) অনুমান করে যে কোনো সময়ে সেখানে MTurk উপর মাত্র 7,000 মানুষ হয়.

অবশেষে, আপনার যা জানা উচিত যে MTurk তার নিজস্ব নিয়ম এবং নিয়ম সঙ্গে একটি সম্প্রদায় (Mason and Suri 2012) . একই ভাবে আপনি একটি দেশ যেখানে আপনি আপনার পরীক্ষা-নিরীক্ষা চালানোর জন্য যাচ্ছিলেন সংস্কৃতি সম্পর্কে জানতে চেষ্টা করবে, আপনি সংস্কৃতি এবং Turkers নিয়ম সম্পর্কে আরো জানতে চেষ্টা করা উচিত (Salehi et al. 2015) . আর, আপনার যা জানা উচিত যে Turkers আপনার পরীক্ষা সম্পর্কে কথা বলা হবে যদি আপনি কিছু অনুপযুক্ত বা অনৈতিক না (Gray et al. 2016) .

MTurk আপনার পরীক্ষায় অংশগ্রহণকারীদের নিয়োগস্থল একটি অবিশ্বাস্যভাবে সুবিধাজনক উপায়, কিনা তারা যেমন ল্যাব-মত হয়, Huber, Hill, and Lenz (2012) , অথবা আরো ক্ষেত্রের মতো, যেমন Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , এবং Mao et al. (2016) .

• আপনার নিজস্ব পণ্য তৈরি করুন (বিভাগ 4.5.1.3)

আপনি আপনার নিজস্ব পণ্য তৈরি করার চেষ্টা চিন্তা করা হয়, আমি সুপারিশ করছি যে আপনি পরামর্শ MovieLens গ্রুপ দ্বারা প্রদত্ত পড়া Harper and Konstan (2015) . তাদের অভিজ্ঞতা থেকে একটি কী অন্তর্দৃষ্টি প্রতিটি সফল প্রকল্পের জন্য অনেক, অনেক ব্যর্থতা আছে. উদাহরণস্বরূপ, MovieLens গ্রুপ যেমন GopherAnswers যে সম্পূর্ণ সফল হয়নি যেমন অন্যান্য পণ্য চালু (Harper and Konstan 2015) . একটি গবেষক একটি পণ্য তৈরির চেষ্টার সময় ব্যর্থ আরেকটি উদাহরণ একটি অনলাইন খেলা ফাভেরশাম নামক বিল্ড এডওয়ার্ড Castronova এর প্রচেষ্টা. অর্থায়ন $ 250,000 সত্ত্বেও, প্রকল্পের একটি ফ্লপ হয়েছিল (Baker 2008) . GopherAnswers এবং ফাভেরশাম মত প্রকল্প দুর্ভাগ্যবশত অনেক MovieLens মত প্রকল্প চেয়ে বেশি প্রচলিত. অবশেষে, যখন আমি তাকে বললাম যে আমি অন্য কোন গবেষক যে সফলভাবে পুনরাবৃত্তি পরীক্ষা-নিরীক্ষার জন্য পণ্য তৈরী করেছিলেন জানি না এখানে আমার মানদণ্ড: 1) অংশগ্রহণকারীদের কারণ কি এটা তাদের প্রদান করে (যেমন, তারা দেওয়া হয় না এর পণ্য ব্যবহার এবং তারা না হয় স্বেচ্ছাসেবকদের বিজ্ঞান সাহায্য) এবং 2) পণ্য একাধিক স্বতন্ত্র পরীক্ষা (অর্থাৎ, না একই পরীক্ষা একাধিক বিভিন্ন অংশগ্রহণকারী পুল সঙ্গে বার) জন্য ব্যবহার করা হয়েছে. আপনি অন্যান্য উদাহরণ কয়েক জানা থাকে, তাহলে আমাকে দয়া করে.

• শক্তিশালী সঙ্গে পার্টনার (অনুচ্ছেদ 4.5.2)

আমি পাস্তুর এর কোয়াড্রান্ট কারিগরি কোম্পানি ঘনঘন আলোচনা ধারণা শোনা করেছি, এবং এটি Google এ গবেষণা প্রচেষ্টা সংগঠিত করতে সহায়তা করে (Spector, Norvig, and Petrov 2012) .

বন্ড এবং সহকর্মীদেরও গবেষণায় (2012) যারা ​​গ্রহণও এর বন্ধুদের এই Twoo তে এই চিকিত্সা প্রভাব শনাক্ত করার প্রচেষ্টা. কারণ পরীক্ষা নকশা, এই spillovers পরিচ্ছন্নভাবে শনাক্ত করা কঠিন; আগ্রহী পাঠক দেখতে পাবেন Bond et al. (2012) একটি আরো পুঙ্খানুপুঙ্খ আলোচনার জন্য. এই পরীক্ষা ভোট উৎসাহিত করার প্রচেষ্টার ওপর রাজনৈতিক বিজ্ঞান পরীক্ষায় একটি দীর্ঘ ঐতিহ্য অংশ (Green and Gerber 2015) . কারণ তারা পাস্তুর এর কোয়াড্রান্ট হয় এই পেতে আউট-ভোট পরীক্ষায় অংশ দেখা যায়. অর্থাৎ সেখানে অনেক মানুষ যারা ভোট এবং ভোট বৃদ্ধি আচরণের পরিবর্তন এবং সামাজিক প্রভাব সম্পর্কে আরও সাধারণ তত্ত্ব পরীক্ষা একটি আকর্ষণীয় আচরণ হতে পারে উদ্দেশ্যপ্রণোদিত হয়.

অন্যান্য গবেষকরা এমন রাজনৈতিক দল, এনজিও ও ব্যবসার সহযোগী সংগঠনের সঙ্গে ক্ষেত্র পরীক্ষায় চলমান সম্পর্কে পরামর্শ প্রদান করা হয়েছে (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . অন্যরা কিভাবে প্রতিষ্ঠানের সাথে অংশীদারিত্ব গবেষণা ডিজাইন প্রভাবিত করতে পারে সম্পর্কে পরামর্শ দেওয়া হয়েছে (Green, Calfano, and Aronow 2014; King et al. 2007) . পার্টনারশিপ এছাড়াও নৈতিক প্রশ্ন হতে পারে (Humphreys 2015; Nickerson and Hyde 2016) .

• ডিজাইন পরামর্শ (4.6)

আপনি আপনার পরীক্ষা চালাবার আগে আপনি একটি বিশ্লেষণ পরিকল্পনা তৈরি যাচ্ছি, আমি আপনাকে পরামর্শ দিচ্ছি যে আপনি প্রতিবেদনের নির্দেশিকা পড়া শুরু. সঙ্গী গাইডলাইন (ট্রায়ালে একত্রীকৃত স্ট্যান্ডার্ড রিপোর্টিং) ঔষধ বিকশিত হয়েছে (Schulz et al. 2010) এবং সামাজিক গবেষণার জন্য পরিবর্তিত (Mayo-Wilson et al. 2013) . নির্দেশাবলী একটি সংশ্লিষ্ট সেট এক্সপেরিমেন্টাল রাষ্ট্রবিজ্ঞান জার্নাল সম্পাদকদের দ্বারা উন্নত করা হয়েছে (Gerber et al. 2014) (আরো দেখুন Mutz and Pemantle (2015) এবং Gerber et al. (2015) ). অবশেষে, রিপোর্ট নির্দেশিকা মনোবিজ্ঞানে উন্নত করা হয়েছে (Group 2008) , এবং দেখতে Simmons, Nelson, and Simonsohn (2011) .

আপনি একটি বিশ্লেষণ পরিকল্পনা তৈরি করা হলে আপনি এটি প্রাক নিবন্ধনের কারণ প্রি-রেজিস্ট্রেশন আস্থা অন্যদের আপনার ফলাফলে আছে বৃদ্ধি হবে বিবেচনা করা উচিত. উপরন্তু, যদি আপনি একটি সঙ্গীর সঙ্গে কাজ করছেন, এটা আপনার পার্টনার এর ফলাফল প্রেক্ষণ পরে বিশ্লেষণ পরিবর্তন করার ক্ষমতা সীমিত করা হবে. প্রি-রেজিস্ট্রেশন মনোবিজ্ঞান ক্রমবর্ধমান সাধারণ হয়ে উঠছে (Nosek and Lakens 2014) , রাষ্ট্রবিজ্ঞান (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , এবং অর্থনীতি (Olken 2015) .

আপনার প্রাক বিশ্লেষণ পরিকল্পনা তৈরি করার সময় আপনি সচেতন যে কিছু গবেষকরা নির্ভরণ এবং সংশ্লিষ্ট পন্থা ব্যবহার আনুমানিক চিকিত্সার প্রভাব স্পষ্টতা উন্নত করতে হবে, আর সেখানে এই পদ্ধতির সম্পর্কে কিছু বিতর্ক: Freedman (2008) , Lin (2013) , এবং Berk et al. (2013) ; দেখতে Bloniarz et al. (2016) আরও তথ্যের জন্য.

অনলাইন ক্ষেত্র এক্সপেরিমেন্ট ডিজাইন পরামর্শ বিশেষভাবে এছাড়াও উপস্থাপন করা হয় Konstan and Chen (2007) এবং Chen and Konstan (2015) .

• শূন্য পরিবর্তনশীল খরচ ডেটা তৈরি করুন (বিভাগ 4.6.1)

MusicLab পরীক্ষায় সম্পর্কে আরো জানার জন্য, দেখুন Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , এবং Salganik (2007) . বিজয়ী-নিতে সব বাজারের সম্পর্কে আরো জানার জন্য, দেখুন Frank and Cook (1996) . আরো সাধারণভাবে untangling ভাগ্য এবং দক্ষতা সম্পর্কে আরো জানার জন্য, দেখুন Mauboussin (2012) , Watts (2012) , এবং Frank (2016) .

সেনাবাহিনীতে কাজ করার জন্য আছে: অংশগ্রহণকারী পেমেন্ট যে গবেষকরা সাবধানতার সাথে ব্যবহার করা উচিত দূর করার আরেকটি পন্থা. অনেক অনলাইন ক্ষেত্র পরীক্ষায় অংশগ্রহণকারীদের মূলত পরীক্ষায় মধ্যে ড্রাফট এবং কখনও ক্ষতিপূরণ হয়. এই পদ্ধতির উদাহরণ Restivo এবং ভ্যান ডি Rijt এর অন্তর্ভুক্ত (2012) উইকিপিডিয়া এবং বন্ড এবং সহকর্মীর মধ্যে পুরষ্কার উপর পরীক্ষা (2012) ভোট দিতে মানুষ উত্সাহিত উপর পরীক্ষা. এই পরীক্ষায় সত্যিই শূন্য পরিবর্তনশীল খরচ আছে না, তারা গবেষকরা শূন্য পরিবর্তনশীল খরচ আছে. যদিও এই পরীক্ষায় অনেক খরচ প্রতিটি অংশগ্রহণকারী অত্যন্ত ছোট, ছোট খরচ অংশগ্রহণকারীদের একটি বিরাট সংখ্যা দ্রুত পর্যন্ত যোগ করতে পারেন আরোপিত. বিশাল অনলাইন পরীক্ষায় চলমান গবেষকরা প্রায়ই বলে যে এই ছোট প্রভাব গুরুত্বপূর্ণ যখন অনেক মানুষ প্রয়োগ হতে পারে দ্বারা ছোট আনুমানিক চিকিত্সার প্রভাব গুরুত্ব ন্যায্যতা. সঠিক একই চিন্তা খরচ যে গবেষকরা অংশগ্রহণকারীদের উপর আরোপ করার ক্ষেত্রে প্রযোজ্য. আপনার পরীক্ষায় এক মিনিট অপব্যয় এক কোটি মানুষের টানে তবে, পরীক্ষা নির্দিষ্ট কোনো ব্যক্তির জন্য খুবই ক্ষতিকর নয়, কিন্তু মোটের উপর এটা সময় প্রায় দুই বছর নষ্ট করেছে.

অংশগ্রহণকারীদের শূন্য পরিবর্তনশীল খরচ পেমেন্ট তৈরি করার আরেকটি পদ্ধতি একটি সুরতি, একটি পদ্ধতির যে জরিপ গবেষণায় ব্যবহার করা হয়েছে ব্যবহার করা হয় (Halpern et al. 2011) . অবশেষে, নকশা সম্পর্কে আরো জন্য উপভোগ্য ব্যবহারকারী অভিজ্ঞতার দেখতে Toomim et al. (2011) .

• , প্রতিস্থাপন রিফাইন, এবং কমান (অনুচ্ছেদ 4.6.2)

এখানে তিনটি আর আসল সংজ্ঞাটি থেকে হয় Russell and Burch (1959) :

"প্রতিস্থাপন অচৈতন্য উপাদানের সচেতন জীবন্ত উন্নত প্রাণীদের জন্য প্রতিস্থাপন মানে. কমানো একটি নির্দিষ্ট পরিমাণ এবং স্পষ্টতা তথ্য প্রাপ্ত করতে ব্যবহৃত পশুদের সংখ্যা হ্রাস মানে. পরিশোধন প্রকোপ বা ঐ পশুদের এখনও ব্যবহার করা হবে যা প্রয়োগ অমানবিক পদ্ধতি তীব্রতা কোন কমতি মানে. "

তিন রাঃ এর যে আমি উত্থাপন অধ্যায় 6. বর্ণিত নৈতিক মূলনীতির ওভাররাইড না বরং তারা মানুষের পরীক্ষাগুলির সেটিং জন্য যারা নীতির-বদান্যতা-নির্দিষ্টভাবে একটি আরো বিস্তারিত বর্ণনা সংস্করণ এক.

কখন মানসিক রোগসংক্রমণ বিবেচনায়, সেখানে এই পরীক্ষা দোভাষী মনে রাখা তিন অ নৈতিক বিষয় হয়. প্রথমত, এটা কিভাবে পরীক্ষা প্রকৃত বিবরণ তাত্ত্বিক দাবির সংযোগ স্পষ্ট নয়; অন্য কথায়, সেখানে কনস্ট্রাক্ট বৈধতা সম্পর্কে প্রশ্ন থাকে. এটা স্পষ্ট নয় যে ইতিবাচক ও নেতিবাচক শব্দ গন্য কারণ 1) এটা স্পষ্ট নয় আসলে অংশগ্রহণকারীদের গ্ণচক্স একটি ভাল নির্দেশক যে শব্দ যে মানুষ পোষ্ট তাদের আবেগ একটি ভাল নির্দেশক এবং 2) এটা স্পষ্ট নয় বিশেষ অনুভূতির বিশ্লেষণ কৌশল যে গবেষকরা ব্যবহার নির্ভরযোগ্যভাবে আবেগ অনুমান করতে সক্ষম হয় (Beasley and Mason 2015; Panger 2016) . অন্য কথায়, সেখানে একটি পক্ষপাতদুষ্ট সিগন্যালকে কুতন্ত্র হতে পারে. দ্বিতীয়ত, নকশা এবং পরীক্ষা বিশ্লেষণ আমাদের যারা সবচেয়ে প্রভাব ছিল (অর্থাৎ, সেখানে চিকিত্সার প্রভাব বিষমসত্ত্বতা কোন বিশ্লেষণ) এবং প্রক্রিয়া হতে পারে সম্পর্কে কিছুই বলে. এই ক্ষেত্রে, গবেষক অংশগ্রহণকারীদের সম্পর্কে তথ্য প্রচুর ছিল, কিন্তু তারা মূলত বিশ্লেষণে উইজেট হিসেবে বিবেচনা করা হয়েছিল. তৃতীয়ত, এই পরীক্ষা প্রভাব আকার খুব ছোট ছিল; চিকিত্সা এবং নিয়ন্ত্রণ অবস্থার মধ্যে পার্থক্য প্রায় 1 1,000 শব্দ হয়. তাদের গবেষণাপত্রে, Kramer এবং সহকর্মীদের ক্ষেত্রে যে এই মাপের একটি প্রভাব গুরুত্বপূর্ণ কারণ লাখ লাখ মানুষের শত শত অ্যাক্সেস তাদের সংবাদ প্রতিটি দিন Feed করতে. অন্য কথায়, তারা যুক্তি দেখান যে, এমনকি প্রভাব প্রতিটি ব্যক্তি তারা সমষ্টিগত বড় হয় ছোট হয়. এমনকি আপনি যদি এই যুক্তি গ্রহণ করতে ছিল, এখনও এটা স্পষ্ট নয় যদি এই মাপের একটি প্রভাব মানসিক রোগসংক্রমণ সম্পর্কে আরো সাধারণ বৈজ্ঞানিক প্রশ্ন সংক্রান্ত গুরুত্বপূর্ণ. পরিস্থিতি যেখানে ছোট প্রভাব গুরুত্বপূর্ণ সম্পর্কে আরো জানার জন্য দেখুন Prentice and Miller (1992) .

প্রথম রাঃ (প্রতিস্থাপন), পদ আবেগপূর্ণ রোগসংক্রমণ পরীক্ষা তুলনা (Kramer, Guillory, and Hancock 2014) এবং মানসিক রোগসংক্রমণ প্রাকৃতিক পরীক্ষা (Coviello et al. 2014) থেকে সরানোর সঙ্গে জড়িত বিনিময় প্রথা সম্পর্কে কিছু সাধারণ শিক্ষা প্রদান প্রাকৃতিক পরীক্ষায় পরীক্ষায় (এবং অ পরীক্ষামূলক ডেটা-নিরীক্ষা আনুমানিক যে প্রয়াস মিলে মত অন্যান্য পন্থা অধ্যায় 2 দেখুন). নৈতিক সুবিধা ছাড়াও, পরীক্ষামূলক থেকে অ গবেষণা সুইচিং এছাড়াও চিকিত্সা যে তারা logistically স্থাপন করতে অক্ষম অধ্যয়ন গবেষকরা সম্ভব. এই নৈতিক ও লজিস্টিক সুবিধা ব্যয়ে আসা অবশ্য. প্রাকৃতিক পরীক্ষানিরীক্ষা গবেষকরা অংশগ্রহণকারী রেন্ডমাইজেশানের নিয়োগ ভালো জিনিস উপর কম নিয়ন্ত্রণ, এবং চিকিত্সার প্রকৃতি আছে. উদাহরণস্বরূপ, একটি চিকিত্সা হিসাবে বৃষ্টিপাতের এক সীমাবদ্ধতা যে এটা উভয় ইতিবাচক বৃদ্ধি এবং নেতিবাচকতার কমে যায়. পরীক্ষামূলক গবেষণায় অবশ্য Kramer এবং সহকর্মীদের স্বাধীনভাবে ইতিবাচকতা এবং নেতিবাচকতার সমন্বয় করতে সক্ষম হয়েছি.

বিশেষ দ্বারা ব্যবহৃত পদ্ধতির Coviello et al. (2014) আরও মধ্যে elaborated হয় Coviello, Fowler, and Franceschetti (2014) . যন্ত্রসংগীত ভেরিয়েবল একটি ভূমিকা দেখুন Angrist and Pischke (2009) (কম প্রথাগত) অথবা Angrist, Imbens, and Rubin (1996) (অধিক প্রথাগত). যন্ত্রসংগীত ভেরিয়েবল একটি সন্দেহপ্রবণ গুণগ্রাহিতা দেখুন Deaton (2010) , এবং দুর্বল যন্ত্র (বৃষ্টি একটি দুর্বল যন্ত্র) সঙ্গে যন্ত্রসংগীত ভেরিয়েবল একটি প্রবর্তনের জন্য, দেখুন Murray (2006) .

আরো সাধারণভাবে, প্রাকৃতিক পরীক্ষায় একটি ভাল ভূমিকা Dunning (2012) , এবং Rosenbaum (2002) , Rosenbaum (2009) , এবং Shadish, Cook, and Campbell (2001) পরীক্ষায় ছাড়া কার্যকারণ প্রভাব আনুমানিক হিসাব সম্পর্কে ভাল ধারনা দিতে.

দ্বিতীয় আর (পরিশোধন) নিরিখে, সেখানে বৈজ্ঞানিক এবং যৌক্তিক বিনিময় প্রথা যখন পোস্ট boosting পোস্ট ব্লক থেকে মানসিক রোগসংক্রমণ নকশা পরিবর্তন বিবেচনা করা হয়. উদাহরণস্বরূপ, এটি যদি নিউজ ফিড প্রযুক্তিগত বাস্তবায়ন এটা যথেষ্ট সহজ পোস্ট boosting সঙ্গে একটি পরীক্ষা বদলে পোস্ট ব্লক সঙ্গে একটি পরীক্ষা না করে হতে পারে যে (নোট যে পোস্ট ব্লক সঙ্গে একটি পরীক্ষা উপর একটি লেয়ার হিসাবে প্রয়োগ করা যেতে পারে অভ্যন্তরীণ ব্যবস্থার পরিবর্তন) জন্য কোনো প্রয়োজন ছাড়াই নিউজ ফিড সিস্টেম উপরের. বৈজ্ঞানিকভাবেও, তবে তত্ত্ব পরীক্ষা দ্বারা সুরাহা পরিষ্কারভাবে অন্য এক নকশা সুপারিশ করা হয়নি.

দুর্ভাগ্যবশত, আমি ব্লক নিউস ফিড মধ্যে বিষয়বস্তু boosting আপেক্ষিক যথার্থতা সম্পর্কে সারগর্ভ বৎসর গবেষণা সচেতন নই. এছাড়াও, আমি অনেক গবেষণা তাদের কম ক্ষতিকর করতে চিকিত্সা পরিমার্জিত সম্পর্কে দেখিনি; এক ব্যতিক্রম নয় Jones and Feamster (2015) , যা ইন্টারনেট সেন্সরশিপ পরিমাপের ক্ষেত্রে বিবেচনা (একটি বিষয় আমি Encore সমীক্ষা সম্পর্ক 6 অধ্যায়ে আলোচনা (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

তৃতীয় রাঃ (কমানো) নিরিখে চিরাচরিত ক্ষমতা বিশ্লেষণ করার জন্য একটি ভাল ভূমিকা Cohen (1988) . প্রাক চিকিত্সার covariates নকশা পর্যায় এবং পরীক্ষাগুলির বিশ্লেষণ পর্যায়ে অন্তর্ভুক্ত করা যেতে পারে; অধ্যায় 4 Gerber and Green (2012) উভয় পন্থা একটি ভাল ভূমিকা প্রদান করে, এবং Casella (2008) আরো একটি মধ্যে গভীরতা চিকিত্সা প্রদান করে. টেকনিকস যে র্যান্ডোমাইজেশন এই প্রাক চিকিত্সা তথ্য ব্যবহার সাধারণত হয় পরীক্ষামূলক ডিজাইন বা স্তরীভূত পরীক্ষামূলক ডিজাইন (পরিভাষা সম্প্রদায়ের জুড়ে ধারাবাহিকভাবে ব্যবহার করা হয় না) অবরুদ্ধ বলা হয়; এই কৌশল গভীরভাবে অধ্যায় 3. দেখুন আলোচনা স্তরীভূত স্যাম্পলিং কৌশল সাথে সম্পর্কিত হয় Higgins, Sävje, and Sekhon (2016) ব্যাপক পরীক্ষায় এই ডিজাইন ব্যবহারপদ্ধতি জন্য. প্রাক চিকিত্সার covariates বিশ্লেষকপর্ব পর্যায়ে ব্যবহার করা যাবে না. McKenzie (2012) বেশী বিস্তারিত ক্ষেত্র পরীক্ষায় বিশ্লেষণ করার পার্থক্য-ইন-পার্থক্য পদ্ধতির explores. দেখুন Carneiro, Lee, and Wilhelm (2016) বিভিন্ন পন্থা চিকিত্সার প্রভাব অনুমান স্পষ্টতা বৃদ্ধি মধ্যে বিনিময় প্রথা আরও বেশির জন্য. অবশেষে, যখন সিদ্ধান্ত নকশা বা বিশ্লেষণ পর্যায়ে (অথবা উভয়) এ প্রাক চিকিত্সার covariates অন্তর্ভুক্ত করার চেষ্টা করা হবে কিনা তা, কয়েকটি বিষয় বিবেচনা করা হয়. একটি সেটিং যেখানে গবেষকরা দেখানোর জন্য যে, তারা "মাছ ধরার" না হয় চান (Humphreys, Sierra, and Windt 2013) , নকশা পর্যায়ে প্রাক চিকিত্সার covariates ব্যবহার সহায়ক হতে পারে (Higgins, Sävje, and Sekhon 2016) . পরিস্থিতি যেখানে অংশগ্রহণকারীদের ক্রমানুশারে পৌঁছা, বিশেষ করে অনলাইন ক্ষেত্র পরীক্ষায়, নকশা পর্যায়ে প্রাক চিকিত্সা তথ্য ব্যবহার করে logistically কঠিন হতে পারে, উদাহরণস্বরূপ দেখতে Xie and Aurisset (2016) .

এটা কেন পার্থক্য-পার্থক্য পার্থক্য-ইন-মাধ্যম চেয়ে আরও অনেক কার্যকরী হতে পারে সম্পর্কে স্বজ্ঞা একটি বিট যোগ মূল্য. অনেক অনলাইন ফলাফলের খুব উচ্চ ভেরিয়ানস (দেখতে যেমন, Lewis and Rao (2015) এবং Lamb et al. (2015) ) এবং সময়ের প্রবাহে তুলনামূলকভাবে স্থিতিশীল. এই ক্ষেত্রে, পরিবর্তন স্কোর যথেষ্ট ছোট ভ্যারিয়েন্স আছে, পরিসাংখ্যিক শক্তি বৃদ্ধি করবে. একটা কারণ এই তটস্থ আরো প্রায়ই ব্যবহার করা হয় না যে ডিজিটাল বয়স পূর্বে এটি প্রাক চিকিত্সার ফলাফল আছে সাধারণ ছিল না. এটা সম্পর্কে চিন্তা করার আরো একটি কংক্রিট পথ একটি পরীক্ষা কল্পনা করা পরিমাপ করার জন্য একটি নির্দিষ্ট ব্যায়াম নিত্যকর্ম ওজন হ্রাস ঘটায় কিনা. আপনি একটা পার্থক্য-ইন-মাধ্যম পদ্ধতির না পারেন, আপনার অনুমান পরিবর্তনশীলতা যে জনসংখ্যার মধ্যে ওজন পরিবর্তনশীলতা থেকে আসে থাকবে. আপনি একটা পার্থক্য-ইন-পার্থক্য পদ্ধতির না পারেন, তবে ওজন যে প্রাকৃতিকভাবে প্রকরণ সরানো এবং আপনি আরও সহজে চিকিত্সা দ্বারা সৃষ্ট একটি পার্থক্য সনাক্ত করা সম্ভব.

একটা গুরুত্বপূর্ণ উপায় আপনার পরীক্ষা অংশগ্রহণকারীদের সংখ্যা কমাতে একটি শক্তি বিশ্লেষণ, যা Kramer এবং সহকর্মীদের প্রভাব মাপ দ্বারা প্রাকৃতিক পরীক্ষা থেকে পালন উপর ভিত্তি করে কাজ করতে পারে আচার হয় Coviello et al. (2014) বা তার আগে অ পরীক্ষামূলক গবেষণা Kramer, দ্বারা (2012) (আসলে এই এই অধ্যায়ের শেষে কার্যক্রম হয়). লক্ষ করুন যে, ক্ষমতা বিশ্লেষণ এই ব্যবহার টিপিক্যাল চেয়ে একটু ভিন্ন. (অনূর্ধ্ব চালিত অর্থাৎ) এনালগ যুগে গবেষকরা সাধারণত নিশ্চিত যে তাদের অধ্যয়ন খুবই ছোট ছিল না প্রণয়নের ক্ষমতা বিশ্লেষণ করেনি. (ওভার চালিত অর্থাৎ) এখন অবশ্য গবেষকরা ক্ষমতা বিশ্লেষণ নিশ্চিত যে তাদের গবেষণায় খুব বড় হয় না কি করা উচিত.

Repurpose: অবশেষে, আমি যোগ করার সময় একটি চতুর্থ আর বিবেচিত. গবেষকরা নিজেদের আরো পরীক্ষামূলক ডেটা সঙ্গে এটি যদি বেশী তারা তাদের উদ্ভাবনার প্রশ্ন মোকাবেলার প্রয়োজন, তারা নতুন প্রশ্ন জিজ্ঞাসা করার তথ্য repurpose উচিত. উদাহরণস্বরূপ, কল্পনা করুন যে, Kramer এবং সহকর্মীদের আরও তথ্য চেয়ে তাদের গবেষণা প্রশ্ন মোকাবেলার প্রয়োজনীয় একটি পার্থক্য-ইন-পার্থক্য মূল্নির্ধারক ব্যবহার এবং নিজেদের খুঁজে পেয়েছে. বরং পুরাদস্তুরভাবে ডেটা ব্যবহার বেশী না, তারা একটি ফাংশন প্রাক চিকিত্সা মানসিক অভিব্যক্তি হিসাবে প্রভাব আকার চর্চিত পারতেন. ঠিক যেমন Schultz et al. (2007) দেখা যায়, চিকিৎসার প্রভাব হালকা এবং ভারী ব্যবহারকারীদের জন্য আলাদা ছিল, সম্ভবত নিউজ ফিড এর প্রভাব মানুষ যারা ​​ইতিমধ্যে খুশি (বা দু: খিত) বার্তা পোস্ট করতে সেদিকেই ঝুঁকেছে জন্য আলাদা ছিল. "মাছ ধরার 'হতে পারে Repurposing (Humphreys, Sierra, and Windt 2013) এবং" পি-hacking " (Simmons, Nelson, and Simonsohn 2011) , কিন্তু এগুলো মূলত সৎ প্রতিবেদনের একটি সংমিশ্রনের সঙ্গে Addressable হয় (Simmons, Nelson, and Simonsohn 2011) , প্রি-রেজিস্ট্রেশন (Humphreys, Sierra, and Windt 2013) , এবং মেশিন লার্নিং পদ্ধতি উপর চোস্ত এড়াতে প্রচেষ্টা.