4.3 دو بعد از آزمایش: آزمایشگاه میدان و آنالوگ به دیجیتال

آزمایشگاه ارائه کنترل، آزمایشات مزرعه ارائه رئالیسم، و مزرعه دیجیتال ترکیب کنترل و واقع گرایی در مقیاس.

آزمایش در اشکال و اندازه های مختلف آمده است. اما علی رغم این تفاوت، محققان دریافته اند آن را مفید به سازماندهی آزمایش در امتداد یک پیوستار بین آزمایشگاه و مزرعه. در حال حاضر، با این حال، محققان همچنین باید آزمایش در امتداد یک پیوستار بین آزمایش های آنالوگ و دیجیتال آزمایش را سازماندهی کنند. این فضای طراحی دو بعدی کمک خواهد کرد شما را در درک نقاط قوت و ضعف روش های مختلف و نشان می دهد مناطق بزرگترین فرصت (شکل 4.1).

شکل 4.1: شماتیک از فضای طراحی برای آزمایش. در گذشته، آزمایش همراه بعد آزمایشگاه میدان متفاوت است. در حال حاضر، آنها نیز در ابعاد آنالوگ به دیجیتال تغییر کند. به نظر من، این منطقه از بزرگترین فرصت آزمایشات مزرعه دیجیتال است.

در گذشته، راه اصلی که محققان آزمایش های سازمان یافته در امتداد بعد آزمایشگاه میدان بود. اکثر آزمایشات در علوم اجتماعی که در آن آزمایشگاه به دانشجویان مقطع کارشناسی انجام کارهای عجیب و غریب در یک آزمایشگاه برای دوره اعتبار. این نوع آزمایش غالب پژوهش در روانشناسی به دلیل آن محققان را قادر به ایجاد درمان های بسیار خاص طراحی شده برای تست تئوری های بسیار خاص در مورد رفتار اجتماعی است. برای برخی از مشکلات، با این حال، چیزی احساس می کند کمی عجیب و غریب در مورد نتیجه گیری قوی در مورد رفتار انسان از چنین افرادی غیر معمول انجام چنین کارهای غیر معمول در چنین محیط غیر معمول است. این نگرانی ها را به یک حرکت به سمت مزرعه منجر شده است. آزمایش درست ترکیب طراحی قوی از آزمایش کنترل تصادفی با گروه نماینده بیشتر از شرکت کنندگان، انجام وظایف بیشتر رایج است، در تنظیمات طبیعی تر است.

اگر چه برخی از مردم آزمایشگاه و درست آزمایش به عنوان روش رقابت فکر می کنم، بهتر است به آنها فکر می کنم به عنوان روش های مکمل با نقاط قوت و ضعف متفاوت است. به عنوان مثال، Correll, Benard, and Paik (2007) هر دو یک تجربه آزمایشگاهی و مزرعهای در تلاش برای پیدا کردن منابع از "مجازات مادری." در ایالات متحده استفاده می شود، مادران کسب درآمد کمتر از زنان بدون فرزند، حتی زمانی که زنان در مقایسه با مهارت های مشابه مشغول به کار در مشاغل مشابه. بسیاری از توضیح احتمالی برای این الگو وجود دارد، و یکی این است که کارفرمایان در برابر مادران مغرضانه. (جالب توجه است، مخالف به نظر می رسد واقعی برای پدران: آنها تمایل به کسب درآمد بیشتر از مردان بدون فرزند در مقایسه). یکی در آزمایشگاه و یکی در این زمینه: به منظور ارزیابی تعصب علیه مادران، کورل و همکاران دو آزمایش کرد.

اول، در یک تجربه آزمایشگاهی کورل و همکاران شرکت کنندگان، که دانشجویان دوره کارشناسی کالج ها گفت که یک شرکت ارتباطات راه اندازی مستقر در کالیفرنیا در حال انجام یک جستجوی اشتغال برای یک فرد را برای رهبری بخش بازاریابی شرق ساحل جدید آن است. دانش آموزان گفته شد که این شرکت می خواست کمک آنها در فرایند استخدام و از آنها خواسته شد به بررسی رزومه از چند نامزد بالقوه و برای رای دادن به نامزدها در یک تعداد از ابعاد مانند هوش خود، گرما، و تعهد به کار است. علاوه بر این، دانش آموزان خواسته شد اگر آنها استخدام متقاضی و آنچه که به عنوان حقوق و دستمزد شروع توصیه می کنم توصیه می کنم. بدون اطلاع از دانش آموزان، با این حال، رزومه به طور خاص ساخته شد که شبیه به جز یک چیز: برخی از رزومه مادر نشان (با فهرست دخالت در انجمن اولیا و مربیان) و برخی نه. کورل پیدا شده است که دانش آموزان کمتر احتمال دارد به توصیه استخدام مادران بودند و آنها را حقوق و دستمزد شروع پایین تر ارائه شده است. علاوه بر این، از طریق تجزیه و تحلیل آماری از هر دو رتبه بندی و تصمیم گیری های مربوط استخدام، کورل پیدا شده است که معایب مادران تا حد زیادی توسط این واقعیت است که مادران از نظر شایستگی و تعهد کمتر امتیاز شد توضیح داده شد. به عبارت دیگر، کورل استدلال می کند که این صفات هستند مکانیسم که از طریق آن مادران محروم هستند. بنابراین، این آزمایش آزمایشگاه اجازه کورل و همکاران برای اندازه گیری یک اثر علی و ارائه یک توضیح احتمالی برای این اثر.

البته، ممکن است شک و تردید در مورد نتیجه گیری در مورد کل بازار کار ایالات متحده بر اساس تصمیم گیری چند صد دانشجویان دوره کارشناسی که احتمالا هرگز یک کار تمام وقت داشته اند، چه رسد به مردم را استخدام کرد. بنابراین، کورل و همکارانش همچنین یک آزمایش میدانی مکمل انجام شده است. محققان با ارسال نامه پوشش جعلی و رزومه به صدها نفر از فرصت های شغلی آگهی پاسخ دادند. شبیه به مواد نشان داده شده به دانشجویان دوره کارشناسی، برخی از رزومه مادر نشان و برخی نه. کورل و همکارانش دریافتند که مادران، کمتر احتمال دارد به عقب بر گردیم به نام برای مصاحبه از زنان بدون فرزند به همان اندازه واجد شرایط بودند. به عبارت دیگر، کارفرمایان واقعی تصمیم گیری مهم در یک محیط طبیعی بسیار شبیه به دانشجویان دوره کارشناسی رفتار. آیا آنها تصمیم گیری مشابه به همین دلیل؟ متاسفانه، ما نمی دانیم. محققان موفق به کارفرمایان به رای دادن به نامزدهای و یا تصمیم گیری خود را توضیح دهد نبودند.

این جفت آزمایش نشان می دهد که بسیاری در مورد آزمایشگاه و درست آزمایش به طور کلی. آزمایشگاه محققان نزدیک کنترل کامل از محیطی که در آن شرکت کنندگان در حال تصمیم گیری را ارائه دهد. بنابراین، برای مثال، در آزمایش آزمایشگاه، کورل قادر به اطمینان حاصل شود که تمام رزومه در یک محیط آرام به عنوان خوانده شده بود. در مزرعه، برخی از رزومه ممکن است حتی خوانده شده است. علاوه بر این، به دلیل شرکت کنندگان در تنظیم آزمایشگاه می دانم که آنها در حال مطالعه، محققین معمولا قادر به جمع آوری داده های اضافی است که می تواند به آنها کمک کند درک کنند که چرا شرکت کنندگان تصمیم گیری های خود می باشد. به عنوان مثال، کورل شرکت کنندگان در آزمایش آزمایشگاه خواسته برای رای دادن به نامزدها در ابعاد مختلف. این نوع از پردازش داده ها می تواند به محققان کمک کند درک مکانیسم پشت تفاوت در نحوه شرکت کنندگان درمان رزومه.

از سوی دیگر، این ویژگی ها دقیق همان است که من فقط به عنوان مزایای توصیف نیز گاهی اوقات معایب در نظر گرفته. محققانی که آزمایشات مزرعه ترجیح می دهند استدلال می کنند که شرکت کنندگان در آزمایشگاه می تواند بسیار متفاوت عمل می زمانی که آنها از نزدیک مشاهده شده است. به عنوان مثال، در آزمایشگاه شرکت کنندگان آزمایش ممکن است هدف از این تحقیق را حدس زده و رفتار خود را تغییر داده به طوری که به نظر می رسد مغرضانه. علاوه بر این، محققان که آزمایشات مزرعه ترجیح می دهند ممکن است که تفاوت های کوچک در رزومه استدلال تنها می تواند ایستادگی کردن در یک بسیار تمیز، محیط آزمایشگاه استریل، و در نتیجه آزمایش آزمایشگاه خواهد بیش از حد برآورد اثر مادری در تصمیم گیری های استخدام واقعی است. در نهایت، بسیاری از طرفداران آزمایشات مزرعه انتقاد آزمایشگاه تکیه بر شرکت کنندگان عجیب و غریب: به طور عمده دانش آموزان از غربی، تحصیل کرده، صنعتی، غنی، و کشورهای دموکراتیک (Henrich, Heine, and Norenzayan 2010) . آزمایش های کورل و همکاران (2007) نشان دادن دو افراط در زنجیره آزمایشگاه میدان. در بین این دو افراط هستند انواع طرح ترکیبی از جمله روش های مانند آوردن غیر دانش آموزان را به یک آزمایشگاه و یا رفتن را در زمینه اما هنوز هم داشتن شرکت کنندگان اجرای یک کار غیر معمول وجود دارد.

علاوه بر این به بعد آزمایشگاه میدان است که در گذشته وجود داشته، عصر دیجیتال بدان معنی است که محققان در حال حاضر یک بعد مهم دوم که در طول آن آزمایش می تواند متفاوت باشد را داشته باشد: آنالوگ به دیجیتال. درست همان گونه که آزمایش خالص آزمایشگاه، آزمایشات مزرعه خالص، و انواع هیبریدی در بین وجود دارد، آزمایش خالص آنالوگ، آزمایش های دیجیتال خالص، و انواع ارقام وجود دارد. این مشکل به ارائه یک تعریف رسمی از این بعد است، اما یک تعریف کاری مفید است که آزمایش کاملا دیجیتال آزمایش که با استفاده از زیرساخت های دیجیتال به استخدام شرکت کنندگان، تصادفی، ارائه درمان، و اندازه گیری نتایج هستند. به عنوان مثال، Restivo و ون د Rijt است (2012) مطالعه barnstars و ویکیپدیا یک آزمایش کاملا دیجیتال بود، چرا که سیستم های دیجیتال برای هر چهار از این مراحل استفاده می شود. به همین ترتیب تمام تجربیات آنالوگ آزمایش که استفاده از زیرساخت های دیجیتال برای هر یک از این چهار مرحله را می باشد. بسیاری از آزمایش های کلاسیک در روانشناسی آزمایش آنالوگ هستند. در بین این دو افراط هستند تا حدی آزمایش دیجیتال که با استفاده ترکیبی از سیستم های آنالوگ و دیجیتال برای چهار مرحله وجود دارد.

بحرانی، فرصت هایی را برای اجرا آزمایش دیجیتال هستند نه فقط آنلاین. محققان می توانید آزمایش تا حدی دیجیتال با استفاده از دستگاه های دیجیتال در جهان فیزیکی به منظور ارائه درمان و یا اندازه گیری نتایج را اجرا کنید. برای مثال، محققان می تواند تلفن های هوشمند به ارائه درمان و یا سنسور در محیط های ساخته شده برای اندازه گیری نتایج استفاده کنید. در واقع، همانطور که ما بعدا در این فصل ببینید، محققان در حال حاضر استفاده متر برق خانه برای اندازه گیری نتایج در آزمایش در مورد هنجارهای اجتماعی و مصرف انرژی مربوط به 8.5 میلیون خانوار (Allcott 2015) . به عنوان دستگاه های دیجیتال به طور روز افزونی به زندگی مردم یکپارچه و سنسورهای تبدیل به محیط زیست ساخته شده یکپارچه، این فرصت را به اجرا آزمایش تا حدی دیجیتال در جهان فیزیکی به طور چشمگیری افزایش خواهد یافت. به عبارت دیگر، آزمایش های دیجیتال تنها آزمایش های آنلاین است.

سیستم های دیجیتال ایجاد امکانات جدید برای آزمایش در همه جا در امتداد زنجیره آزمایشگاه میدان. در آزمایشگاه خالص، برای مثال، محققان می توانند سیستم های دیجیتال برای اندازه گیری بهتری از رفتار شرکت کنندگان استفاده می کنند؛ یک مثال از این نوع بهبود اندازه گیری چشم ردیابی فراهم می کند که اقدامات دقیق و مستمر از محل نگاه است. عصر دیجیتال همچنین این امکان را به اجرا آزمایش آزمایشگاه مانند آنلاین ایجاد می کند. برای مثال، محققان به سرعت به تصویب رسید آمازون مکانیک ترک (MTurk) به استخدام شرکت کنندگان برای آزمایش آنلاین (شکل 4.2). MTurk مسابقات "کارفرمایان" که کارهای که نیاز به با "کارگران" که مایل به تکمیل آن وظایف را برای پول تکمیل شود. بر خلاف بازار کار سنتی، با این حال، وظایف درگیر معمولا فقط نیاز به چند دقیقه برای تکمیل و کل تعامل بین کارفرما و کارگر مجازی است. از آنجا که تقلید MTurk جنبه های آزمایش پرداخت آزمایشگاه های سنتی مردم برای تکمیل وظایف که آنها نمی خواهد برای انجام رایگان آن به طور طبیعی برای انواع خاصی از آزمایش مناسب است. اساسا، MTurk زیرساخت برای مدیریت یک استخر از شرکت کنندگان استخدام و پول دادن به مردم و محققان استفاده از آن زیرساخت گرفته اند به شیر را به یک استخر همیشه در دسترس شرکت کنندگان ایجاد کرده است.

شکل 4.2: مقالات با استفاده از اطلاعات منتشر شده از آمازون مکانیک ترک (MTurk) (Bohannon 2016) . MTurk و دیگر بازارهای کار آنلاین ارائه محققان یک راه مناسب برای جذب شرکت کنندگان برای آزمایش.

آزمایش های دیجیتال ایجاد فرصت و حتی بیشتر برای آزمایش میدان مانند. آزمایشات مزرعه دیجیتال می تواند کنترل و پردازش داده های تنگ به درک مکانیسم های احتمالی (مانند آزمایشگاه) و شرکت کنندگان متنوع تر تصمیم گیری واقعی در یک محیط طبیعی (مانند آزمایشات مزرعه) ارائه دهد. علاوه بر این ترکیبی از ویژگی های خوب از آزمایش های قبل از آن، آزمایشات مزرعه دیجیتال نیز سه فرصت هایی که در آزمایشگاه و مزرعه آزمایش آنالوگ دشوار بود را ارائه دهد.

اول، در حالی که بیشتر آزمایشگاه و درست آزمایش آنالوگ صدها نفر از شرکت کنندگان، آزمایشات مزرعه های دیجیتال می تواند میلیون ها شرکتکننده داشته باشد. این تغییر در مقیاس است که به دلیل برخی از آزمایش های دیجیتال می تواند داده ها را از صفر هزینه متغیر تولید کند. این است که، یک بار محققان یک زیرساخت تجربی ایجاد کرده اند، افزایش تعداد شرکت کنندگان به طور معمول هزینه افزایش نمی دهد. افزایش تعداد شرکت کنندگان توسط یک عامل از 100 یا بیشتر فقط یک تغییر کمی نیست، آن را به یک تغییر کیفی است، چرا که محققان را قادر به یادگیری چیزهای مختلف از آزمایش (به عنوان مثال، عدم تجانس اثرات درمانی) و اجرا طرح های تجربی کاملا متفاوت ( به عنوان مثال، آزمایش گروه بزرگ). این نقطه بسیار مهم است، من به آن سوی پایان فصل بازگشت وقتی که من ارائه مشاوره در مورد ایجاد آزمایش های دیجیتال است.

دوم، در حالی که بیشتر آزمایشگاه و درست آزمایش آنالوگ درمان شرکت کنندگان به عنوان ویدجت غیر قابل تشخیص، آزمایشات مزرعه دیجیتال اغلب اطلاعات زمینه ای در مورد شرکت کنندگان در طراحی و تجزیه و تحلیل مراحل پژوهش استفاده کنید. این اطلاعات پس زمینه، که این اطلاعات را قبل از درمان نامیده می شود، اغلب در آزمایش های دیجیتال در دسترس نیست زیرا آنها را در محیط های کاملا اندازه گیری شد. به عنوان مثال، یک محقق در فیس بوک اطلاعات قبل از درمان بسیار بیشتر از یک محقق طراحی یک آزمایش آزمایشگاه استاندارد با دانشجویان. این اطلاعات قبل از درمان محققان را قادر می سازد به فراتر از درمان شرکت کنندگان ویدجت به عنوان غیر قابل تشخیص است. بیشتر به طور خاص، اطلاعات قبل از درمان را قادر به طراحی چنین کارآمد تر تجربی مسدود کردن (Higgins, Sävje, and Sekhon 2016) و استخدام هدفمند از شرکت کنندگان (Eckles, Kizilcec, and Bakshy 2016) که البته تجزیه و تحلیل چنین روشنگری بیشتر به عنوان برآورد ناهمگنی اثرات درمان (Athey and Imbens 2016a) و تنظیم همگام برای دقت بهبود یافته (Bloniarz et al. 2016) .

سوم، در حالی که بسیاری از آزمایش های آزمایشگاه های آنالوگ و درست ارائه درمان و نتایج اندازه گیری در یک مقدار نسبتا فشرده ای از زمان، برخی از آزمایش های حوزه های دیجیتال شامل درمان های است که می تواند در طول زمان تحویل و اثرات همچنین می توانید در طول زمان اندازه گیری می شود. به عنوان مثال، آزمایش Restivo و ون د Rijt است نتیجه روزانه به مدت 90 روز اندازه گیری، و یکی از آزمایش های من شما را در مورد بعدا در این فصل به (Ferraro, Miranda, and Price 2011) آهنگ نتایج بیش از 3 سال در اساسا هیچ هزینه. این سه فرصت اندازه، اطلاعات قبل از درمان، و درمان طولی و نتیجه مشترک بیشترین اطلاعات را در هنگام آزمایش در بالای اجرا همیشه در سیستم های اندازه گیری (فصل 2 برای اطلاعات بیشتر در همیشه در سیستم های اندازه گیری).

در حالی که آزمایشات مزرعه دیجیتال ارائه بسیاری از امکانات، آنها نیز برخی از نقاط ضعف با هر دو آنالوگ آزمایشگاه و مزرعه به اشتراک بگذارید. به عنوان مثال، آزمایش می تواند استفاده شود به مطالعه گذشته، و آنها فقط می تواند برآورد آثار درمان که می تواند دستکاری. همچنین، هر چند آزمایش بدون شک مفید برای هدایت سیاست، هدایت دقیق آنها می تواند ارائه دهد تا حدودی محدود به دلیل عوارضی مانند وابستگی محیط زیست، مشکلات انطباق، و اثرات تعادل است (Banerjee and Duflo 2009; Deaton 2010) . در نهایت، آزمایشات مزرعه دیجیتال بزرگ کردن نگرانی های اخلاقی ایجاد شده توسط آزمایشات مزرعه. طرفداران آزمایشات مزرعه در بوق و کرنا توانایی خود را برای اقدام را در خفا و به طور تصادفی به تصمیمات مهم ساخته شده توسط میلیون ها نفر از مردم دخالت کند. این ویژگی ارائه مزایای علمی خاص، اما آنها همچنین می توانند آزمایشات مزرعه اخلاقی پیچیده را (فکر می کنم در مورد آن را به عنوان محققان با مردم مثل "موش های آزمایشگاهی" در یک مقیاس گسترده). علاوه بر این، علاوه بر مضرات ممکن است به شرکت کنندگان، آزمایش حوزه های دیجیتال، به دلیل اندازه آنها، همچنین می توانید نگرانی ها در مورد اختلال در کار سیستم های اجتماعی را افزایش (به عنوان مثال، نگرانی در مورد اخلال در سیستم پاداش ویکیپدیا اگر Restivo و ون der Rijt بیش از حد بسیاری barnstars داد) .