4.3 دو بعد از آزمایش: آزمایشگاه میدان و آنالوگ به دیجیتال

آزمایشگاه ارائه کنترل، آزمایشات مزرعه ارائه رئالیسم، و مزرعه دیجیتال ترکیب کنترل و واقع گرایی در مقیاس.

آزمایشات در اشکال و اندازه های مختلف صورت می گیرد. در گذشته، محققان این امر را مفید برای سازماندهی آزمایشات در امتداد یک پیوستار بین آزمایشات آزمایشگاهی و آزمایشات میدانی . در حال حاضر، با این حال، محققان همچنین باید آزمایشات را در امتداد یک دنباله دوم بین آزمایش های آنالوگ و آزمایش های دیجیتال انجام دهند . این فضای طراحی دو بعدی کمک می کند تا نقاط قوت و ضعف رویکردهای مختلف را درک کنید و زمینه های بزرگترین فرصت را برجسته کنید (شکل 4.1).

شکل 4.1: طرح برداری فضای طراحی برای آزمایش. در گذشته، آزمایشات در امتداد ابعاد آزمایشگاهی تغییر یافتند. در حال حاضر، آنها نیز بر روی ابعاد آنالوگ دیجیتال متفاوتند. این فضای طراحی دو بعدی با چهار آزمایش که من در این فصل توصیف می شود، نشان داده شده است. به نظر من، منطقه بزرگترین فرصت آزمایشات دیجیتالی است.

یک بعد که آزمایشات می تواند سازماندهی شود، ابعاد آزمایشگاهی است. بسیاری از آزمایشات در علوم اجتماعی آزمایشات آزمایشگاهی است که دانشجویان کارشناسی انجام کارهای عجیب و غریب را در یک آزمایشگاه برای اعتبار درسی انجام می دهند. این نوع آزمایش بر تحقیقات در روانشناسی غلبه دارد، زیرا محققان را قادر می سازد تا تنظیمات بسیار کنترل شده ای را برای دقیق جداسازی و تست نظریه های خاص در مورد رفتار اجتماعی ایجاد کنند. با این حال، برای برخی از مشکلات، چیزی کمی عجیب و غریب در مورد نتیجه گیری های جدی در مورد رفتار انسان از سوی افراد غیر معمول انجام چنین کاری غیر معمول در چنین محیط غیر معمول است. این نگرانی ها منجر به حرکت به سمت آزمایشات میدانی شده است . آزمایش های زمینه ترکیب طراحی قوی طراحی آزمایش های تصادفی با گروه های نماینده بیشتر شرکت کنندگان را انجام وظایف شایع تر در تنظیمات طبیعی تر.

اگر چه بعضی از افراد به آزمایشات آزمایشگاهی و آزمایشگاهی به عنوان روش های رقابتی فکر می کنند، بهتر است که آنها را به عنوان مکمل، با نقاط قوت و ضعف مختلف، تفکر کنید. برای مثال، Correll, Benard, and Paik (2007) هر آزمایش آزمایشگاهی و یک آزمایش میدانی را در تلاش برای پیدا کردن منابع "مجازات مادران" از آزمایش استفاده کردند. در ایالات متحده، مادران پول کمتر از زنان بدون فرزند کسب می کنند، حتی زمانی که مقایسه زنان با مهارت های مشابه در مشاغل مشابه. توضیحات بسیاری برای این الگو وجود دارد، یکی از اینها آن است که کارفرمایان نسبت به مادران بی اعتبار هستند. (جالب توجه است که به نظر می رسد که مخالف برای پدران درست است: آنها تمایل به کسب بیش از مردان بی نظیر قابل مقایسه دارند.) برای ارزیابی تعصب احتمالی در برابر مادران، کورل و همکاران دو آزمایش را انجام دادند: یکی در آزمایشگاه و دیگری در زمینه.

اولا، در یک آزمایش آزمایشگاهی، آنها به شرکت کنندگان گفتند، که دانشجویان کالج بودند، یک شرکت یک جستجوی شغلی را برای فردی انجام داد که بخش جدید بازاریابی شرق ساحلی را رهبری می کرد. دانش آموزان گفته شد که این شرکت کمک های خود را در روند استخدام خواستار شد و از آنها خواسته شد تا خلاصه ای از چندین نامزد بالقوه را بازبینی کنند و نامزدان را در ابعاد مختلف مانند هوش، گرما و تعهد به کار ارزیابی کنند. علاوه بر این، دانش آموزان خواسته می شود که آیا آنها توصیه می کنند استخدام متقاضی و آنچه را که به عنوان حقوق اولیه شروع می کنند توصیه کنند. با این حال، بدون توجه به دانش آموزان، رزومه ها به طور خاص ساخته شده اند به شبیه به جز یک چیز: برخی از آنها نشان می دهد مادران (با فهرست مشارکت در یک انجمن پدر و مادر معلم) و برخی آن را ندارد. کورل و همکارانش دریافتند که شاگردان کمتر توصیه می کنند استخدام مادران را ارائه دهند و آنها حقوق و دستمزد کمتری را ارائه می دهند. علاوه بر این، از طریق تجزیه و تحلیل آماری هر دو از رتبه بندی و تصمیم گیری مربوط به استخدام، Correll و همکارانش دریافتند که معایب مادران عمدتا به این دلیل است که آنها از لحاظ صلاحیت و تعهد پایین ترند. بنابراین، آزمایش این آزمایشگاه Correll و همکارانش را قادر به اندازه گیری یک اثر علی و ارائه یک توضیح احتمالی برای این اثر.

البته، ممکن است در مورد نتیجه گیری در مورد کل بازار کار ایالات متحده بر اساس تصمیمات چند صد دانشجوی کارشناسی که احتمالا هرگز به طور کامل کار نکرده اند، ممکن است نگران کننده باشد. بنابراین، کورل و همکارانش آزمایش آزمایش مکمل را انجام دادند. آنها به صدها فرصت شغلی تبلیغاتی با نامه های کتبی جعلی و رزومه پاسخ دادند. همانند مواد نشان داده شده به دانشجویان کارشناسی، برخی از رزومه ها مادر بودن را نشان می دهند و بعضی از آنها نمی دانند. کورل و همکارانش دریافتند که مادران کمتر از زنان بی خانمان واجد شرایط برای مصاحبه دعوت شده اند. به عبارت دیگر، کارفرمایان واقعی که تصمیمات مربوطه را در یک محیط طبیعی انجام می دهند بسیار شبیه کارشناسی کارشناسی است. آیا به همین دلیل تصمیم گرفتند؟ متاسفانه، ما نمی دانیم محققان نتوانستند از کارفرمایان درخواست کنند که نامزدها را ارزیابی کنند یا تصمیمات خود را توضیح دهند.

این جفت آزمایش ها به طور کلی در مورد آزمایشات آزمایشگاهی و آزمایشگاهی نشان می دهد. آزمایشات آزمایشگاهی محققان را در کنترل کامل محیطی که شرکت کنندگان در حال تصمیم گیری هستند، ارائه می دهند. بنابراین، برای مثال، در آزمایش آزمایشگاه، کورل و همکاران توانستند اطمینان حاصل کنند که تمام رزومه ها در محیط آرام خوانده شده اند؛ در آزمایش میدان، برخی از رزومه ها حتی ممکن است خوانده نشوند. علاوه بر این، چون شرکت کنندگان در آزمایشگاه می دانند که در حال مطالعه هستند، محققان اغلب قادر به جمع آوری داده های اضافی هستند که می توانند به توضیح اینکه چرا شرکت کنندگان تصمیم گیری می کنند، کمک می کند. برای مثال، کورل و همکاران از شرکتکنندگان در آزمایشگاه خواستهاند که نامزدان را در ابعاد مختلف ارزیابی کنند. این نوع داده های فرایند می تواند به محققان درک مکانیسم های مختلف در مورد نحوه شرکت در آزمون های رزومه را درک کند.

از سوی دیگر، این ویژگیهای دقیق همان چیزی که من فقط به عنوان مزایا توضیح دادم، بعضی اوقات معایبی نیز هستند. محققانی که آزمایش های میدانی را ترجیح می دهند، استدلال می کنند که شرکت کنندگان در آزمایش آزمایشگاه می توانند کاملا متفاوت عمل کنند زیرا می دانند که در حال مطالعه هستند. به عنوان مثال، در آزمایش آزمایشگاه، ممکن است شرکت کنندگان هدف تحقیق را حدس زده و رفتار خود را تغییر داده و به نظر برسند. علاوه بر این، محققانی که آزمایش های مزبور را ترجیح می دهند، ممکن است استدلال کنند که تفاوت های کوچک در رزومه ها تنها می تواند در یک محیط آزمایشگاهی بسیار تمیز و استریل برجسته باشد و بنابراین آزمایش آزمایشگاهی تاثیر مادر بودن را در تصمیم گیری های واقعی استخدام بیش از حد خواهد داشت. در نهایت، بسیاری از طرفداران آزمایشات میدانی اعتقادات آزمایشی آزمایشگاه را نسبت به شرکت کنندگان WEIRD: اغلب دانش آموزان کشورهای غربی، تحصیل کرده، صنعتی، غنی و دموکراتیک (Henrich, Heine, and Norenzayan 2010a) . آزمایشات Correll و همکارانش (2007) نشان می دهد که دو حد و مرز در محیط آزمایشگاهی وجود دارد. در بین این دو افراط، انواع مختلفی از طرح های هیبریدی وجود دارد، از جمله روش هایی مانند عدم حضور دانشجویان به یک آزمایشگاه یا رفتن به مزرعه، اما همچنان مشارکتکنندگان انجام یک کار غیر معمول.

عصر دیجیتال علاوه بر ابعاد آزمایشگاهی که در گذشته وجود داشته است، به این معنی است که محققان در حال حاضر دارای ابعاد دیگری هستند که در آن آزمایشات میتوانند متفاوت باشند: analog-digital. همانطور که آزمایشات آزمایشگاهی خالص وجود دارد، آزمایشات خالص میدان و انواع مختلفی از هیبرید ها در بین آزمایشات آنالوگ خالص، آزمایشات دیجیتالی خالص و انواع hybrids وجود دارد. تعریف رسمی این ابعاد پیچیده است، اما یک تعریف کار مفید این است که آزمایشات کاملا دیجیتالی آزمایشهایی هستند که از زیرساختهای دیجیتال برای استخدام شرکت کنندگان، تصادفی، ارائه درمانها و سنجش نتایج استفاده میکنند. به عنوان مثال، تحقیقات Restivo و Van de Rijt (2012) از barnstars و ویکی پدیا یک آزمایش کاملا دیجیتالی بود زیرا سیستم های دیجیتالی برای هر چهار مرحله از این استفاده می کردند. به همین ترتیب، آزمایشات کاملا آنالوگ از زیرساخت دیجیتال برای هر یک از این چهار مرحله استفاده نمی کنند. بسیاری از آزمایشات کلاسیک در روانشناسی آزمایشات کاملا آنالوگ هستند. در میان این دو افراطی، آزمایشهای دیجیتالی تقریبا یکسان است که از ترکیبی از سیستم های آنالوگ و دیجیتال استفاده می کنند.

وقتی برخی از آزمایشات دیجیتال فکر می کنند، بلافاصله به آزمایش های آنلاین فکر می کنند. این تاسف است زیرا فرصت های انجام آزمایش های دیجیتال فقط آنلاین نیست. محققان می توانند با استفاده از دستگاه های دیجیتال در دنیای فیزیکی به آزمایشات دیجیتالی بپردازند تا بتوانند درمان یا نتایج را اندازه گیری کنند. به عنوان مثال، محققان می توانند از گوشی های هوشمند برای ارائه درمان یا حسگر در محیط ساخته شده برای اندازه گیری نتایج استفاده کنند. در واقع، همانطور که بعدا در این فصل خواهیم دید، محققان قبلا از متر برق خانگی برای اندازه گیری نتایج در آزمایشات مربوط به مصرف انرژی 8.5 میلیون خانوار استفاده کرده اند (Allcott 2015) . همانطور که دستگاه های دیجیتال به طور فزاینده ای در زندگی مردم ادغام شده و حسگرها به محیط ساخته شده تبدیل می شوند، این فرصت برای انجام آزمایش های دیجیتالی جزئی در جهان فیزیکی به طور چشمگیری افزایش می یابد. به عبارت دیگر، آزمایش های دیجیتال فقط آزمایش های آنلاین نیست.

سیستم های دیجیتال فرصت های جدیدی برای آزمایش در همه جا در امتداد خط لوله آزمایشگاهی ایجاد می کنند. برای مثال، آزمایشات آزمایشگاهی خالص، محققان می توانند از سیستم های دیجیتال برای اندازه گیری دقیق رفتار شرکت کنندگان استفاده کنند؛ یک نمونه از این نوع اندازه گیری بهبود یافته، تجهیزات چشم انداز است که اندازه گیری های دقیق و دقیق موقعیت مکانی را انجام می دهد. عصر دیجیتال همچنین امکان آزمایش آزمایشی آزمایشگاهی آنلاین را ایجاد می کند. به عنوان مثال، محققان به سرعت شرکت Amazon Mechanical Turk (MTurk) را به استخدام شرکت کنندگان برای آزمایش آنلاین (شکل 4.2) تبدیل کرده اند. MTurk با "کارفرمایان" ملاقات می کند که وظایفی دارند که باید با "کارگران" که می خواهند این وظایف را برای پول انجام دهند باید تکمیل شوند. با این حال، بر خلاف بازار کار سنتی، وظایف مورد نیاز، تنها چند دقیقه طول می کشد تا تکمیل شوند، و کل تعامل بین کارفرمایان و کارگران آنلاین است. از آنجا که MTurk جنبه های آزمایش آزمایشگاه های سنتی را تقلید می کند، مردم برای پرداختن به انجام وظایف که به صورت رایگان انجام نمی دهند، به طور طبیعی برای برخی از آزمایشات مناسب هستند. اساسا، MTurk زیرساخت های لازم برای مدیریت مجموعه ای از مشارکت کنندگان را استخدام و پرداخت می کند و محققان از این زیرساخت ها برای بهره برداری از یک استخر همیشه در دسترس شرکت کنندگان استفاده کرده اند.

شکل 4.2: مقالات منتشر شده با استفاده از داده های Amazon Mechanical Turk (MTurk). MTurk و دیگر بازار کار آنلاین، محققان را به راحتی می توانند شرکت کنندگان را برای آزمایش ها استخدام کنند. اقتباس از Bohannon (2016) .

سیستم های دیجیتال فرصت های بیشتری برای آزمایش های زمینه ای ایجاد می کنند. به طور خاص، آنها محققان را قادر می سازد که داده های کنترل و پردازش دقیق را که با آزمایشات آزمایشگاهی با شرکت کنندگان متنوع تر و تنظیمات طبیعی تر مرتبط با آزمایش آزمایشگاه مرتبط هستند، ترکیب کند. علاوه بر این، آزمایشات زمینه دیجیتال همچنین سه فرصت را ارائه می دهد که در آزمایش های آنالوگ دشوار است.

اول، در حالیکه بیشتر آزمایشات آنالوگ و آزمایشی صدها نفر از شرکت کنندگان، آزمایشات دیجیتالی می تواند میلیون ها شرکت کننده داشته باشد. این تغییر در مقیاس به این دلیل است که برخی از آزمایشات دیجیتال می توانند داده ها را با هزینه صفر متغیر تولید کنند. به این معنا است که هنگامی که محققان یک زیرساخت آزمایشی ایجاد کرده اند، افزایش تعداد شرکت کنندگان معمولا هزینه را افزایش نمی دهد. افزایش تعداد شرکتکنندگان با یک عامل 100 و یا بیشتر، فقط تغییر کمی نیست ؛ این یک تغییر کیفی است ، زیرا محققان را قادر می سازد تا چیزهای مختلفی را از آزمایشات (به عنوان مثال، ناهمگنی اثرات درمان) یاد بگیرند و به طور کاملا متفاوت آزمایش های تجربی (به عنوان مثال، آزمایش های بزرگ گروهی) انجام دهند. این نکته بسیار مهم است، وقتی به توصیه های خود درباره ایجاد آزمایش های دیجیتال پیشنهاد می دهم، به پایان فصل می روم.

دوم، در حالی که بیشتر آزمایشات آزمایشگاهی و آزمایش آنالوگ از شرکت کنندگان به عنوان ویدجت های غیر قابل تشخیص برخورد می کنند، آزمایشات دیجیتالی معمولا از اطلاعات پس زمینه درباره شرکت کنندگان در مراحل طراحی و تجزیه و تحلیل تحقیق استفاده می کنند. این اطلاعات پس زمینه، که به نام اطلاعات پیش درمان شناخته می شود ، اغلب در آزمایش های دیجیتال در دسترس است زیرا آنها در بالای سیستم های همیشه اندازه گیری قرار می گیرند (نگاه کنید به فصل 2). به عنوان مثال، یک محقق در فیس بوک اطلاعات آزمایشگاهی بیشتری نسبت به افرادی که در زمینه آزمایش دیجیتالی خود هستند، بیشتر از یک محقق دانشگاهی در مورد افرادی که در آزمایش آزمایشگاه آنالوگ هستند، بسیار بیشتر است. این پیش درمان، طرح های تجربی کارآمدتری نظیر مسدود کردن (Higgins, Sävje, and Sekhon 2016) و استخدام هدفمند شرکت کنندگان (Eckles, Kizilcec, and Bakshy 2016) و تجزیه و تحلیل دقیق تر مانند ارزیابی ناهمگنی اثرات درمان را قادر می سازد (Athey and Imbens 2016a) و تعدیل متغیر برای بهبود دقت (Bloniarz et al. 2016) .

سوم اینکه در حالی که بسیاری از آزمایشگاه های آزمایشگاهی و آزمایشگاه های آنالوگ، درمان ها را انجام می دهند و نتایج را در یک زمان نسبتا کم فشرده اندازه گیری می کنند، برخی از آزمایشات دیجیتالی در زمان های بسیار طولانی انجام می شود. به عنوان مثال، آزمایشی Restivo و ون د ریج نتیجه را هر روز به مدت 90 روز اندازه گیری کرد، و یکی از آزمایشهایی که بعدا در مورد فصل (Ferraro, Miranda, and Price 2011) انجام خواهم داد، نتایج بیش از سه سال متوالی در ابتدا هیچ هزینه. این سه اندازه فرصت، اطلاعات قبل از درمان، و درمان طولی و داده های نتیجه، بیشتر زمانی اتفاق می افتد که آزمایش ها بر روی سیستم های همیشه اندازه گیری اجرا می شوند (برای اطلاعات بیشتر در مورد سیستم های اندازه گیری همیشه در بخش 2 به فصل 2 مراجعه کنید).

در حالیکه آزمایشات دیجیتال زمینه بسیاری از امکانات را فراهم می کنند، آنها همچنین با برخی از آزمایشات آزمایشگاه آنالوگ و آزمایشگاه آنالوگ، ضعف دارند. به عنوان مثال، آزمایش ها نمی توانند برای مطالعه گذشته استفاده شوند و تنها می توانند اثرات درمان هایی را که می توان آنها را دستکاری کرد، تخمین بزنند. همچنین، اگر چه آزمایشها بدون شک مفید برای هدایت سیاست هستند، راهنمایی دقیق آنها میتواند به دلیل عوارض مانند وابستگی به محیط زیست، مشکلات رعایت و اثرات تعادلی محدود باشد (Banerjee and Duflo 2009; Deaton 2010) . آزمایش های میدان دیجیتال همچنین نگرانی های اخلاقی ایجاد شده توسط آزمایش های زمینه را برجسته می کند - موضوعی که بعدا در این فصل و در فصل 6 به آن خواهم پرداخت.