2.4.3 آزمایش تقریب
ما می توانیم آزمایش های تقریبی را انجام دهیم که نمی توانیم یا نمی توانیم انجام دهیم. دو رویکرد که به ویژه از منابع داده بزرگ بهره مند می شوند، آزمایش های طبیعی و تطبیق هستند.
بعضی از مسائل مهم علمی و سیاستی علتی هستند. برای مثال، تأثیر یک برنامه آموزش شغلی بر دستمزد چیست؟ یک پژوهشگر تلاش می کند تا به این سوال پاسخ دهد، می تواند درآمد افرادی را که برای آموزش به کسانی که نمی دانند، مقایسه کنند. اما چه مقدار از هر گونه تفاوت در دستمزدها بین این گروه ها به خاطر آموزش است و چقدر به دلیل اختلافات پیشین بین افرادی که ثبت نام می کنند و چه کسانی نیستند، چقدر است؟ این یک سوال دشوار است و این یکی است که به طور خودکار با داده های بیشتر از بین نمی رود. به عبارت دیگر، نگرانی در مورد اختلافات پیش از آن، بدون توجه به تعداد کارکنان در اطلاعات شما، ناشی می شود.
در بسیاری از موارد، قویترین روش برای برآورد اثر علمی برخی از درمانها، مانند آموزش شغلی، این است که یک آزمایش تصادفی کنترل شده را اجرا کنید که در آن یک محقق به طور تصادفی درمان را به برخی افراد ارائه می دهد و نه دیگران. من فصل 4 را به آزمایشات اختصاص می دهم، بنابراین در اینجا من قصد دارم بر دو استراتژی تمرکز کنم که می تواند با داده های غیر تجربی مورد استفاده قرار گیرد. استراتژی اول بستگی به دنبال چیزی است که در جهان اتفاق می افتد که به طور تصادفی (یا تقریبا تصادفی) درمان را به برخی افراد اختصاص می دهد و نه دیگران. استراتژی دوم بستگی به آمار آماری تنظیم داده های غیر تجربی را در تلاش برای حساب برای تفاوت های قبل از آن که کسانی که انجام و درمان دریافت نیست.
یک شک و تردید ممکن است ادعا کند که هر دو از این استراتژی ها باید اجتناب شود، زیرا آنها نیاز به فرضیه های قوی، فرض هایی دارند که برای ارزیابی دشوار است و در عمل اغلب نقض می شوند. در حالی که من نسبت به این ادعای دلسوزانه هستم، فکر می کنم این موضوع کمی بیش از حد است. قطعا درست است که برآورد علی از داده های غیر تجربی قابل اعتماد نیست، اما من فکر نمی کنم این بدان معنا باشد که ما هرگز نباید سعی کنیم. به طور خاص، روش های غیر تجربی ممکن است مفید باشد اگر محدودیت تدارکاتی مانع از انجام آزمایش شما شود یا اگر محدودیت های اخلاقی به این معنی نیست که شما نمی خواهید یک آزمایش انجام دهید. علاوه بر این، اگر میخواهید از دادههای موجود در حال حاضر برای طراحی یک آزمایش تصادفی کنترل شده استفاده کنید، روشهای غیر تجربی میتواند مفید باشد.
قبل از ادامه، لازم به ذکر است که تخمین های علمی یکی از موضوعات پیچیده در تحقیقات اجتماعی است و یکی از آن ها می تواند منجر به بحث های شدید و عاطفی شود. در ادامه، من توضیحی خوش بینانه از هر رویکرد برای ایجاد شهود در مورد آن ارائه خواهم کرد، سپس برخی از چالش هایی را که هنگام استفاده از این رویکرد بوجود می آورند، شرح خواهم داد. جزئیات بیشتر در مورد هر روش در مواد در پایان این فصل موجود است. اگر شما قصد استفاده از هر یک از این روش ها را در تحقیقات خود دارید، من به شدت توصیه می کنم یکی از کتاب های بسیار عالی در مورد نتیجه گیری علمی (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .
یک رویکرد به برآورد علی از داده های غير آزمایشی، این است که دنبال رویدادی بگردیم که به طور تصادفی یک درمان را به برخی افراد اختصاص داده و نه به دیگران. این شرایط آزمایشی طبیعی است . یکی از واضح ترین نمونه هایی از آزمایش طبیعی، از تحقیق ژوژوا آنگرشت (1990) سنجش تأثیر خدمات نظامی بر درآمد حاصل می شود. در طول جنگ در ویتنام، ایالات متحده از طریق پیش نویس، حجم نیروهای مسلح خود را افزایش داد. دولت تصمیم گرفت که شهروندان را به خدمت بگیرد، دولت آمریکا قرعه کشی کرد. هر تاریخ تولد بر روی یک تکه کاغذ نوشته شده است و، همانطور که در شکل 2.7 نشان داده شده است، این تکه های کاغذ در یک زمان انتخاب شده اند تا تعیین شود که در آن مردان جوان به خدمت می گیرند (زنان جوان موضوع به پیش نویس) بر اساس نتایج، مردانی که در 14 سپتامبر متولد شده بودند اولین بار نامیده می شدند، مردانی که در 24 آوریل متولد شده بودند دومین نامیده می شدند و غیره. در نهایت، در این قرعه کشی، مردان در 195 روز مختلف متولد شده بودند، در حالی که مردان در 171 روزگی متولد نشده بودند.
شکل 2.7: اسکندر Pirnie کنگره (R-NY) اولین کپسول برای پیش نویس خدمات انتخابی را در تاریخ 1 دسامبر 1969 طراحی کرد. جوشوا انگرشت (1990) پیش نویس قرعه کشی را با داده های درآمد از اداره تامین اجتماعی برای تخمین تأثیر خدمات نظامی ترکیب کرد بر درآمد این یک نمونه از تحقیق با استفاده از آزمایش طبیعی است. منبع: سرویس انتخابی ایالات متحده (1969) / ویکیمدیا .
اگرچه ممکن است بلافاصله آشکار شود، پیش نویس قرعه کشی شباهت بحرانی به یک آزمایش تصادفی کنترل شده دارد: در هر دو حالت، شرکت کنندگان به طور تصادفی برای دریافت درمان اختصاص داده می شوند. به منظور بررسی تأثیر این درمان تصادفی، Angrist از سیستم همیشه با داده های بزرگ استفاده کرد: اداره تامین اجتماعی ایالات متحده، که اطلاعاتی را برای تقریبا درآمد هر آمریکایی از استخدام جمع آوری می کند. با ترکیب اطلاعاتی که به طور تصادفی در پیش نویس قرعه کشی با اطلاعات درآمد جمع آوری شده در پرونده های اداری دولتی جمع آوری شد، Angst نتیجه گرفت که درآمد جانبازان حدود 15 درصد کمتر از درآمد قابل مقایسه با غیر جانبازان است.
همانطور که در این مثال نشان داده شده است، گاهی اوقات نیروهای اجتماعی، سیاسی و یا طبیعت درمان را به گونه ای قرار می دهند که می توانند توسط محققان مورد استفاده قرار گیرند و گاهی اثرات این درمان ها در همیشه با منابع داده های بزرگ به دست می آید. این استراتژی تحقیق را می توان به صورت زیر خلاصه کرد: \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]
برای نشان دادن این استراتژی در عصر دیجیتال، بیایید مطالعه ای از الکساندر ماس و انریکو مورتتی (2009) که سعی می کنیم اثر کار با همکاران مولد بر بهره وری کارگر را ارزیابی کنیم، بررسی کنیم. قبل از دیدن نتایج، لازم به ذکر است که انتظارات متناقضی وجود دارد که ممکن است داشته باشید. از یک طرف، ممکن است انتظار داشته باشید که کار با همکاران مولد، یک کارگر را برای افزایش بهره وری خود از طریق فشار همکار هدایت کند. یا، از سوی دیگر، ممکن است انتظار داشته باشید که همکارانی که سخت کار می کنند، ممکن است یک کارگر را به اشتباه منتقل کنند، زیرا کار به هر حال توسط همسالانش انجام می شود. واضح ترین راه برای مطالعه اثرات همتایان بر بهره وری، یک آزمایش تصادفی کنترل شده است که در آن کارگران به طور تصادفی به کارگران با سطوح بهره وری مختلف اعطا می شوند و سپس بهره وری حاصل برای هر فرد اندازه گیری می شود. محققان، با این حال، برنامه کارگران در هر کسب و کار واقعی را کنترل نمی کنند و بنابراین مس و مورتتی مجبور بودند به آزمایش طبیعی قصابی در یک سوپرمارکت تکیه کنند.
در این سوپرمارکت خاص، به دلیل راهکارهایی که برنامه ریزی شده و نحوه شبیه سازی همپوشانی انجام شد، هر صندوقدار، هم زمان با هم متفاوت بود. علاوه بر این، در این سوپرمارکت خاص، انتصاب صندوقداران به میزان بهره وری از همسالان خود و یا چگونگی خرید شغل نبود. به عبارت دیگر، حتی اگر برنامه ریزی صندوق ها توسط یک قرعه کشی تعیین نمی شد، به نظر می رسید که کارگران گاهی به طور تصادفی به کار با همسالان بالا (یا کم) کارایی داده می شدند. خوشبختانه، این سوپرمارکت همچنین یک سیستم حسابرسی دیجیتال داشت که مواردی را که هر صندوقدار در تمام زمانها اسکن کرده بود ردیابی کرد. از این اطلاعات Log Check، Mas و Moretti توانستند دقیق، فردی و همیشه اندازه ی بهره وری را ایجاد کنند: تعداد موارد اسکن شده در هر ثانیه. ترکیب این دو چیز - تنوع طبقاتی در بهره وری همکار و همیشه اندازه گیری بهره وری - Mas و Moretti تخمین زده اند که اگر یک صندوقدار به همکاران اختصاص داده شد که 10٪ تولیدی تر از حد متوسط بود، بهره وری او 1.5٪ افزایش می یابد . علاوه بر این، آنها از اندازه و غنی بودن داده های خود برای بررسی دو مسئله مهم استفاده می کردند: ناهمگونی این اثر (برای کدام نوع کارگران بزرگتر است؟) و مکانیسم های پشت اثر (چرا همکارانی با بهره وری بالا منجر به بهره وری بالاتر؟) ما به این دو مسئله مهم بازگشت خواهیم کرد - ناهمگونی اثرات درمان و مکانیسم ها - در فصل 4 زمانی که درباره جزئیات آزمایشات بیشتر صحبت می کنیم.
به طور کلی از این دو مطالعه، جدول 2.3 خلاصه مطالعات دیگری است که دارای ساختار مشابه هستند: استفاده از منبع همیشه در دسترس برای اندازه گیری اثر برخی از تغییرات تصادفی. در عمل، محققان از دو روش مختلف برای پیدا کردن آزمایش های طبیعی استفاده می کنند که هر دو می تواند مفید باشد. برخی از محققان با استفاده از یک منبع داده همیشه در دسترس هستند و رویدادهای تصادفی در جهان را دنبال می کنند؛ دیگران یک رویداد تصادفی در جهان را شروع می کنند و منابع داده ای را که تأثیر آن را می گیرند جستجو می کنند.
| تمرکز اصلی | منبع آزمایش طبیعی | منبع داده همیشه همیشه | ارجاع |
|---|---|---|---|
| اثرات همتراز بر بهره وری | فرآیند برنامه ریزی | اطلاعات پرداخت | Mas and Moretti (2009) |
| شکل گیری دوستی | طوفان ها | فیس بوک | Phan and Airoldi (2015) |
| گسترش احساسات | باران | فیس بوک | Lorenzo Coviello et al. (2014) |
| انتقال اقتصادی همکار به همکار | زمين لرزه | اطلاعات پولی موبایل | Blumenstock, Fafchamps, and Eagle (2011) |
| رفتار مصرف شخصی | 2013 خاموش شدن دولت ایالات متحده | داده های مالی شخصی | Baker and Yannelis (2015) |
| تأثیر اقتصادی سیستم های پیشنهاد دهنده | مختلف | مرور اطلاعات در آمازون | Sharma, Hofman, and Watts (2015) |
| اثر استرس بر نوزادان نوزاد | 2006 اسرائیل - حزب الله جنگ | سوابق تولد | Torche and Shwed (2015) |
| رفتار خواندن در ویکیپدیا | آینه های اسنودن | سیاهههای مربوط به ویکیپدیا | Penney (2016) |
| اثرات همتراز در ورزش | آب و هوا | ردیاب تناسب اندام | Aral and Nicolaides (2017) |
در بحث تا کنون درباره آزمایش های طبیعی، من یک نقطه مهم را نادیده گرفتم: گاه از آنچه طبیعت به آنچه که می خواهید، داده می شود گاهی اوقات کاملا پیچیده است. بیایید به نمونه پیش نویس ویتنام بازگردیم. در این مورد، Angrist علاقه مند به برآورد اثر خدمات نظامی بر درآمد بود. متأسفانه، خدمت نظامی به طور تصادفی تعیین نشد در عوض آن را طراحی کرد که به صورت تصادفی اختصاص داده شد. با این حال، همه کسانی که پیش نویس شده بودند خدمت می کردند (معافیت های گوناگونی وجود داشت)، و همه کسانی که خدمت نکردند، تهیه شده بود (مردم می توانند داوطلب شوند تا خدمت کنند). از آنجایی که طرح پیشنهادی به صورت تصادفی اختصاص داده شد، یک محقق می تواند تأثیر طراحی شده برای همه مردان در پیش نویس را برآورد کند. اما Angst نمی خواست که اثر طراحی را بداند؛ او می خواست تاثیر خدمت در ارتش را بداند. با این حال، برای این برآورد، مفروضات و عوارض اضافی مورد نیاز است. اولا، محققان باید فرض کنند که تنها راه پیش بینی درآمدهای ناشی از خدمت سربازی، فرضیه ای است که به عنوان محدودیت محرومیت نامیده می شود . این فرض می تواند اشتباه باشد اگر، مثلا، افرادی که در مدرسه ماندند، در مدرسه ماندند تا برای جلوگیری از خدمت و یا اگر کارفرمایان کمتر به استخدام مردان که پیش نویس شده بودند، ماندند. به طور کلی، محدودیت محرومیت یک فرض مهم است، و معمولا سخت است که تأیید شود. حتی اگر محدودیت محرومیت درست باشد، تأثیر خدمات در همه مردان نیز غیرممکن است. در عوض، معلوم می شود که محققان تنها می توانند تاثیری را بر یک زیرمجموعه خاص از مردان به نام compliers (مردان که در هنگام تهیه پیش نویس خدمت می کنند، اما نمی توانند در هنگام تهیه پیش نویس خدمت کنند) (Angrist, Imbens, and Rubin 1996) . نرم افزارها، با این حال، جمعیت اصلی مورد علاقه نبودند. توجه داشته باشید که این مشکلات حتی در مورد نسبتا تمیز پیش نویس قرعه کشی نیز بوجود می آیند. مجموعه ای از عوارض بعد از درمان با قرعه کشی فیزیکی به وجود می آید. به عنوان مثال، در مطالعه Mas و Moretti در مورد صندوقداران، سوالات اضافی در مورد این فرض که انتساب همسالان اساسا تصادفی است. اگر این فرض شد شدیدا نقض شود، می تواند برآوردهای خود را متوقف کند. برای نتیجه گیری، آزمایش های طبیعی می تواند یک استراتژی قدرتمند برای برآورد علی از داده های غیر تجربی باشد، و منابع داده بزرگ باعث افزایش توانایی ما در سرمایه گذاری در آزمایش های طبیعی می شوند. با این حال، احتمالا نیاز به مراقبت های بسیار و گاهی اوقات پیش فرض های قوی دارد - از چیزی که طبیعت به برآوردی که می خواهید برسد.
استراتژی دوم که من می خواهم به شما بگویم در مورد ایجاد تخمین های علی از داده های غیر تجربی، بستگی به آمار آماری تنظیم داده های غیر تجربی را در تلاش برای حساب برای تفاوت های پیش از آن بین کسانی که انجام داده اند و درمان دریافت نیست. بسیاری از روشهای تعدیل چنین تعدادی وجود دارد، اما من بر روی یک تطبیق نامگذاری تمرکز خواهم کرد. در تطبیق، محقق از طریق داده های غیر تجربی به نظر می رسد برای ایجاد جفت افرادی که مشابه هستند، به جز اینکه یک درمان دریافت کرده است و یکی نیست. در روند تطبیق، محققان در واقع نیز هرس می شوند ؛ این است که مواردی را رد کنیم که در آن هیچ آشکاری وجود ندارد. بنابراین، این روش دقیق تر به نام تطبیق و هرس می شود، اما من با اصطلاح سنتی چسبیده می شود: تطبیق.
یک مثال از قدرت استراتژی های منطبق با منابع داده های غير تجربی غير آزمايشي، از تحقيق در مورد رفتار مصرف کننده توسط ليران اينوا و همکاران (2015) . آنها به مزایده هایی که در eBay داشتند علاقمند بودند و در توصیف کارشان، من بر تاثیر قیمت شروع حراج در نتایج حراج تمرکز می کنم، مانند قیمت فروش یا احتمال فروش.
ساده ترین راه برای برآورد اثر شروع قیمت در قیمت فروش، صرفا محاسبه قیمت نهایی برای تخفیف با قیمت های مختلف شروع می شود. این رویکرد اگر شما می خواهید پیش بینی قیمت فروش با توجه به قیمت شروع می شود خوب است. اما اگر سوال شما مربوط به تاثیر قیمت شروع شود، این روش کار نخواهد کرد، زیرا براساس مقایسه عادلانه نیست؛ مزایده هایی با قیمت های پایین تر ممکن است کاملا متفاوت از کسانی که قیمت های بالاتر را شروع می کنند (به عنوان مثال ممکن است برای انواع مختلف کالا یا شامل انواع مختلف فروشندگان باشد).
اگر قبلا از مشکلات مشکوک در هنگام برآورد علی از داده های غير آزمایشی آگاهی داشته باشید، ممکن است روش ساده ای را نادیده بگیرید و یک آزمایش درست انجام دهید که در آن شما یک آیتم خاص را می فروشید - یک باشگاه گلف - با یک ثابت مجموعه ای از پارامترهای حراج - می گویند، حمل و نقل رایگان و حراج برای دو هفته باز است، اما با قیمت های به طور تصادفی تعیین قیمت. با مقایسه نتایج حاصل از بازار، این آزمایش میدان، اندازه گیری بسیار دقیقی از تاثیر شروع قیمت در قیمت فروش را ارائه می دهد. اما این اندازه گیری فقط برای یک محصول خاص و مجموعه ای از پارامترهای حراج اعمال می شود. نتایج ممکن است به عنوان مثال برای انواع مختلف محصولات متفاوت باشد. بدون یک نظریه قوی، از این آزمایش تنها به طیف گسترده ای از آزمایش های احتمالی که می توانست اجرا شود، دشوار است. علاوه بر این، آزمایشات زمینه به اندازه کافی گران هستند، زیرا ممکن است هر گونه تغییری را که ممکن است بخواهید امتحان کنید اجرا نکنید.
در مقایسه با روش های ساده و تجربی، ایانو و همکارانش روش سوم را مطرح کردند: تطبیق. ترفند اصلی در استراتژی خود این است که کشف چیزهایی شبیه به آزمایشات میدانی که در eBay اتفاق افتاده است. به عنوان مثال، شکل 2.8 برخی از 31 لیست برای دقیقا همان باشگاه گلف را نشان می دهد. یک Taylormade Burner 09 راننده توسط دقیقا همان فروشنده- "budgetgolfer" فروخته می شود. با این حال، این 31 لیست ویژگی های کمی متفاوت از قبیل شروع متفاوت قیمت، تاریخ پایان، و هزینه حمل و نقل. به عبارت دیگر، به نظر می رسد "budgetgolfer" برای محققان آزمایشی انجام می دهد.
این لیست از Taylormade Burner 09 درایور که توسط "budgetgolfer" فروخته می شود، نمونه ای از مجموعه ای از لیست های هماهنگ است که دقیقا همان مورد توسط همان فروشنده به فروش می رسد، اما هر بار با ویژگی های کمی متفاوت است. در داخل سیاهههای عظیم eBay، صدها هزار مجموعه مجموعه با میلیون ها لیست وجود دارد. بنابراین، به جای مقایسه قیمت نهایی برای همه مزایده ها با یک قیمت شروع شده، Einav و همکارانش در مجموعه های همسان مقایسه کردند. به منظور ترکیب نتایج از مقایسه در این صدها هزار مجموعه مجموعه، Einav و همکاران خود را دوباره قیمت اولیه و قیمت نهایی را از نظر ارزش مرجع هر یک از موارد (به عنوان مثال، قیمت فروش متوسط آن) دوباره بیان کرد. به عنوان مثال، اگر راننده Taylormade Burner 09 دارای ارزش مرجع 100 دلار (بر اساس فروش آن) باشد، قیمت پایه 10 دلار به صورت 0.1 و قیمت نهایی 120 دلار به صورت 1.2 بیان خواهد شد.
شکل 2.8: یک مثال از یک مجموعه همگرا. این دقیقا همان باشگاه گلف است (یک راننده Taylormade Burner 09) که دقیقا همان شخص ("budgetgolfer") فروخته می شود، اما بعضی از این فروش ها تحت شرایط مختلف انجام می شود (به عنوان مثال، قیمت های مختلف شروع). با مجوز از Einav et al. (2015) تولید شده Einav et al. (2015) ، شکل 1b.
به یاد بیاورید که Einav و همکارانش در مورد تاثیر قیمت شروع به نتایج حراج علاقه مند بودند. اولا، آنها از رگرسیون خطی استفاده می کنند تا برآورد کنند که قیمت شروع بالاتر باعث کاهش احتمال فروش می شود و قیمت های بالاتر شروع قیمت نهایی را افزایش می دهد (به شرطی که فروش اتفاق بیفتد). خودشان این برآوردها هستند که رابطه خطی را توصیف می کنند و در کل محصولات را در نظر گرفته می شوند، همه چیز جالب نیستند. سپس، عینو و همکاران از حجم گسترده ای از داده های خود برای ایجاد انواع برآورد های ظریف تر استفاده می کردند. به عنوان مثال، با تخمین اثر به صورت جداگانه برای انواع مختلف قیمت شروع، آنها دریافتند که رابطه بین قیمت شروع و قیمت فروش غیر خطی است (شکل 2.9). به طور خاص، برای شروع قیمت بین 0.05 و 0.85، قیمت شروع تاثیر بسیار کمی بر قیمت فروش دارد، این یافته که توسط اولین تحلیل آن به طور کامل از دست رفته است. علاوه بر این، به جای میانگین در میان تمام موارد، Einav و همکارانش تأثیر شروع قیمت را برای 23 دسته مختلف اقلام (به عنوان مثال، لوازم حیوانات خانگی، الکترونیک و خاطرات ورزشی) برآورد کردند (شکل 2.10). این برآوردها نشان می دهد که برای اقلام متمایز تر مانند قیمت خاطره انگیز قیمت تاثیر کمی در احتمال فروش دارد و تاثیر بیشتری در قیمت فروش نهایی دارد. علاوه بر این، برای کالاهای مورد نظر بیشتر مانند دی وی دی قیمت شروع قیمت تقریبا هیچ تاثیری بر قیمت نهایی ندارد. به عبارت دیگر، میانگین که ترکیبی از 23 دسته بندی مختلف از اقلام است، تفاوت های مهم بین این موارد را پنهان می کند.
شکل 2.9: رابطه بین شروع قیمت حراج و احتمال فروش (a) و قیمت فروش (b). تقریبا یک رابطه خطی بین قیمت شروع و احتمال فروش وجود دارد، اما یک رابطه غیر خطی بین شروع قیمت و قیمت فروش وجود دارد؛ برای شروع قیمت بین 0.05 و 0.85 قیمت شروع تاثیر بسیار کمی بر قیمت فروش دارد. در هر دو مورد، روابط اساسا مستقل از مقدار آیتم است. اقتباس شده از Einav et al. (2015) ، ارقام 4a و 4b.
شکل 2.10: برآورد از هر دسته اقلام؛ نقطه جامد برآورد برای تمام دسته های جمع شده است (Einav et al. 2015) . این برآوردها نشان می دهد که برای اقلام متمایز تر مانند حافظه - قیمت شروع تاثیر کمترتری بر احتمال فروش ( \(x\) -axis) و اثر بیشتر بر قیمت فروش نهایی ( \(y\) -محور). اقتباس شده از Einav et al. (2015) ، شکل 8.
حتی اگر شما به طور خاص در مزایده ها در eBay علاقه مند نباشید، باید تحسین کنید که شکل 2.9 و شکل 2.10 یک درک ثروتمندتر از eBay را از تخمین های ساده ای که رابطه خطی را توصیف می کنند و دسته های مختلفی از موارد را ترکیب می کنند، ارائه می دهد. علاوه بر این، هرچند از لحاظ علمی امکان تولید این برآوردهای ظریفتر را با آزمایشهای میدانی فراهم می کند، هزینه چنین آزمایش هایی را اساسا غیرممکن می سازد.
همانند آزمایش های طبیعی، تعدادی از روش هایی وجود دارد که تطبیق می تواند منجر به تخمین های بد شود. من فکر می کنم بزرگترین نگرانی با برآوردهای تطبیقی این است که آنها می توانند با چیزهایی که در تطبیق مورد استفاده قرار نگرفته اند، منحرف شوند. به عنوان مثال، در نتایج اصلی خود، Einav و همکاران خود را دقیق مطابق با چهار ویژگی انجام دادند: شماره ID فروشنده، رده اقلام، عنوان مورد و زیرنویس. اگر اقلام در روش هایی متفاوت بود که برای تطبیق مورد استفاده قرار نگرفتند، این امر می تواند مقایسهای غیرمنصفانه ایجاد کند. به عنوان مثال، اگر budgetgolfer قیمت زمستان را برای راننده Taylormade Burner 09 در زمستان کاهش دهد (زمانی که باشگاه های گلف کمتر محبوب هستند)، ممکن است به نظر می رسد که قیمت های پایه پایین تر منجر به کاهش قیمت پایینی می شود، در حالی که در واقع این یک مصنوع است تنوع فصلی در تقاضا. یک رویکرد برای رسیدگی به این نگرانی، تلاش بسیاری از انواع تطبیق است. برای مثال Einav و همکاران تحلیل خود را در حالی که تغییر زمان پنجره مورد استفاده برای تطبیق (همگام سازی مجموعه ای شامل اقلام در فروش در یک سال، در یک ماه و همزمان) تکرار شده است. خوشبختانه، نتایج مشابهی برای تمام پنجره های زمان پیدا کردند. نگرانی بیشتر با تطبیق ناشی از تفسیر است. برآوردها از تطبیق تنها برای داده های همسان استفاده می شود آنها به مواردی که نمیتوانند با هم همخوانی نداشته باشند، اعمال نمی شود. به عنوان مثال، با محدود کردن تحقیقات خود به اقلامی که چندین لیست داشتند، Einav و همکارانشان روی فروشندگان حرفه ای و نیمه حرفه ای تمرکز می کنند. بنابراین، هنگام تفسیر این مقایسه ها باید به یاد داشته باشیم که آنها فقط به این زیر مجموعه از eBay اعمال می شوند.
تطبیق یک استراتژی قدرتمند برای یافتن مقادیر منصفانه در داده های غیر تجربی است. برای بسیاری از دانشمندان علوم اجتماعی، تطبیق بهتر از آزمایش دوم است، اما این اعتقاد است که می تواند کمی تغییر کند. تطبیق داده های عظیم ممکن است بهتر از تعداد کمی از آزمایشات زمینه باشد (1) ناهمگونی در اثرات مهم است و (2) متغیرهای مهم مورد نیاز برای تطبیق اندازه گیری شده اند. جدول 2.4 برخی نمونه های دیگر را نشان می دهد که چگونه تطبیق می تواند با منابع داده بزرگ مورد استفاده قرار گیرد.
| تمرکز اصلی | منبع داده بزرگ | ارجاع |
|---|---|---|
| تأثیر تیراندازی در خشونت پلیس | سوابق توقف و فریز | Legewie (2016) |
| تأثیر 11 سپتامبر 2001 بر خانواده ها و همسایگان | رکورد رأی دهی و پرونده های اهدا | Hersh (2013) |
| آلودگی اجتماعی | اطلاعات مربوط به ارتباطات و محصول | Aral, Muchnik, and Sundararajan (2009) |
در نتیجه، برآورد اثرات علی از داده های غیر تجربی دشوار است، اما می توان از روش هایی مانند آزمایش های طبیعی و تنظیمات آماری (به عنوان مثال تطبیق) استفاده کرد. در برخی موارد، این رویکردها می توانند به شدت اشتباه بپردازند، اما هنگامی که به دقت مورد استفاده قرار می گیرند، این رویکردها می تواند مکمل مفید برای رویکرد تجربی است که در فصل 4 توضیح داده شده است. علاوه بر این، این دو رویکرد به نظر می رسد به احتمال زیاد به نفع رشد همیشه، در، سیستم های داده بزرگ.
