Keyin nima deyish kerak

• Kirish (qism 2.1)

Ushbu bobga kiritilmaydigan kuzatuvlardan biri - etnografiya. Raqamli joylarda etnografiya haqida ko'proq ma'lumot olish uchun Boellstorff et al. (2012) , shuningdek, aralash raqamli va jismoniy joylarda etnografiya haqida ko'proq ma'lumot olish uchun, Lane (2016) ga qarang.

• Katta ma'lumot (qism 2.2)

"Katta ma'lumot" ning yagona konsensus ta'rifi yo'q, ammo ko'pgina ta'riflar "3 Japec et al. (2015) " ga qaratilgan ko'rinadi: hajmi, xilma va tezlik (masalan, Japec et al. (2015) ). De Mauro et al. (2015) ta'riflarni ko'rib chiqish uchun.

Hukumat ma'muriy ma'lu- Legewie (2015) yirik ma'lumotli toifaga kiritilishi biroz o'ziga xos emas, ammo ba'zilari, shu jumladan, Legewie (2015) , Connelly et al. (2016) , Einav and Levin (2014) . Tadqiqot uchun hukumat ma'muriy ma'lumotlarining qiymati haqida ko'proq ma'lumot olish uchun qarang: Card et al. (2010) , Adminstrative Data Taskforce (2012) va Grusky, Smeeding, and Snipp (2015) .

Davlat statistika tizimining ma'muriy tadqiqotlari uchun, xususan, AQShning aholini ro'yxatga olish byurosi, Jarmin and O'Hara (2016) ga qarang. Statistika bo'yicha Shvetsiyada ma'muriy yozuvlarni o'rganish uchun kitobni uzoq Wallgren and Wallgren (2007) davolash uchun Wallgren and Wallgren (2007) ga qarang.

Ushbu bobda men umumiy ijtimoiy so'rov (GSS) kabi an'anaviy so'rovnomani Twitter kabi ijtimoiy media axborot manbai bilan solishtirib ko'rdim. An'anaviy tekshiruvlar va ijtimoiy media ma'lumotlari o'rtasida chuqur va ehtiyotkorlik bilan taqqoslash uchun, qarang. Schober et al. (2016) .

• Katta ma'lumotlarning umumiy xususiyatlari (2.3-bo'lim)

Katta ma'lumotlarning bu 10 xarakteristikasi turli xil mualliflarning turli xil usullari bilan tasvirlangan. Ushbu masalalar bo'yicha fikrlashimga ta'sir ko'rsatadigan yozishni Lazer et al. (2009) , Groves (2011) , Howison, Wiggins, and Crowston (2011) , boyd and Crawford (2012) , SJ Taylor (2013) , Mayer-Schönberger and Cukier (2013) , Golder and Macy (2014) , Ruths and Pfeffer (2014) , Tufekci (2014) , Sampson and Small (2015) , K. Lewis (2015b) , Lazer (2015) , Horton and Tambe (2015) , Japec et al. (2015) va Goldstone and Lupyan (2016) .

Ushbu bobda men raqamli izlarni ishlatganman. Bu izlanish nisbatan neytraldir. Raqamli izlari uchun yana bir mashhur muddatli raqamli iz bo'lib (Golder and Macy 2014) , lekin Hal Abelson, Ken Ledeen va Garri Lyuis kabi (2008) ishora yanada tegishli muddatli ehtimol raqamli barmoq izlari bo'ladi. Atrof izlari yaratilganda, siz nimalar yuz berayotganligidan xabardormiz va sizning oyoq izingiz sizni shaxsan kuzatib bera olmaydi. Raqamli izlaringiz uchun xuddi shunday emas. Darhaqiqat, siz juda kam bilimingiz bo'lgan narsalarni izlaysiz. Va bu izlar sizning nomingiz bo'lmasa-da, ular tez-tez siz bilan bog'lanishi mumkin. Boshqacha aytganda, barmoq izlari ko'proq ko'rinadi: ko'rinmas va shaxsan identifikatsiya qilish.

• Katta (bo'lim 2.3.1)

Katta ma'lumotlar to'plamlari statistik testlarni nima uchun muammoli ekanligi haqida ko'proq ma'lumot olish uchun qarang. M. Lin, Lucas, and Shmueli (2013) va McFarland and McFarland (2015) . Ushbu masalalar tadqiqotchilarni statistik ahamiyatga ega emas, balki amaliy ahamiyatga qaratishi kerak.

Raj Chetining va uning hamkasblarining soliq ma'lumotlariga qanday ega bo'lishlari haqida ko'proq ma'lumot olish uchun qarang. Mervis (2014) .

Katta ma'lumotlar majmuasi, odatda, bitta kompyuterning imkoniyatlaridan tashqarida bo'lgan hisoblash muammolarini yaratishi mumkin. Shu bois, katta ma'lumotlar to'plamlari bo'yicha hisob-kitoblarni amalga oshiradigan tadqiqotchilar ko'pincha ishlarni ko'plab kompyuterlarga tarqatishdi, ba'zida parallel dasturlash deb ataladigan jarayon. Parallel dasturlarga kirish uchun, ayniqsa, Hadoop nomli til uchun, Vo and Silvia (2016) ga qarang.

• Har doim yoqilgan (qism 2.3.2)

Doimo ma'lumotni ko'rib chiqayotganda, siz o'sha odamlarni vaqt ichida taqqoslayotganingizni yoki ayrim o'zgaruvchan guruhlarni taqqoslayotganingizni bilib olishingiz kerak. masalan, Diaz et al. (2016) .

• Reaktiv bo'lmagan (qism ¿sek: reaktiv emasmi? )

Reaktiv bo'lmagan usullar bo'yicha klassik kitob Webb et al. (1966) . Ushbu kitobdagi misollar raqamli yoshni oldindan belgilab qo'ygan, ammo ular hali ham yoritib kelmoqda. Ommaviy kuzatuvlar mavjudligi sababli ularning xatti-harakatlarini o'zgartiradigan kishilar uchun qarang. Penney (2016) va Brayne (2014) .

Reaktivlik tadqiqotchilarning talab ta'siri deb atalgan (Orne 1962; Zizzo 2010) va Hawthorne ta'siri (Adair 1984; Levitt and List 2011) bilan chambarchas bog'liq.

• Tugatilmagan (2.3.4-bo'lim)

Yozuvlar haqida ko'proq ma'lumot olish uchun Dunn (1946) va Fellegi and Sunter (1969) (tarixiy) va Larsen and Winkler (2014) (zamonaviy). Shu kabi yondashuvlar, shuningdek, axborotni tekislash, namunalarni identifikatsiya qilish, identifikatsiya qilish, ikki nusxadagi aniqlash va ikki nusxadagi yozuvni aniqlash (Elmagarmid, Ipeirotis, and Verykios 2007) kabi nomlar ostida kompyuter fanida ishlab chiqilgan. Shaxsiy ma'lumotlarni identifikatsiya qilishni talab qilmaydigan yozuvlarni saqlash uchun maxfiylikni saqlovchi yondashuvlar mavjud (Schnell 2013) . Facebook ham o'z yozuvlarini ovoz berish harakatlariga bog'lash uchun jarayonni ishlab chiqdi; bu sizni 4-bobda sizga aytib beradigan tajribani baholash uchun qilingan (Bond et al. 2012; Jones et al. 2013) .

Qurilishning amal qilish muddati haqida ko'proq ma'lumot olish uchun, Shadish, Cook, and Campbell (2001) 3-bo'limiga qarang.

• Qulay bo'lmaydigan (bo'lim 2.3.5)

AOL qidirish jurnali to'sig'ida batafsilroq ma'lumot olish uchun qarang: Ohm (2010) . Eksperimentlarni tavsiflagach, 4-bobda kompaniyalar va hukumatlar bilan hamkorlik qilish bo'yicha maslahat beraman. Bir qator mualliflar tadqiqotlarga Huberman (2012) bo'lmagan tadqiqotlarni olib borish bilan bog'liq xavotirda, Huberman (2012) va boyd and Crawford (2012) .

universitet tadqiqotchilari ma'lumotlar kirish sotib olish uchun bir yaxshi yo'li ordinator yoki ziyorat tadqiqotchi sifatida kompaniyada ishlashni hisoblanadi. ma'lumotlar kirish imkon tashqari, bu jarayon ham tadqiqotchisi ma'lumotlarni tahlil qilish uchun muhim bo'lgan, yaratilgan haqida ko'proq bilib yordam beradi.

Hukumat ma'lumotlariga kirish uchun, Mervis (2014) Raj Cheti va uning hamkasblari ijtimoiy harakatlar bo'yicha tadqiqotlarda foydalanadigan soliq reestrlariga qanday ega bo'lishni muhokama qilmoqda.

• Nominal bo'lmagan (sek: nodavlat)

Konsepsiya sifatida "vakillik vakolati" haqida ko'proq ma'lumot olish uchun Kruskal and Mosteller (1979a) , Kruskal and Mosteller (1979b) , Kruskal and Mosteller (1979c) va Kruskal and Mosteller (1980) .

Qor ishi va Doll va Hill ishlarining qisqacha sharhlari qisqartirildi. Qorning silga qarshi ishi haqida ko'proq ma'lumot olish uchun qarang Freedman (1991) . Angliya doktorlari haqida ko'proq ma'lumot olish uchun qarang. Doll et al. (2004) va Keating (2014) .

Ko'pgina tadqiqotchilar, Doll va Hill ayollar shifokorlari va 35 yoshgacha bo'lgan shifokorlarning ma'lumotlarini to'plashganiga qaramasdan, bu ma'lumotni dastlabki tahlillarida foydalanmaganlar. Ular quyidagilarni ta'kidladilar: "O'ta o'pka saratoni 35 yoshgacha bo'lgan ayollar va erkaklar orasida kamdan-kam uchraganligi sababli, bu guruhlarda bir necha yillar davomida foyda olish mumkin emas. Ushbu dastlabki hisobotda biz 35 yosh va undan yuqoriroq bo'lgan erkaklarga e'tiborimizni Rothman, Gallacher, and Hatch (2013) . " Rothman, Gallacher, and Hatch (2013) ," provokatsion "nima uchun vakolatga ega bo'lish kerak?" qasddan nodavlat bo'lmagan ma'lumotlarni yaratish.

Hech kimga ma'lum emasligi butun aholi haqida gapirishni istagan tadqiqotchilar va hukumatlar uchun katta muammo hisoblanadi. Bu, odatda, foydalanuvchilarga qaratilgan kompaniyalar uchun tashvishlardan kamroq. Gollandiya Niderlandiyadagi biznesning yirik ma'lumotlarini Buelens et al. (2014) masalasini qanday ko'rib chiqishi haqida batafsil ma'lumot olish uchun qarang. Buelens et al. (2014) .

Katta ma'lumot manbalarining nodavlat bo'lmagan xususiyati haqida tashvish bildirgan tadqiqotchilarning misollariga qarang. boyd and Crawford (2012) , K. Lewis (2015b) va Hargittai (2015) .

Ijtimoiy tadqiqotlar va epidemiologik tadqiqotlar maqsadlarini batafsilroq o'rganish uchun Keiding and Louis (2016) ga qarang.

Saylovchilar haqida, xususan, 2009 yilgi Germaniyalik saylovlardan olingan misollardan tashqari, Jungherr (2013) va Jungherr (2015) . Tumasjan et al. (2010) butun dunyodagi tadqiqotchilar Tvitterdagi ma'lumotlar turli xil turdagi saylovlarni prognoz qilish qobiliyatini yaxshilash maqsadida (Gayo-Avello 2013; Jungherr 2015, chap. 7.) . Huberty (2015) saylovlarni bashorat qilishning ushbu urinishlar natijalarini qanday qilib umumlashtirdi:

"Ijtimoiy mediaga asoslangan barcha istiqbolli prognozlar haqiqiy istiqbolli saylovlar prognozi talablariga tobe bo'lganda muvaffaqiyatsiz bo'ldi. Ushbu muvaffaqiyatsizliklar metodik yoki algoritmik qiyinchiliklarni emas, balki ijtimoiy media asosiy xususiyatlaridan kelib chiqadi. Muxtasar qilib aytganda, ijtimoiy medialar elektoratning barqaror, xolis, vakillik suratini taklif qilmaydi va, ehtimol, hech qachon qilmaydi; ijtimoiy axborot vositalarining qulaylik namunalari ushbu muammolarning oldini olish uchun etarli ma'lumotga ega emas ".

3-bobda namuna olish va baholashni batafsilroq tushuntiraman. Ma'lumotlar vakillik qilmasa ham, muayyan sharoitlarda ular yaxshi hisob-kitoblarni ishlab chiqarish uchun talab qilinishi mumkin.

• Drift (chap qism : drifting? )

Driftning tashqi tomondan ko'rish juda qiyin. Biroq, MovieLens loyihasi (4-bobda batafsil muhokama qilingan) ilmiy tadqiqot guruhi tomonidan 15 yildan ko'proq vaqt davomida ishlaydi. Shunday qilib, ular tizimning vaqt mobaynida rivojlanib borishi va bu qanday tahlilga ta'sir qilishi haqidagi ma'lumotni hujjatlashtirish va almashish imkoniyatiga ega bo'ldi (Harper and Konstan 2015) .

Olimlar bir qator Twitter shavq qaratilgan: Liu, Kliman-Silver, and Mislove (2014) va Tufekci (2014) .

Aholi omonligi bilan kurashishning bir yondashuvi tadqiqotchilarga bir vaqtning o'zida bir xil odamlarni o'rganishga imkon beruvchi foydalanuvchilar panelini yaratishdan iborat, Diaz et al. (2016) .

• Algoritmik ravishda shubhalangan (qism ¿sek: algoritmik tarzda sharmanda ? )

Avvalo Jon Kleinberg'in nutqda "algoritmik tarzda sharmanda" degan so'zini eshitdim, ammo afsuski, qachon va qaerda gaplashayotganimni eslay olmayman. Bosamaning terimini birinchi marta Anderson et al. (2015) tanishib chiqadigan saytlar tomonidan ishlatiladigan algoritmlarning tadqiqotchilarning ijtimoiy afzalliklarni o'rganish uchun ushbu veb-saytlardan ma'lumotlarni ishlatish qobiliyatini murakkablashtirishi mumkinligi haqida qiziqarli munozaradir. Ushbu tashvish Anderson et al. (2014) javoban K. Lewis (2015a) tomonidan ko'tarilgan Anderson et al. (2014) .

Facebook-dan tashqari, Twitter foydalanuvchilarni triadik yopilish g'oyasi asosida kuzatib borishlarini tavsiya qiladi; Su, Sharma, and Goel (2016) . Shunday qilib, Twitterdagi uch tomonlama yopilish darajasi triadik yopilishga va odamlarning triadli yopilishiga yordam beradigan ayrim algoritmik tendentsiyaga oid ba'zi bir odamlarning moyilligidir.

Ijroiy jihatdan ko'proq, xususan, ayrim ijtimoiy fan nazariyalari "kameralar emas, balki kameralar" (ya'ni, uni tasvirlashdan ko'ra, dunyoni shakllantiradigan) degan fikrga nisbatan ko'proq narsa uchun - Mackenzie (2008) .

• Nopok (qism 2.3.9)

Hukumat statistika organlari ma'lumotlarni statistik ma'lumotlarni tahrir qilish ma'lumotlarini chaqirishadi. De Waal, Puts, and Daas (2014) tadqiqot ma'lumotlari uchun ishlab chiqilgan statistik ma'lumotlarni tahrirlash usullarini ta'riflaydi va katta ma'lumot manbalariga qanchalik mos kelishi mumkinligini o'rganadi va Puts, Daas, and Waal (2015) ko'proq tomoshabin.

Ijtimoiy bots-lar haqida umumiy ma'lumot olish uchun Ferrara et al. (2016) . Twitterdagi spam topishga qaratilgan ba'zi tadqiqotlar uchun Clark et al. (2016) va Chu et al. (2012) . Nihoyat, Subrahmanian et al. (2016) Twitterdagi Botlarni aniqlash uchun yondashuvlarni taqqoslash uchun mo'ljallangan DARPA Twitter Bot Challenge-ning natijalarini tasvirlaydi.

• Nozik (bo'lim 2.3.10)

Ohm (2015) nozik axborot g'oyasi bo'yicha ilgari o'tkazilgan tadqiqotlarni ko'rib chiqadi va ko'p faktoringli testni taqdim etadi. U taklif qilayotgan to'rtta omil - bu zararning kattaligi, zarar ehtimoli, maxfiy munosabatlar mavjudligi va bu xavf katta muammolarni aks ettiradimi.

• Vositalarni hisoblash (2.4.1-bo'lim)

Farberning Nyu-Yorkdagi taksilarini o'rganish, Camerer et al. (1997) uchta turli qulaylik namunalari qog'oz safarlari jadvallarini ishlatgan. Avvalgi tadqiqotlar shuni ko'rsatdiki, haydovchilarga maqsadli ishchilar sifatida qarashgan: ular ish haqining yuqoriligi kunlarda kamroq ishlaganlar.

Keyingi ishda King va hamkasblari Xitoyda onlayn tsenzurani (King, Pan, and Roberts 2014, [@king_how_2016] ) . Xitoyda onlayn tsenzurani o'lchashga bog'liq yondashuv uchun qarang. Bamman, O'Connor, and Smith (2012) . King, Pan, and Roberts (2013) 11 million xabarni baholash uchun ishlatiladigan statistik uslublar haqida ko'proq ma'lumot olish uchun qarang: Hopkins and King (2010) . Boshqariladigan o'rganish haqida ko'proq ma'lumot olish uchun James et al. (2013) (kam texnika) va Hastie, Tibshirani, and Friedman (2009) (texnik jihatdan ko'proq).

• Prognozlash va hozirgi vaqtda (2.4.2-bo'lim)

Prognozlash sanoat ma'lumotlarining katta qismidir (Mayer-Schönberger and Cukier 2013; Provost and Fawcett 2013) . Ko'pincha ijtimoiy tadqiqotchilar tomonidan amalga oshiriladigan prognozlardan biri demografik prognozlash; masalan, Raftery et al. (2012) .

Google Grippi tendentsiyalari hozirgi kunga kelib gripp tarqalishiga qarshi qidiruv ma'lumotlaridan foydalanishning birinchi loyihasi emas edi. Aslida Amerika Qo'shma Shtatlaridagi tadqiqotchilar (Polgreen et al. 2008; Ginsberg et al. 2009) va Shvetsiya (Hulth, Rydevik, and Linde 2009) ma'lum qidirish sharoitlari (masalan, "gripp") milliy sog'liqni saqlash nazorati Ma'lumotlar chiqarilishidan oldin. Keyinchalik ko'plab boshqa loyihalar kasallik kuzatuvlarini aniqlash uchun raqamli iz ma'lumotlaridan foydalanishga harakat qildilar; qarang Althouse et al. (2015) ko'rib chiqiladi.

Sog'liqni saqlash natijalarini prognoz qilish uchun raqamli iz ma'lumotlarni ishlatishdan tashqari, saylov natijalarini prognoz qilish uchun Twitterdagi ma'lumotlarni ishlatish ham katta hajmga ega bo'ldi; Gayo-Avello (2011) , Gayo-Avello (2013) , Jungherr (2015) (7-bob) va Huberty (2015) . Yalpi ichki mahsulot (Yalpi ichki mahsulot) kabi iqtisodiy ko'rsatkichlar hozirgi paytda Markaziy banklarda ham keng tarqalgan, qarang. Bańbura et al. (2013) . 2.8-jadvalda dunyodagi qandaydir hodisalarni taxmin qilish uchun qandaydir raqamli izdan foydalanadigan bir necha misol mavjud.

Nihoyat, Jon Kleinberg va uning hamkasblari (2015) prognozlash muammolari ikkiga bo'linib, turli xil toifalarga bo'linib ketganini va ijtimoiy olimlar boshqalarga e'tibor berishni va boshqasini e'tibordan chetda qoldirishni ta'kidladilar. Bir siyosatchini tasavvur qiling, uni qurg'oqchilikka duch kelgan Anna deb chaqiraman va yomg'ir ehtimolini oshirish uchun yomg'ir raqsini qilish uchun shamanni ishga olish-olmaslikni hal qilish kerak. Boshqa bir siyosat ishlab chiqaruvchisi, uning Betti deb nomlayman, uyga yo'l olishdan saqlanish uchun ishlaydigan soyabonni tanlash kerakmi? Anna va Betti ham ob-havoni tushunsalar yaxshi qaror qabul qilishlari mumkin, ammo ular turli narsalarni bilishlari kerak. Anna yomg'ir raqsining yomg'ir yog'ayotganini bilishi kerak. Boshqa tomondan, Betti nedensellik haqida biror narsa tushunishning hojati yo'q; u faqat to'g'ri prognozga muhtoj. Ijtimoiy tadqiqotchilar odatda Anna duch keladigan muammoga qaratmoqdalar - bu Kleinberg va uning hamkasblari "yomg'ir kabi raqsga o'xshash" siyosatdagi muammolarni keltirib chiqarmoqda, chunki ular sabablarga bog'liq masalalarni o'z ichiga oladi. Ktyinberg va uning hamkasblari "soyabon kabi" siyosiy muammolar deb nomlangan Betti bilan yuzma-yuz keladigan muammolar juda muhim bo'lishi mumkin, ammo ijtimoiy tadqiqotchilarning e'tiborini ozaytirishi mumkin.

• Taxminan tajribalar (2.4.3-bo'lim)

PS Political Science jurnali katta ma'lumotlar, natija chiqargan natijalar va rasmiy nazariya bo'yicha simpozium o'tkazdi va Clark and Golder (2015) har bir hissa qo'shib qo'ydi. Amerika Qo'shma Shtatlarining Milliy Fanlar Akademiyasining jurnali, natija chiqishlari va katta ma'lumotlarga oid simpoziumga ega bo'lib, Shiffrin (2016) har bir hissa qo'shib qo'ydi. Katta ma'lumot manbalaridan tabiiy eksperimentlarni avtomatik ravishda aniqlashga urinadigan kompyuterni o'rganish yondashuvlari uchun Jensen et al. (2008) , Sharma, Hofman, and Watts (2015) va Sharma, Hofman, and Watts (2016) .

Tabiiy tajribalar bo'yicha Dunning (2012) ko'pgina misollar bilan tanishtiruvchi, kitob-uzunlikdagi davolashni taqdim etadi. Tabiiy tajribalarni shubha ostiga olish uchun Rosenzweig and Wolpin (2000) (iqtisod) yoki Sekhon and Titiunik (2012) (siyosiy fan) ga qarang. Deaton (2010) va Heckman and Urzúa (2010) tabiiy eksperimentlarga e'tibor qaratish tadqiqotchilarga muhim ahamiyatga ega bo'lmagan natija ta'sirini baholashga qaratilishi mumkinligini ta'kidlaydi; Imbens (2010) bu argumentlarni tabiiy eksperimentlarning qiymatini yanada optimistik nuqtai nazardan hisoblaydi.

Tadqiqotchining xizmatga ta'siri ta'sirini baholashda qanday ta'sir qilishini tushuntirayotib, men instrumental o'zgaruvchilar deb nomlangan uslubni ta'riflay boshladim. Imbens and Rubin (2015) , ularning 23 va 24-boblarida kirishni taqdim etadi va lotereya loyihasini namuna sifatida ishlatadi. Harbiy xizmatning komponentlarga ta'siri, ba'zida o'rtacha o'rtacha natija effekti (CAcE) va ba'zan mahalliy o'rtacha davolash effekti (LATE) deb ataladi. Sovey and Green (2011) , Angrist and Krueger (2001) va Bollen (2012) siyosiy fanlar, iqtisodiyot va sotsiologiyada instrumental o'zgaruvchanlarni qo'llash bo'yicha sharhlar bilan, va Sovey and Green (2011) esa " instrumental o'zgaruvchilar yordamida tadqiqotlar o'tkazish.

1970 yildagi lotereya lotereyasi aslida to'g'ri tasodifiy bo'lmagan; sof tasodifiylikdan kichik farqlar mavjud edi (Fienberg 1971) . Berinsky and Chatfield (2015) bu kichik shovqin muhim ahamiyatga ega emasligini va to'g'ri o'tkaziladigan randomizatsiyaning ahamiyatini muhokama qilishni ta'kidlaydi.

Uyg'unlik nuqtai nazaridan, Stuart (2010) optimistik sharh uchun va Sekhon (2009) ni pessimistik tahlil qilish uchun qarang. Azizillo turiga o'xshashlik haqida ko'proq ma'lumot olish uchun qarang. Ho et al. (2007) . Har bir inson uchun birgina mukammal o'yinni topish odatda murakkabdir va bu murakkabliklarni keltirib chiqaradi. Birinchidan, aniq natijalar mavjud bo'lmaganda, tadqiqotchilar ikki birlik orasidagi masofani qanday o'lchash kerakligini va agar berilgan masofa etarlicha yaqin bo'lsa, qaror qabul qilishlari kerak. Tadqiqotchilar davolanish guruhida har bir holat uchun bir nechta o'yinlardan foydalanishni istashsa, ikkinchi bir murakkablik paydo bo'ladi, chunki bu aniqroq kiritish mumkin. Ushbu masalalarning ikkalasi ham va boshqalar Imbens and Rubin (2015) 18-bobida batafsil tavsiflanadi. Shuningdek, II-qism qarang ( ??? ) .

Dehejia and Wahba (1999) usullar randomizatsiyalangan nazorat ostida bo'lgan tajribalarga o'xshash bashoratlarni ishlab chiqarishga qodir bo'lgan misol uchun Dehejia and Wahba (1999) ga qarang. Biroq, mos keluvchi usullar eksperimental mezonni qayta Arceneaux, Gerber, and Green (2010) misollar uchun Arceneaux, Gerber, and Green (2006) va Arceneaux, Gerber, and Green (2010) .

Rosenbaum (2015) va Hernán and Robins (2016) katta ma'lumot manbalarida foydali taqqoslashlarni kashf qilish uchun boshqa tavsiyalar taklif qiladi.