Növbəti oxumaq nədir

• Giriş (bölmə 2.1)

Bu fəsildə iştirak etməyən bir növ müşahidə etnoqrafiyadır. Rəqəmsal məkanda etnoqrafiya haqqında daha ətraflı məlumat üçün bax: Boellstorff et al. (2012) və qarışıq rəqəmsal və fiziki sahələrdə etnoqrafiya haqqında daha ətraflı məlumat üçün Lane (2016) -a baxın.

• Böyük məlumatlar (bölmə 2.2)

"Böyük məlumatların" bir fikir birliyi yoxdur, ancaq bir çox Japec et al. (2015) "3 Vs": həcmi, müxtəlifliyi və sürətinə (məsələn, Japec et al. (2015) ) Japec et al. (2015) . De Mauro et al. (2015) tərifləri nəzərdən keçirmək üçün.

Hökumətin inzibati məlumatlarının böyük məlumatlar kateqoriyasına daxil edilməsi bir az qeyri-adi olsa da, başqaları da Legewie (2015) , Connelly et al. (2016) və Einav and Levin (2014) . Araşdırmalar üçün hökumət inzibati məlumatlarının dəyəri haqqında daha ətraflı məlumat üçün, bax: Card et al. (2010) , Adminstrative Data Taskforce (2012) və Grusky, Smeeding, and Snipp (2015) .

Hökumətin statistika sisteminin içərisindən inzibati tədqiqat məqsədi ilə, xüsusən ABŞ Census Bürosu, Jarmin and O'Hara (2016) baxın. Statistika İsveçdə aparılan inzibati qaydaların tədqiqatının uzunluğunun müalicəsi üçün, Wallgren and Wallgren (2007) baxın.

Bu fəsildə mən ümumi olaraq Sosial Araşdırmalar (GSS) kimi Twitter kimi ictimai media məlumat mənbəyi ilə ənənəvi araşdırma ilə müqayisə oldum. Ənənəvi araşdırmalar və sosial media məlumatları arasında hərtərəfli və diqqətli bir müqayisə üçün, bax Schober et al. (2016) .

• Böyük məlumatların ümumi xüsusiyyətləri (bölmə 2.3)

Böyük məlumatların bu 10 xüsusiyyəti bir sıra müxtəlif müəlliflər tərəfindən müxtəlif yollarla təsvir edilmişdir. Bu mövzularda düşüncəmə təsir edən yazı Lazer et al. (2009) , Groves (2011) , Howison, Wiggins, and Crowston (2011) , boyd and Crawford (2012) , SJ Taylor (2013) , Mayer-Schönberger and Cukier (2013) , Golder and Macy (2014) , Ruths and Pfeffer (2014) , Tufekci (2014) , Sampson and Small (2015) , K. Lewis (2015b) , Lazer (2015) , Horton and Tambe (2015) , Japec et al. (2015) və Goldstone and Lupyan (2016) .

Bu fəsildə mən rəqəmsal izlərdən istifadə edirəm ki, mən hesab edirəm ki, nisbətən neytraldır. Digital izləri üçün digər məşhur müddət digital footprints var (Golder and Macy 2014) , lakin Hal Abelson, Ken Ledeen, və Harry Lewis kimi (2008) qeyd, daha uyğun müddətli yəqin ki, digital barmaq edir. Ayaq izləri yaratdığınızda, baş verən hadisələrdən xəbərdarsınız və ayaq izləriniz şəxsi olaraq şəxsən izlənə bilməz. Eyni rəqəmsal izləriniz üçün doğrudur. Əslində, çox az bilginiz olan hər zaman izləri buraxırsınız. Və bu izlər sizin adınız olmadıqlarına baxmayaraq, tez-tez geri qayıda bilərlər. Başqa sözlə, onlar barmaq izləri kimi çox görünür: görünməz və şəxsən müəyyən edir.

• Böyük (bölmə 2.3.1)

Nə böyük məlumatlar statistika testlərini problemli hala gətirdikləri haqqında daha ətraflı məlumat üçün M. Lin, Lucas, and Shmueli (2013) və McFarland and McFarland (2015) . Bu məsələlər tədqiqatçıların statistik əhəmiyyətdən çox praktik əhəmiyyətə üstünlük verməsinə səbəb olmalıdır.

Raj Chetty və həmkarlarının vergi rekorduna necə giriş əldə etdikləri haqqında daha ətraflı məlumat üçün Mervis (2014) -ə baxın.

Böyük kümeler, ümumiyyətlə, bir kompüterin imkanlarından kənarda olan hesablama problemləri yarada bilər. Buna görə də, böyük məlumatlar üzrə hesablamalar aparan tədqiqatçılar tez-tez bir çox kompüter üzərində işi yayırlar, bəzən paralel proqramlaşdırma adlandırılan proses. Paralel proqramlaşdırma ilə tanış olmaq üçün, xüsusən Hadoop adlı bir dil üçün, Vo and Silvia (2016) -a baxın.

• Həmişə (bölüm 2.3.2)

Daim məlumatları nəzərdən keçirərkən, eyni zamanda insanların eyni vaxtda eyni insanları müqayisə etdiyinizi və ya bəzi dəyişən insanların qrupunu müqayisə etdiyinizi düşünməyin vacibdir; məsələn, Diaz et al. (2016) .

• Reaktiv olmayan (bölmə ¿sec: reaktiv olmayan? )

Reaktiv olmayan tədbirlər haqqında klassik bir kitab Webb et al. (1966) . Həmin kitabdakı nümunələr rəqəmsal yaşa malikdir, lakin onlar hələ də işıqlandırırlar. Kütləvi nəzarətin olması səbəbindən davranışlarını dəyişən insanların nümunələri üçün Penney (2016) və Brayne (2014) .

Reaktivlik tədqiqatçıların tələb təsirlərini (Orne 1962; Zizzo 2010) və Hawthorne təsiri (Adair 1984; Levitt and List 2011) adlandırdığı ilə yaxından əlaqələndirir.

• Tamamlanmamış (bölmə 2.3.4)

Rekord əlaqələr haqqında daha ətraflı məlumat üçün baxın Dunn (1946) və Fellegi and Sunter (1969) (tarixi) və Larsen and Winkler (2014) (müasir). Kompüter (Elmagarmid, Ipeirotis, and Verykios 2007) məlumatların təkrarlanması, nümunənin identifikasiyası, adın uyğunluğu, duplicate aşkarlanması və dublikatın aşkarlanması (Elmagarmid, Ipeirotis, and Verykios 2007) kimi adlar altında oxşar yanaşmalar da hazırlanmışdır. Şəxsi məlumatların ötürülməsini tələb etməyən rekord əlaqə üçün gizlilik qoruyan yanaşmalar var (Schnell 2013) . Facebook da qeydlərini səsvermə davranışlarına bağlamaq üçün bir müddət inkişaf etdi; bu, 4-cü fəsildə sizə izah edəcəyəm bir təcrübi qiymətləndirmək üçün edildi (Bond et al. 2012; Jones et al. 2013) .

Shadish, Cook, and Campbell (2001) etibarlılığı haqqında daha ətraflı məlumat üçün, Shadish, Cook, and Campbell (2001) 3-cü fəslinə baxın.

• Əlçatmaz (bölmə 2.3.5)

AOL search log debacle haqqında daha ətraflı məlumat üçün Ohm (2010) . Təcrübələri təsvir edəndə fəsil 4-də şirkətlər və hökumətlər ilə əməkdaşlıq haqqında məsləhətlər təklif edirəm. Bir sıra müəlliflər əlçatmaz məlumatlara əsaslanan tədqiqatlara dair narahatlıqlarını bildirdilər, Huberman (2012) və boyd and Crawford (2012) -a baxın.

universitet tədqiqatçılar data giriş əldə etmək üçün yaxşı bir yol interna və ya səfər tədqiqatçı kimi bir şirkət işə edir. data girişi təmin ilə yanaşı, bu proses də tədqiqatçı məlumatların təhlili üçün vacib olan yaradılmışdır necə haqqında daha ətraflı öyrənmək kömək edəcək.

Hökumət məlumatlarına giriş əldə etmək baxımından, Mervis (2014) Raj Chetty və yoldaşlarının sosial hərəkətliliyində araşdırmalarında istifadə olunan vergi rekordlarına necə giriş əldə etdiyini müzakirə edir.

• Nümunəvi olmayan (ss: qeyri-nümayəndəlik)

Konsepsiya kimi "nümayəndəliyin" tarixinə dair daha ətraflı məlumat üçün Kruskal and Mosteller (1979a) Kruskal and Mosteller (1979b) , Kruskal and Mosteller (1979b) Kruskal and Mosteller (1979c) , Kruskal and Mosteller (1979c) və Kruskal and Mosteller (1979c) Kruskal and Mosteller (1980) .

Qar işlərinin və Doll və Hill işlərinin xülasəsi qısa idi. Qarın üzərində xolera üzərində işləmək üçün Freedman (1991) baxın. İngilis Həkimləri Araşdırması haqqında daha ətraflı məlumat üçün Doll et al. (2004) və Keating (2014) .

Bir çox tədqiqatçı Doll və Hill həkimlərdən və 35 yaşdan aşağı həkimlərdən məlumat topladıqlarına baxmayaraq, bu məlumatları ilk təhlillərində qəsdən istifadə etmədiyini öyrənməkdən təəccüblənəcəkdir. Onlar iddia etdi: "Ağciyər xərçəngi 35 yaşın altında olan qadınlarda və kişilərdə nisbətən nadir olduğundan, bir neçə ildir bu qruplarda yararlı rəqəmlər əldə edilə bilməz. Bu ilkin hesabatda biz diqqətimizi 35 yaşlı və yuxarı yaşda olan kişilərə məhdudlaşdırdıq. " Rothman, Gallacher, and Hatch (2013) ," Niyə təmsilçiliyin qarşısını almalıyıq ", təxribatlı adı var, qəsdən qeyri-nümayəndəlik məlumatları yaradır.

Təqdim edilməmişlik bütün əhali haqqında bəyanat vermək istəyən tədqiqatçılar və hökumətlər üçün böyük bir problemdir. Bu, adətən istifadəçilərinə yönəldilmiş şirkətlər üçün bir az narahatlıqdır. Statistika Niderlandın biznes böyük məlumatların qeyri-təmsilçiliyi məsələsini necə qiymətləndirdiyinə dair daha ətraflı məlumat üçün, bax. Buelens et al. (2014) .

Böyük məlumat mənbəylərinin qeyri-nümayəndəsiz təbiətinə dair narahatlıqlarını ifadə edən tədqiqatçıların nümunələri üçün boyd and Crawford (2012) , K. Lewis (2015b) və K. Lewis (2015b) Hargittai (2015) K. Lewis (2015b) .

Sosial sorğular və epidemioloji tədqiqatların məqsədlərini daha ətraflı müqayisə etmək üçün Keiding and Louis (2016) baxın.

Seçicilər haqqında, xüsusilə də 2009-cu ildə keçiriləcək Alman seçkilərindən nümunə götürmək üçün Twitter-dan istifadə etmək cəhdləri haqqında ətraflı məlumat üçün, Jungherr (2013) və Jungherr (2015) . Tumasjan et al. (2010) işindən sonra Tumasjan et al. (2010) dünyada tədqiqatçılar, Twitter məlumatlarının müxtəlif seçki növlərini proqnozlaşdırma qabiliyyətini artırmaq məqsədilə, partiyaların müsbət və mənfi qeydlərini ayırmaq üçün duyğu təhlillərindən istifadə etmək kimi fancier üsullarını istifadə edirlər (Gayo-Avello 2013; Jungherr 2015, chap. 7.) . Huberty (2015) seçkiləri təxmin etmək üçün bu cəhdlərin nəticələrini necə yekunlaşdırdı:

"Sosial mediaya əsaslanan bütün məlum proqnozlaşdırma metodları doğru irəli görünən seçki proqnozu tələblərinə məruz qaldıqda uğursuz oldu. Bu uğursuzluqlar, metodik və ya alqoritmik çətinliklər deyil, sosial media əsas xüsusiyyətləri ilə bağlıdır. Bir sözlə, ictimai media seçicilərin sabit, qərəzsiz, təmsilçi şəklini təklif etmir və heç vaxt əsla olmayacaq; sosial media nümunələri bu problemləri aradan qaldırmaq üçün kifayət qədər məlumatlar yoxdur ".

3-cü fəsildə nümunə və qiymətləndirməni daha ətraflı şəkildə təsvir edəcəyəm. Məlumat verilsə də, müəyyən şərtlər altında yaxşı qiymətləndirmələr çıxarmaq üçün ağırlıqlandırıla bilərlər.

• Drifting (bölüm ¿sec: sürükleniyor? )

Sistem sürüşməsi xaricdən görmək çox çətindir. Ancaq Film Lens layihəsi (4-cü fəsildə daha çox müzakirə edilir) bir elmi tədqiqat qrupu tərəfindən 15 ildən çox müddətdir davam etdirilir. Beləliklə, onlar sistemin zamanla necə inkişaf etdiyini və necə bu təhlilə təsir göstərə biləcəyi barədə məlumatları sənədləşdirə və paylaşa bildi (Harper and Konstan 2015) .

Bir sıra alimlər Twitter-də sürüşməyə diqqət yetiriblər: Liu, Kliman-Silver, and Mislove (2014) və Tufekci (2014) .

Əhali drift ilə məşğul olmaq üçün bir yanaşma, tədqiqatçıların zaman keçdikcə eyni insanları öyrənməyə imkan verən bir istifadəçi paneli yaratmaqdır, Diaz et al. (2016) .

• Alqoritmik şəkildə qarışıq (bölmə ¿sec: alqoritmik-qarışıq? )

Mən ilk dəfə danışan Jon Kleinberq tərəfindən istifadə edilən "alqoritmik şəkildə qarışıq" sözünü eşitdim, amma təəssüf ki, söhbətin nə vaxt və nə vaxt verildiyini xatırlamıram. Yazdığım dövrdə gördüyüm ilk dəfə Anderson et al. (2015) , dating sites tərəfindən istifadə edilən alqoritmlərin tədqiqatçıların bu veb-saytlardan məlumatları sosial seçimləri öyrənmək üçün istifadə edə biləcəyini çətinləşdirə biləcəyi maraqlı bir müzakirədir. Bu narahatlıq Anderson et al. (2014) cavabında K. Lewis (2015a) tərəfindən qaldırıldı Anderson et al. (2014) .

Facebook-a əlavə olaraq, Twitter da insanlar üçün triadik bağlanma fikri əsasında istifadəçilərə tövsiyə edir; Su, Sharma, and Goel (2016) . Beləliklə, Twitter-də üçbucaqlı bağlanmanın səviyyəsi triadik bağlanma ilə bağlı bəzi insan meyllərinin və triadik bağlanmanı təşviq etmək üçün bəzi alqoritmik meyllərin birləşməsidir.

Rəssamlıq haqqında daha çox məlumat üçün, xüsusilə bəzi ictimai elm nəzəriyyələrinin "kameralar deyil, kameralar" (yəni yalnız onu təsvir etməkdən başqa dünya təşkil edirlər) ideyasıdır - Mackenzie (2008) .

• Kirli (bölmə 2.3.9)

Hökumət statistika orqanları məlumatların statistik məlumatların təmizlənməsini təmizləməyə çağırırlar. De Waal, Puts, and Daas (2014) sorğu məlumatları üçün hazırlanmış statistik məlumatların redaktə üsullarını təsvir edir və böyük məlumat mənbələrinə tətbiq edildikləri ölçüləri araşdırır və Puts, Daas, and Waal (2015) daha ümumi bir tamaşaçı.

Sosial botlar haqqında ümumi məlumat üçün Ferrara et al. (2016) . Twitter-də spam tapmaqda diqqət mərkəzində olan bəzi tədqiqatlar üçün Clark et al. (2016) və Chu et al. (2012) . Nəhayət, Subrahmanian et al. (2016) Twitter-da botların aşkarlanması üçün yanaşmaları müqayisə etmək üçün hazırlanan DARPA Twitter Bot Challenge-in nəticələrini təsvir edir.

• Həssas (bölmə 2.3.10)

Ohm (2015) , həssas məlumatların ideyası ilə əlaqədar əvvəllər edilən araşdırmaları nəzərdən keçirir və çox faktorlu test təklif edir. Təklif etdiyi dörd faktor zərərin, zərərin ehtimalının, gizli bir əlaqənin varlığının və böyük risklərin əksəriyyətini əks etdirmədiyindəndir.

• Şəxsiyyəti hesablamaq (bölmə 2.4.1)

Farberin Nyu-Yorkda taksinin öyrənilməsi Camerer et al. (1997) əvvəlki araşdırmalarına əsaslanırdı Camerer et al. (1997) , üç müxtəlif rahatlıq nümunəsi olan kağız səfər planlarını istifadə etmişdir. Bu əvvəlki araşdırmada sürücülərin hədəf qazanmış olduğu göründüyü: əmək haqqının daha yüksək olduğu günlərdə daha az işlədilər.

Sonrakı işlərdə Kral və iş yoldaşları Çində online senzura araşdırdılar (King, Pan, and Roberts 2014, [@king_how_2016] ) . Çində online senzuranın ölçülməsi ilə əlaqədar bir əlaqə üçün, bax Bamman, O'Connor, and Smith (2012) . King, Pan, and Roberts (2013) istifadə edilən statistik metodlar haqqında daha çox məlumat almaq üçün 11 milyon mesajın həssaslığını qiymətləndirmək üçün Hopkins and King (2010) . Gözlənilən öyrənmə ilə bağlı daha ətraflı məlumat üçün bax: James et al. (2013) (daha az texniki) və Hastie, Tibshirani, and Friedman (2009) (daha texniki).

• Proqnozlaşdırma və hazırlama (bölmə 2.4.2)

Proqnozlaşdırma sənaye məlumat elminin böyük bir hissəsidir (Mayer-Schönberger and Cukier 2013; Provost and Fawcett 2013) . İctimai tədqiqatçılar tərəfindən yayılmış bir proqnozlaşdırma növü demoqrafik proqnozlaşdırmadır; məsələn, Raftery et al. (2012) .

Google Flu Trends, günümüzdə qrip infarktının yayılmasına istiqamətli axtarış məlumatlarını istifadə edən ilk layihə deyil. Əslində Amerika Birləşmiş Ştatlarında tədqiqatçılar (Polgreen et al. 2008; Ginsberg et al. 2009) və İsveç (Hulth, Rydevik, and Linde 2009) müəyyən axtarış şərtlərini (məsələn, "qrip") milli ictimai səhiyyə nəzarətini məlumatlar sərbəst buraxılmadan əvvəl. Sonradan bir çox digər bir çox layihə xəstəliyin müşahidəsi üçün rəqəmsal iz məlumatlarını istifadə etməyə çalışmışdır; Althouse et al. (2015) bir araşdırma üçün.

Sağlamlıq nəticələrini proqnozlaşdırmaq üçün rəqəmsal izləmə məlumatlarından istifadə etməklə yanaşı, seçki nəticələrini proqnozlaşdırmaq üçün Twitter məlumatlarını istifadə edərək çox sayda iş görülmüşdür; Gayo-Avello (2011) üçün Gayo-Avello (2011) , Gayo-Avello (2013) , Jungherr (2015) (Fəsil 7) və Huberty (2015) . İqtisadi göstəricilərin ümumi daxili məhsul (GSYH) kimi yayılması, mərkəzi banklarda da geniş yayılmışdır. Bax Bańbura et al. (2013) . cədvəl 2.8 dünyada bir növ hadisəni proqnozlaşdırmaq üçün bir sıra rəqəmsal izlərdən istifadə edən bir neçə nümunəni əhatə edir.

Nəhayət, Jon Kleinberg və həmkarları (2015) , proqnozlaşdırma problemlərinin iki fərqli kateqoriyaya bölündüyünü və sosial elm adamlarının birinə odaklanmalarına və digərini görməməyə çalışdığına diqqət çəkmişlər. Bir siyasətçini düşünün, quraqlıqla üzləşən Anna adını verəcəyəm və yağış şansını artırmaq üçün bir yağış rəqsi etmək üçün bir şamanın işə almaması barədə qərar verməlidir. Başqa bir siyasət edən, mən onun Betti deyə çağırıram, evə gedərkən ıslanmağı qarşısını almaq üçün işləmək üçün bir şemsiye almalıyıq. Hər iki Anna və Betty hava vəziyyəti başa düşsələr, daha yaxşı bir qərar qəbul edə bilər, ancaq fərqli şeyləri bilmək lazımdır. Anna yağış dansının yağış səbəb olub-olmadığını anlamalıdır. Digər tərəfdən Betty, nəyə əsasən bir şey anlamaq lazım deyil; yalnız dəqiq bir proqnoza ehtiyac var. Sosial tədqiqatçılar tez-tez Anna ilə üzləşdiyi problemlərə diqqət yetirirlər. Kleinberq və həmkarları "yağış kimi dans kimi" siyasət problemləri adlandırırlar, çünki onlar niyə səbəb olur. Kleinberq və həmkarlarının "çətir kimi" siyasət problemləri adlandırdığı Betty ilə qarşılaşdıqları kimi suallar çox vacib ola bilər, lakin sosial tədqiqatçılardan daha az diqqət ala bilər.

• Təxminən təcrübə (bölmə 2.4.3)

PS Siyasət Elmi jurnalında böyük məlumatlar, səbəbli çıxışlar və formal nəzəriyyələrlə bağlı bir simpozium keçirildi və Clark and Golder (2015) hər bir töhfəni ümumiləşdirdi. Amerika Birləşmiş Ştatlarının Milli Elmlər Akademiyasının jurnalının məqalə səbəbi və böyük məlumatlar haqqında bir simpozium keçirildi və Shiffrin (2016) hər bir töhfəni yekunlaşdırdı. Böyük məlumat mənbələri içərisində təbii təcrübələri avtomatik olaraq aşkar etməyə çalışan maşın öyrənmə yanaşmaları üçün bax Jensen et al. (2008) , Sharma, Hofman, and Watts (2015) və Sharma, Hofman, and Watts (2016) .

Təbii eksperimentlər baxımından Dunning (2012) bir çox nümunə ilə tanışlıq, kitab boyu müalicə təmin edir. Təbii eksperimentlərə şübhə ilə Sekhon and Titiunik (2012) bax Rosenzweig and Wolpin (2000) (iqtisadiyyat) və ya Sekhon and Titiunik (2012) (siyasi elm). Deaton (2010) və Heckman and Urzúa (2010) təbiət təcrübələrinə diqqət yetirmək tədqiqatçıların əhəmiyyətsiz nedensel təsirlərin qiymətləndirilməsinə yönəldəcəyini iddia edir; Imbens (2010) bu arqumentləri təbii təcrübələrin dəyərinin daha optimist bir görünüşü ilə hesab edir.

Tədqiqatçının xidmətin təsiri təsirinin qiymətləndirilməsindən necə təsir edə biləcəyini təsvir edərkən mən instrumental dəyişənlər adlandırılan bir üsul təsvir edirdim. Imbens and Rubin (2015) , onların 23 və 24-cü fəsillərində bir giriş təqdim edir və lotereya nümunəsini nümunə olaraq istifadə edir. Hərbi xidmətin kompüterlər üzərində təsiri bəzən kompüter ortalama səbəb səbəbi (CAcE) və bəzən yerli orta müalicə təsiri (LATE) adlanır. Sovey and Green (2011) , Angrist and Krueger (2001) və Bollen (2012) siyasət elmləri, iqtisadiyyat və sosiologiya sahəsində instrumental dəyişənlərin istifadəsi ilə bağlı təkliflər Angrist and Krueger (2001) , Sovey and Green (2011) isə "oxucuların siyahısı" instrumental dəyişənlərdən istifadə edərək qiymətləndirmə işləri.

1970-ci ildə hazırlanan lotereyanın əslində təsadüfi deyil; saf təsadüflərdən (Fienberg 1971) kiçik sapmalar var idi. Berinsky and Chatfield (2015) bu kiçik sapmanın əhəmiyyətli dərəcədə vacib olmadığını və düzgün keçirilmiş randomizasiyanın əhəmiyyətini müzakirə edir.

Eşleme baxımından, iyimser bir inceleme üçün Stuart (2010) ve Sekhon (2009) , kötümser bir inceleme üçün bax. Budanın bir növü olaraq uyğunlaşma haqqında daha ətraflı məlumat üçün, Ho et al. (2007) . Hər bir şəxs üçün bir mükəmməl uyğunluq tapmaq çox vaxt çətindir və bu, bir sıra mürəkkəbliklər təqdim edir. Birincisi, dəqiq matç mövcud olmadıqda, tədqiqatçılar iki ədəd arasındakı məsafəni ölçmək və müəyyən bir məsafə kifayət qədər yaxın olduqda qərar verməlidirlər. İkinci bir mürəkkəblik tədqiqatçıların müalicə qrupunda hər bir halda birdən çox matçdan istifadə etmək istəməsi halında ortaya çıxır, çünki bu daha dəqiq qiymətləndirmələrə səbəb ola bilər. Bu məsələlərin hər ikisi, eləcə də digərləri, Imbens and Rubin (2015) 18-ci fəslində ətraflı təsvir edilmişdir. Həm də II hissədən ( ??? ) .

Eşleme metodları təsadüfi nəzarət edilən bir sınaqdan bənzər təxminlər hazırlaya biləcəyi bir nümunə üçün Dehejia and Wahba (1999) baxın. Lakin, eşleme metodlarının bir eksperimental meyarlara uyğun gəlmədiyi misal üçün Arceneaux, Gerber, and Green (2006) və Arceneaux, Gerber, and Green (2010) .

Rosenbaum (2015) və Hernán and Robins (2016) böyük məlumat mənbələri daxilində faydalı müqayisə tapılmasına dair digər məsləhətlər təklif edir.