кийинки окуу эмне үчүн

• Introduction (бөлүк 2.1)

Бул бөлүмдө учкай болуп кирген эмес, аткаруу бир түрү. Санариптик мейкиндиктердеги .Марксизмди тууралуу көбүрөөк көрүп Boellstorff et al. (2012) , жана аралаш санариптик жана физикалык мейкиндикте .Марксизмди боюнча дагы, көрүп Lane (2016) .

• Big маалыматтар (бөлүк 2.2)

Эч кандай бир пикирге аныктамасы жок "чоң маалыматтар", ал эми көптөгөн аныктамалар ": 3" эстешет: көлөмү, ар түрдүүлүгү жана ылдамдыгы (мисалы, Japec et al. (2015) ). Кара De Mauro et al. (2015) аныктамаларды кайра кароо.

Башкалар да бул ишти, анын ичинде, бирок Менин чоң маалыматтардын категориясына мамлекеттик башкаруу маалыматтарды киргизүү, бир аз башкача Legewie (2015) , Connelly et al. (2016) , жана Einav and Levin (2014) . Изилдөө үчүн мамлекеттик башкаруу маалыматтар жөнүндө көбүрөөк үчүн, кара Card et al. (2010) , Adminstrative Data Taskforce (2012) , жана Grusky, Smeeding, and Snipp (2015) .

Мамлекеттик статистикалык тутумуна, өзгөчө, АКШнын Калкты каттоо бюросунун ичиндеги башкаруу изилдөөлөр көз карашы үчүн, кара Jarmin and O'Hara (2016) . Статистика Испания боюнча башкаруучулук иш кагаздарын иликтөөнүн бир китеп узундугу дарылоо үчүн, кара Wallgren and Wallgren (2007) .

бөлүмдө, мен кыскача Башкы коомдук изилдөөнүн (GSS) сыяктуу Twitter сыяктуу коомдук медиа маалымат булагы менен салттуу сурамжылоого салыштырган. Салттуу Сурамжылоолорго жана коомдук медиа маалыматтардын ортосундагы дыкат Салыштыруу үчүн, кара Schober et al. (2016) .

• Чоң маалыматтардын жалпы мүнөздөмөсү (2.3-бөлүм)

Бул 10 чоң маалыматтарды мүнөздөмөлөрү ар түрдүү түзүүчүлөрдүн ар түрдүү, ар кандай жолдор менен кабыл алынган. Бул маселелер боюнча ой жүгүртүүмө таасир жазуу камтыйт Lazer et al. (2009) , Groves (2011) , Howison, Wiggins, and Crowston (2011) , boyd and Crawford (2012) , SJ Taylor (2013) , Mayer-Schönberger and Cukier (2013) , Golder and Macy (2014) , Ruths and Pfeffer (2014) , Tufekci (2014) , Sampson and Small (2015) , K. Lewis (2015b) , Lazer (2015) , Horton and Tambe (2015) , Japec et al. (2015) , жана Goldstone and Lupyan (2016) .

Бул бөлүмдө, мен салыштырмалуу бейтарап болуп саналат деп ойлойм мөөнөттүү санариптик издерин, колдонгон. Санариптик жогун дагы бир белгилүү мөөнөткө санариптик изи болуп саналат (Golder and Macy 2014) , ал эми Хэл Abelson, Кен Ledeen катары, ал эми Гарри Lewis (2008) көрсөтүп, андан тиешелүү термин адатта санарип манжа болуп саналат. Сиз изине түзүп жатканда, сиз эмне жана куттуу изди өз жалпысынан жеке сага жашоону мүмкүн эмес нерсени билет. Ошол эле санариптик издерин үчүн туура эмес болуп саналат. Чынында, изи абдан аз маалыматым болбогон убакыт кетип жатышат. Ал эми, бул изи аларга сенин аты болбосо да, көп учурда сага кайра байланыштуу болушу мүмкүн. Башка сөз менен айтканда, алар манжа сыяктуу: көзгө көрүнбөгөн жана жеке аныктоо.

• Big (бөлүм 2.3.1)

Чоң топтому статистикалык тесттерден көрсөтүүгө эмне үчүн көйгөйлүү тууралуу көбүрөөк көрүп M. Lin, Lucas, and Shmueli (2013) жана McFarland and McFarland (2015) . Бул маселелер эмес, статистикалык маанидеги практикалык мааниге басым изилдөөчүлөр алып келиши керек.

Радж Chetty жана кесиптештери салыктык эсепке алуу мүмкүнчүлүгүн алган жөнүндө көбүрөөк үчүн, кара Mervis (2014) .

Ири топтому да көбүнчө бир ЭЭМ мүмкүнчүлүгү жетпеген эсептөө көйгөйлөрдү жаратышы мүмкүн. Ошондуктан, ири берилиштер эсептөөлөргө кабыл изилдөөчүлөр көбүнчө кээде параллелдүү программалоо деп аталган көп эсептөө үстүнө, бир Process Work жайып. Параллелдик программалоого кириш үчүн, Hadoop деп аталган өзгөчө бир тилде, көрүп Vo and Silvia (2016) .

• Дайым (бөлүм 2.3.2)

маалыматтар ар дайым үстүнөн карап жатканда, ал убакыттын өтүшү менен так ошол адамдарды салыштырып, же жокпу, адамдар кээ бир өзгөрүп топту салыштырып жатат да эске алуу зарыл; Мисалы, кара, Diaz et al. (2016) .

• Nonreactive (бөлүм ¿сек: азык-жалкоолук?)

Nonreactive чаралар боюнча классикалык китеп Webb et al. (1966) . бул китепте мисалдар санариптик жашка кол, бирок алар да жарык болот. Анткени массалык байкоо алдында, алардын жүрүм-турумун өзгөртүүгө элдин Мисал үчүн, Penney (2016) жана Brayne (2014) .

Reactivity тыгыз изилдөөчүлөр талап кесепеттерин атаган менен байланыштуу (Orne 1962; Zizzo 2010) жана Hawthorne таасир (Adair 1984; Levitt and List 2011) .

• Толук эмес (бөлүм 2.3.4)

Рекорддук байланыштырбастан тууралуу көбүрөөк көрүп Dunn (1946) жана Fellegi and Sunter (1969) (тарыхый) жана Larsen and Winkler (2014) (учурдагы). Окшош мамилелер, ошондой эле мындай маалыматтар deduplication катары аттары менен компьютер илими боюнча иштелип чыккан, мисалы аныктоо, аты дал келүүсү, дубликат аныктоо жана эсепке алуу суутпай кайталап келишет (Elmagarmid, Ipeirotis, and Verykios 2007) . Жеке маалыматты аныктоо берүүнү талап кылбайт рекорддук байланыштырбастан да жекелик-сактоо ыкмалары бар (Schnell 2013) . Facebook, ошондой эле добуш берүү үчүн жүрүм-туруму менен, алардын эсебин байланыштыруу үчүн иштеп жатат; Мен китебинин 4 тууралуу айта кетели эксперимент баа берүү үчүн кылган (Bond et al. 2012; Jones et al. 2013) .

Курган колдонуу тууралуу көбүрөөк, 3-бөлүмүн карагыла Shadish, Cook, and Campbell (2001) .

• Тоолордо (бөлүм 2.3.5)

AOL издөө журналы төгүүгө тууралуу көбүрөөк көрүп Ohm (2010) . Мен эксперименттер айтып жатканда, мен, 4-бөлүмдө бул компаниялар жана башкаруу органдары менен өнөктөштүк тууралуу пикирин сунуштайбыз. Жазуучулардын бир катар жетүүгө маалыматтарга таянат изилдөөлөр тууралуу тынчсызданууларын билдиришти, көрүп Huberman (2012) жана boyd and Crawford (2012) .

изилдөөчүлөр маалымат алуу мүмкүнчүлүгүн алуу үчүн бир жакшы жолу компаниясынын практикага же келген илимий кызматкер катары иштөө болуп саналат. маалымат жеткиликтүүлүктү камсыз тышкары, бул жараян дагы изилдөөчү талдоо үчүн маанилүү болгон маалыматтарды кандай түзүлгөн, ал жөнүндө көбүрөөк билүүгө жардам берет.

Мамлекеттик маалыматтарга жетүү жагынан, Mervis (2014) Радж Chetty жана кесиптештер коомдук кыймылдуулугуна, алардын изилдөө колдонулган салыктык эсепке алуу мүмкүнчүлүгүн алган талкууланат.

• Келишимдик өкүлү (сек: азык-өкүл)

"Өкүлдөрү" тарыхы боюнча дагы бир түшүнүк алуу үчүн, кара Kruskal and Mosteller (1979a) , Kruskal and Mosteller (1979b) , Kruskal and Mosteller (1979c) , жана Kruskal and Mosteller (1980) .

Snow иши жана куурчак жана Конгресс ишинин Менин резюме кыскача эле. Холера кар иши тууралуу көбүрөөк маалымат, көрүп Freedman (1991) . Британ дарыгерлери тууралуу көбүрөөк изилдөө көрүп Doll et al. (2004) , ошондой эле Keating (2014) .

Көптөгөн окумуштуулар Барби жана Hill аял доктурлар жана 35 жашка чейинки дарыгерлер маалыматтарын чогултуп да, алар атайылап биринчи талдоо бул маалыматтарды пайдаланууга жок экенин билүү үчүн күтүлбөгөн окуя болот. Алардын ою эле: "өпкө рагы 35 жашка чейинки аялдар менен эркектердин салыштырмалуу сейрек кездешет, демек, пайдалуу маалыматтар келип, бир нече жылдан бери бул топтор менен алынган болушу күмөн болуп саналат. Бул отчетто биз Ошондуктан, 35 жана андан жогору жаштагы эркектердин биздин кулак чыга келишет. " Rothman, Gallacher, and Hatch (2013) , чагымчыл наамына ээ:" Эмне үчүн өкүлчүлүгүн наркы үчүн "деген жалпы аргумент кылып, оолак болуу керек атайылап nonrepresentative маалыматтарды түзүү.

Nonrepresentativeness бүтүндөй калктын билдиришпейт каалаган изилдөөчүлөр жана башкаруу үчүн негизги көйгөй болуп саналат. Адатта, бул алардын колдонуучуларга багытталган компаниялар үчүн тынчсызданууну аз. Статистика Нидерланды бизнес чоң маалыматтарды nonrepresentativeness жөнүндө маселени карайт кантип көбүрөөк көрүп Buelens et al. (2014) .

, Чоң маалымат булактарын эмес өкүлү мүнөзү тууралуу тынчсыздангандыгын билдиришип изилдөөчүлөрдүн мисалдарды көрүп boyd and Crawford (2012) , K. Lewis (2015b) , жана Hargittai (2015) .

Коомдук Сурамжылоолорго жана эпидемиологиялык изилдөөнүн максаттары жөнүндө көбүрөөк Салыштыруу үчүн, кара Keiding and Louis (2016) .

Аракеттери тууралуу көбүрөөк маалымат 2009-немис шайлоонун өзгөчө, шайлоочулар тууралуу чыккан үлгүсүндөгү чыгаруу үчүн Twitter колдонуу үчүн, кара Jungherr (2013) жана Jungherr (2015) . Ишине кийин Tumasjan et al. (2010) дүйнө Fancier ыкмалары сыяктуу сезимдердин талдоо шайлоо ар кандай түрлөрү ар кандай алдын ала Twitter маалыматтардын оң жана терс жөндөмдүүлүгүн жакшыртуу үчүн партиялардын-тартип жөнүндө сөз айырмалай колдонуп катары колдонгон айланасындагы изилдөөчүлөр (Gayo-Avello 2013; Jungherr 2015, chap. 7.) . Бул жерде кантип Huberty (2015) шайлоо алдын ала аракеттеринин жыйынтыгын чыгарды:

"Коомдук негизинде бардык белгилүү болжолдоо ыкмалары чыныгы алдын-шайлоо болжолдоо талаптарына дуушар болгондо эмес. Бул келбейт, тескерисинче, методикалык же алгоритмдик кыйынчылыктарга караганда коомдук массалык маалымат каражаттарынын негизги касиеттери, улам болуп калды. Кыскача айтканда, массалык маалымат жок, жана, кыязы, эч качан, шайлоочулардын туруктуу, калыс, өкүлчүлүктүү сүрөттү сунуш кылат; жана коомдук массалык маалымат каражаттарынын сооротуусуна үлгүлөр бул көйгөйлөр туз пост чечүү үчүн жетиштүү маалымат жок. "

3-бөлүмдө, мен көп майда-чүйдөсүнө чейин пробаларды жана баа сүрөттөп аласыз. белгилүү бир шарттарда маалыматтар nonrepresentative да, жакшы баа өндүрүү үчүн салмактанып алынган болот.

• Рын (бөлүм ¿сек: кыз?)

Тутум айдалуу сырттан көрүп, абдан кыйын. Бирок, MovieLens долбоор (көп китебинин 4-талкуулашты) академиялык изилдөө тобу тарабынан дагы 15 жылдан бери башкарып келе жатат. Ошентип, алар системасы жана бул ага кандай таасир талдоо мүмкүн аралыгында деп жөнүндө маалыматты документтештирүү менен бөлүшүүгө алышкан (Harper and Konstan 2015) .

Twitter аалымдардын бир катар киришинен басым кылганбыз: Liu, Kliman-Silver, and Mislove (2014) жана Tufekci (2014) .

Калктын киришинен менен мамиле бир ыкма изилдөөчүлөр, убакыттын өтүшү менен ошол эле адамдарды изилдеп көрүп берет пайдалануучулардын панно, түзүү болуп саналат Diaz et al. (2016) .

• Алгоритмдери маскара (бөлүм ¿сек:? Algorthmically-маскара)

Мен биринчи жолу баяндама Jon Kleinberg тарабынан мөөнөттүү "алгоритмдери уят" деген уктум, бирок, тилекке каршы, мен же баарлашуу берилди эсимде жок. Мен басып мөөнөтүн көрүп, биринчи жолу эле Anderson et al. (2015) таанышуу сайттарында колдонгон алгоритмдер бул интернет коомдук артыкчылыктарын изилдөө маалыматтарды колдонуу Изилдөөчүлөрдүн жөндөмүн татаалданткан кантип кызыктуу талкуу болгон. Мындай кызыгуу көтөрүлгөн K. Lewis (2015a) жооп Anderson et al. (2014) .

Facebook тышкары, Twitter, ошондой эле үч жактуу жабылышы идеясына негизделген артынан колдонуучулар үчүн адамдарды сунуш кылат; көрүп Su, Sharma, and Goel (2016) . Ошентип, Twitter жана жактуу жабылышы деъгээли жактуу жабылышы жана жактуу жабылышы көмөк айрым алгоритмдик жакын болгон кээ бир адам жакын жыйындысы болуп саналат.

Кээ бир коомдук илимдер теориясы "мотор камера жок" экенин performativity-өзгөчө идея тууралуу көбүрөөк (башкача айтканда, алар, тескерисинче, жөн гана айтылбастан дүйнөнү калыптандыруу) болчумун Mackenzie (2008) .

• Dirty (бөлүм 2.3.9)

Мамлекеттик статистикалык мекемелер статистикалык маалыматтар түзөтүүнү тазалоо маалыматтарды деп аташат. De Waal, Puts, and Daas (2014) , алар чоң маалымат булактарына карата да колдонулат, жана канчалык изилдөөнүн маалыматтарынын жана карап иштелип статистикалык маалыматтар түзөтүү ыкмаларын сүрөттөп Puts, Daas, and Waal (2015) алып, ошол эле идеялары кээ бир бир кыйла жалпы аудитория.

Коомдук-боттордон сакталган жөнүндө жалпы маалыматтарды алуу үчүн, кара Ferrara et al. (2016) . Twitter спам табууга багытталган изилдөөлөрдүн айрым мисалдарды көрүп, Clark et al. (2016) жана Chu et al. (2012) . Акыр-аягы, Subrahmanian et al. (2016) DARPA Twitter Bot Оор жыйынтыктарын, Twitter'де ботторду аныктоо боюнча ыкмаларды салыштырып арналган жалпыга маалымдоо ара сүрөттөйт.

• Сезимтал (бөлүм 2.3.10)

Ohm (2015) сезимтал маалыматтарды идеясына мурда изилдөө карайт жана көп нерсе тест сунуш кылат. төрт ойду, ал зыян баллга жеткен болуп сунуш кылат, зыян ыктымалдыгы, жашыруун мамиледе болушу, ошондой эле тобокелдик мажоритардык маселелерди чагылдырат болобу.

• Эсептөө нерселерди (бөлүм 2.4.1)

New York Такси менен FARBER окуу менен мурдагы изилдөөгө негизделген Camerer et al. (1997) , кагаз на барактардын үч ынгайлуулугу үлгүлөрүн колдонулат. Бул мурда изилдөө айдоочулар максаттуу багуучу болуп көрүнгөн деп табылган: алардын эмгек акысы жогору болгон күндөрү аз иштеген.

Кийинки иш-жылы, падыша жана кесиптештери мындан ары Кытайдагы интернет цензура каралды (King, Pan, and Roberts 2014, [@king_how_2016] ) . Кытайда онлайн цензура өлчөө үчүн тиешелүү мамиле үчүн, кара Bamman, O'Connor, and Smith (2012) . Колдонулган сыяктуу статистикалык ыкмалар тууралуу көбүрөөк King, Pan, and Roberts (2013) , 11 миллион билдирүүлөр көрүп таамай аныктоо Hopkins and King (2010) . Көзөмөлдөнгөн билим тууралуу көбүрөөк көрүп James et al. (2013) (аз-техникалык) жана Hastie, Tibshirani, and Friedman (2009) (техникалык).

• Болжолдоо жана nowcasting (бөлүм 2.4.2)

Прогноздоо өнөр жай маалыматтар илим бир чоң бөлүгү болуп саналат (Mayer-Schönberger and Cukier 2013; Provost and Fawcett 2013) . жалпы коомдук изилдөөчүлөр тарабынан жүзөгө ашырылат болжолдоо бир түрү Элдик божомолдоо; Мисалы, көрүп Raftery et al. (2012) .

Google тумоосу айлары тумоосу жайылып nowcast издөө маалыматтарды колдонуу үчүн биринчи долбоор болгон эмес. Чынында эле, Кошмо Штаттарда изилдөөчүлөр (Polgreen et al. 2008; Ginsberg et al. 2009) жана Испания (Hulth, Rydevik, and Linde 2009) айрым издөө шарттары (мисалы, "сасык") улуттук коомдук саламаттыкты сактоо көзөмөлдөөгө алдын ала байкашкан ага чейин маалымат чыккан. Андан кийин көптөгөн, көптөгөн башка долбоорлор ооруларды көзөмөлдөө аныктоо үчүн санариптик изи маалыматтарды пайдаланууга аракет кылып жатышат; Эмне көрүүгү Althouse et al. (2015) кайра кароо.

ден соолукка кесепетин алдын санариптик изи маалыматтарды колдонуудан тышкары, ошондой эле шайлоо жыйынтыктарын алдын ала Twitter маалыматтарын пайдалануу ишине абдан эле көп болуп жатат; сын-пикирлер көрүп Gayo-Avello (2011) , Gayo-Avello (2013) , Jungherr (2015) (7), жана Huberty (2015) . Мындай ички продуктунун (ИДП) сыяктуу экономикалык көрсөткүчтөр боюнча Nowcasting, борбордук банктардын, ошондой эле жалпы эмес, көрө Bańbura et al. (2013) . стол 2,8 дүйнөдө иш-чаранын кандайдыр бир алдын ала санариптик изи да кандайдыр бир колдонуп изилдөө бир нече мисал камтыйт.

Акыр-аягы, Jon Kleinberg жана кесиптештери (2015) болжолдоо маселелер эки түшүп, тымызын ар түрдүү категориялары жана илимпоздордун бир басым жана башка четке кылышкан деп белгилеп жатышат. бир саясат дейли, мен кургакчылык кабылууда анын Анна, чакырып, жамгыр мүмкүнчүлүк жогорулатуу үчүн жамгыр бийи эмне үчүн Шаман жалдап же жокпу, чечиши керек болот. Дагы бир саясат, мен анын Betty чалам, кайтып келе жатканда суу болуп калуудан качууга иштөө үчүн кол чатыр алып же жокпу, чечиши керек. Алар аба ырайы түшүнүүгө болсо, Анна менен Бетти да жакшы чечим кабыл алышы мүмкүн, бирок, алар ар кандай нерселерди билип алышыбыз керек. Анна жамгыр бийи жамгыр себеп экендигин түшүнүшү керек. Бетти, экинчи жагынан, казуалдуулук тууралуу эч нерсе түшүнө кереги жок; Ал жөн гана так болжолу керек. Коомдук изилдөөчүлөр көбүнчө Kleinberg жана кесиптештери "жамгыр бийи сыяктуу" саясий көйгөйлөр, анткени, алар себептер суроолорду тартууга чакырып, Анна-туш сыяктуу проблемалар боюнча чагылдырылат. Бетти-Kleinberg жана кесиптештери "чатыр сыяктуу" саясаты деп туш сыяктуу суроолор кыйынчылыктар болот да абдан маанилүү, бирок коомдук изилдөөчүлөр көп аз кулак алган.

• Жакындоосун эксперимент (бөлүм 2.4.3)

Журнал PS Саясий илимдер чоң маалыматтар, себеп-алуучу, ошондой эле расмий теориясы боюнча симпозиум эле, Clark and Golder (2015) ар бир салымын жалпылайт. Америка Кошмо Штаттарынын Улуттук илимдер академиясынын жарчысы өндүрүшү себеп алуучу жана чоң маалыматтар боюнча симпозиум болду, жана Shiffrin (2016) ар бир салымын жалпылайт. Жазуусу чоң маалымат булактарынын ичинде табигый эксперименттер табууга аракет Машина үйрөнүү жолдорун көрүп Jensen et al. (2008) , Sharma, Hofman, and Watts (2015) , жана Sharma, Hofman, and Watts (2016) .

Табигый эксперименттердин жагынан, Dunning (2012) көптөгөн мисалдар менен тааныштыруу, китеп узундугу дарылоону камсыз кылат. Табигый тажрыйба скептикалык көз карашы үчүн, кара Rosenzweig and Wolpin (2000) (экономика) же Sekhon and Titiunik (2012) (саясий илим). Deaton (2010) жана Heckman and Urzúa (2010) табигый эксперименттердин басым анча себеп кесепеттерин аныктоо топтоого изилдөөчүлөр алып келиши мүмкүн деп эсептешет; Imbens (2010) табигый эксперименттердин наркынын кыйла оптимисттик көз караш менен далилдерди бурмаланган.

Изилдөөчүсү өтөп күчүнө долбоору иштелип жаткан таасирин эсептөө чейин барып, кантип сүрөттөп жатканда, мен аспаптык өзгөрмөлөр деп аталган ыкмасын мүнөздөгөн эле. Imbens and Rubin (2015) , алардын китебинин 23 жана 24-жылы киргизүүнү камсыз жана мисал катары долбоору лотерея колдонушат. compliers боюнча аскердик кызматтын таасири Түзүүчү орточо себеп-натыйжа (CAcE) жана кээде жергиликтүү орточо дарылоо натыйжа (аяк ченинде) деп аталган, кээде болот. Sovey and Green (2011) , Angrist and Krueger (2001) , жана Bollen (2012) саясий илим, экономика, жана .Оздору себепчи өзгөрмөлүү колдонуу жана сын-пикирлерди сунуш Sovey and Green (2011) үчүн "окурмандын текшерүү" менен камсыз кылууда аспаптык өзгөрмө пайдалануу менен изилдөө жана баа берүү.

Бул чындыгында туура колдонуусу клиникалык 1970 долбоору лотереялык, болгон эмес экен; таза кокустук кичи четтөөлөр бар (Fienberg 1971) . Berinsky and Chatfield (2015) бул кичинекей четтөө жүзөгө маанилүү эмес экенин ырастайт жана туура жүргүзүлгөн ролдоо маанисин талкуулашат.

Келүүсү көз карашынан алганда, көрүп Stuart (2010) оптимисттик карап чыгуу үчүн, жана Sekhon (2009) терс карап чыгуу үчүн. Бутап бир түрү катары дал тууралуу көбүрөөк көрүп Ho et al. (2007) . ар бир адам үчүн бир мыкты оюнун табуу көп учурда кыйынга турат, жана бул татаал бир катар киргизет. Биринчиден, так дан жок болгондо, изилдөөчүлөр эки бирдиктеринин ортосундагы жана бир аралык абдан жакын болсо, аралыкты өлчөө үчүн кантип чечиши керек. Экинчи татаалдыгы бул так баа алып келиши мүмкүн, анткени изилдөөчүлөр дарылоо топтун ар бир айкын учур үчүн бир нече дан колдонууну кааласак пайда болот. Бул маселелер, ошондой эле башкалардын да, 18-бөлүмдө кененирээк сүрөттөлгөн Imbens and Rubin (2015) . Ошондой эле, II-бөлүк менен кара ( ??? ) .

Кара Dehejia and Wahba (1999) Дал ыкмалары клиникалык изилдөөлөр эксперименттин окшош баа чыгара эле бир мисалы. Бирок, кара Arceneaux, Gerber, and Green (2006) жана Arceneaux, Gerber, and Green (2010) дал келген ыкмалар эксперименталдык ориентирлер кайра жок жерде мисал үчүн.

Rosenbaum (2015) жана Hernán and Robins (2016) чоң маалымат булактарынын ичинде пайдалуу салыштырууларды тапкан башка сунуштар.