Kini lati ka nigbamii

• Ifihan (apakan 2.1)

Ọkan iru akiyesi ti a ko fi sinu ori yii jẹ ẹya-ara. Fun diẹ ẹ sii lori awọn aṣa-ara-ẹni ni awọn aaye-aye oni-nọmba, wo Boellstorff et al. (2012) , ati fun diẹ ẹ sii lori awọn aṣaṣe-ara-ẹni ni awọn oni-nọmba ti o nipo ati ti ara, wo Lane (2016) .

• Alaye nla (apakan 2.2)

Ko si itọkasi igbimọ apapọ kan ti "data nla," ṣugbọn ọpọlọpọ awọn itumọ dabi pe aifọwọyi lori iwọn didun "3 Vs", orisirisi, ati sisa (fun apẹẹrẹ, Japec et al. (2015) ). Wo De Mauro et al. (2015) fun atunyẹwo awọn asọye.

Imisi ti awọn alaye isakoso ti ijọba ni ẹka ti data nla jẹ ohun ti o ṣaṣeyọri, biotilejepe awọn ẹlomiran tun ti ṣe ọran yii, pẹlu Legewie (2015) , Connelly et al. (2016) , ati Einav and Levin (2014) . Fun diẹ ẹ sii nipa iye awọn data isakoso ti ijọba fun iwadi, wo Card et al. (2010) , Adminstrative Data Taskforce (2012) , ati Grusky, Smeeding, and Snipp (2015) .

Fun iwoye iwadi ti ijọba lati inu eto iṣiro ijọba, paapa ni Ajọ Iṣọkan Ilu US, wo Jarmin and O'Hara (2016) . Fun igbasilẹ ipari-iwe ti awọn igbasilẹ igbasilẹ igbasilẹ ni Awọn alaye Sweden, wo Wallgren and Wallgren (2007) .

Ni ori iwe, Mo ṣetọwe ni imọran ibile gẹgẹbi General Social Survey (GSS) pẹlu orisun data orisun media gẹgẹbi Twitter. Fun iṣeduro ti iṣawari ati ti o dara julọ laarin awọn ibile ibile ati awọn data media media, wo Schober et al. (2016) .

• Awọn abuda wọpọ ti data nla (apakan 2.3)

Awọn abuda mẹwa ti awọn data nla ni a ti ṣalaye ni orisirisi awọn ọna oriṣiriṣi nipasẹ orisirisi awọn onkọwe oniruru. Kikọ ti o ni ipa lori ero mi lori awọn oran wọnyi pẹlu Lazer et al. (2009) , Groves (2011) , Howison, Wiggins, and Crowston (2011) , boyd and Crawford (2012) , SJ Taylor (2013) , Mayer-Schönberger and Cukier (2013) , Golder and Macy (2014) , Ruths and Pfeffer (2014) , Tufekci (2014) , Sampson and Small (2015) , K. Lewis (2015b) , Lazer (2015) , Horton and Tambe (2015) , Japec et al. (2015) , ati Goldstone and Lupyan (2016) .

Ni ori ori yii, Mo ti lo awọn ọrọ oni-nọmba , eyi ti Mo ro pe o ni ibamu si didoju. Ọrọ miiran ti o gbajumo fun awọn oni-nọmba jẹ awọn ẹsẹ ẹsẹ oni-nọmba (Golder and Macy 2014) , ṣugbọn bi Hal Abelson, Ken Ledeen, ati Harry Lewis (2008) ṣe afihan, ọrọ ti o yẹ julọ jẹ awọn nọmba ikawe oni-nọmba . Nigbati o ba ṣẹda awọn ẹsẹ ẹsẹ, o mọ ohun ti n ṣẹlẹ ati awọn ẹsẹ rẹ ko le ṣe atẹle gbogbo rẹ fun ara rẹ. Bakannaa kii ṣe otitọ fun awọn ọna rẹ. Ni otitọ, o n lọ kuro ni gbogbo igba ti o ni imọ kekere. Ati pe, biotilejepe awọn abajade ko ni orukọ rẹ lori wọn, wọn le ni igbagbogbo pada si ọ. Ni gbolohun miran, wọn jẹ diẹ sii bi awọn ika ọwọ: alaihan ati ti ara ẹni idanimọ.

• Big (apakan 2.3.1)

Fun diẹ sii lori idi ti awọn akọọlẹ pataki ṣe mu awọn iṣọnsilẹ iṣoro jẹ iṣoro, wo M. Lin, Lucas, and Shmueli (2013) ati McFarland and McFarland (2015) . Awọn oran yii yẹ ki o mu ki awọn oluwadi ṣojukọ si ipa ti o wulo ju kii ṣe pataki.

Fun diẹ ẹ sii nipa bi Raj Chetty ati awọn ẹlẹgbẹ ṣe wọle si igbasilẹ igbasilẹ, wo Mervis (2014) .

Awọn akopọ ti o tobi le tun ṣẹda awọn iṣọnpọ kọmputa ti o wa ni gbogbo igba agbara awọn kọmputa kan. Nitorina, awọn oluwadi n ṣe awọn iṣeduro lori awọn iwe-akọọlẹ nla n ṣalaye iṣẹ naa lori ọpọlọpọ awọn kọmputa, ilana ti a npe ni sisẹ irufẹ . Fun ifarahan si siseto ti o tẹle, ni pato ede ti a npe ni Hadoop, wo Vo and Silvia (2016) .

• Nigbagbogbo (apakan 2.3.2)

Nigbati o ba n ṣe ayẹwo awọn alaye nigbagbogbo, o ṣe pataki lati ṣe ayẹwo boya o nfi awọn eniyan gangan kanna ni akoko tabi boya o ṣe afiwe awọn ẹgbẹ iyipada ti awọn eniyan; wo fun apẹẹrẹ, Diaz et al. (2016) .

• Ti ko ni ipa (apakan ¿sec: aiṣe-aitọ? )

Iwe ti o ni iwe-aye lori awọn ilana ti ko ni ipa ni Webb et al. (1966) . Awọn apeere ninu iwe yii ṣetan ọjọ ori-ọjọ, ṣugbọn wọn ṣi imọlẹ. Fun awọn apeere ti awọn eniyan n yi iyipada wọn pada nitori ti iṣọwo iṣowo, wo Penney (2016) ati Brayne (2014) .

Ifarahan ni asopọ pẹkipẹki pẹlu ohun ti awọn oniwadi n pe awọn ipa ti nbeere (Orne 1962; Zizzo 2010) ati ipa ti Hawthorne (Adair 1984; Levitt and List 2011) .

• Ko pari (apakan 2.3.4)

Fun diẹ ẹ sii lori ifitonileti gbigbasilẹ, wo Dunn (1946) ati Fellegi and Sunter (1969) (itan) ati Larsen and Winkler (2014) (igbalode). Awọn irufẹ ọna kanna ni a ti ni idagbasoke ni imọ-ẹrọ kọmputa nipasẹ awọn orukọ gẹgẹbi iṣiro data, aṣiṣe apeere, isọdọmọ orukọ, ẹda ifaworanhan, ati ẹda igbasilẹ igbasilẹ (Elmagarmid, Ipeirotis, and Verykios 2007) . Awọn ifitonileti-ipamọ tun wa lati ṣe igbasilẹ asopọ ti ko nilo gbigbe ti alaye idanimọ ti ara ẹni (Schnell 2013) . Facebook tun ti ṣe ilana lati ṣapọ awọn igbasilẹ wọn si ihuwasi idibo; eyi ni a ṣe lati ṣe ayẹwo ohun idanwo kan ti emi yoo sọ fun ọ nipa ori 4 (Bond et al. 2012; Jones et al. 2013) .

Fun diẹ ẹ sii lori iwulo iṣẹ-ṣiṣe, wo ori 3 ti Shadish, Cook, and Campbell (2001) .

• Inaccessible (apakan 2.3.5)

Fun diẹ ẹ sii lori apẹrẹ AOL search, wo Ohm (2010) . Mo funni ni imọran nipa ṣiṣeṣiṣẹpọ pẹlu awọn ile-iṣẹ ati awọn ijọba ni ori 4 nigbati mo ṣe apejuwe awọn idanwo. Ọpọlọpọ awọn onkọwe ti sọ awọn ifiyesi nipa iwadi ti o da lori awọn data ti ko ṣeeṣe, wo Huberman (2012) ati boyd and Crawford (2012) .

Ọkan ti o dara ọna fun University oluwadi lati gba data wiwọle ni lati ṣiṣẹ ni a ile bi ohun Akọṣẹ tabi àbẹwò awadi. Ni afikun si muu data wiwọle, yi ilana yoo tun ran awọn awadi ni imọ siwaju sii nipa bi awọn data ti a da, ti o jẹ pataki fun onínọmbà.

Ni awọn ofin ti nini wiwọle si awọn data ijọba, Mervis (2014) ṣe apejuwe bi Raj Chetty ati awọn alabaṣiṣẹpọ ti gba aaye si awọn igbasilẹ igbasilẹ ti o lo ninu iwadi wọn lori iṣalaye awujọ.

• Ti kii ṣe asoju (iṣẹju-aaya: kii ṣe aṣoju)

Fun diẹ sii lori itan ti "ifarahan" bi imọran, wo Kruskal and Mosteller (1979a) , Kruskal and Mosteller (1979b) , Kruskal and Mosteller (1979c) , ati Kruskal and Mosteller (1980) .

Awọn apejọ mi ti iṣẹ Snow ati iṣẹ Doll ati Hill jẹ kukuru. Fun diẹ sii lori iṣẹ Snow lori cholera, wo Freedman (1991) . Fun diẹ ẹ sii lori Awọn Onisegun Ikẹkọ Ilu British wo Doll et al. (2004) ati Keating (2014) .

Ọpọlọpọ awọn oluwadi yoo jẹ ohun iyanu lati kọ pe biotilejepe Doll ati Hill ti gba data lati awọn onisegun obinrin ati awọn onisegun labẹ 35, wọn ni imọran ko lo data yii ni iṣawari akọkọ wọn. Bi wọn ṣe jiyan: "Niwon ẹdọ inu ẹdọfóró jẹ ohun to jo diẹ ninu awọn obinrin ati awọn ọkunrin labẹ 35, awọn nọmba ti o wulo ni a ko le gba ni awọn ẹgbẹ wọnyi fun awọn ọdun diẹ. Ninu ijabọ alakoko yii, a ti fi ifojusi wa si awọn ọkunrin ti o wa ọdun 35 ati ju. " Rothman, Gallacher, and Hatch (2013) , eyi ti o ni akọle ti o ni idaniloju" Idi ti a gbọdọ yẹra fun apẹẹrẹ, "ṣe ariyanjiyan gbogbogbo fun iye ti ṣe afihan iṣedede data aifọwọyi.

Unrepresentativeness jẹ isoro pataki fun awọn oluwadi ati awọn ijọba ti o fẹ lati sọ awọn asọye nipa gbogbo eniyan. Eyi kii ṣe ibakcdun fun awọn ile-iṣẹ, eyi ti o wa ni idojukọ nigbagbogbo lori awọn olumulo wọn. Fun diẹ ẹ sii lori bi Awọn akọsilẹ Fidiolu ṣe ka ọrọ ti kii ṣe ti ara ẹni ti awọn alaye nla ti iṣowo, wo Buelens et al. (2014) .

Fun apeere ti awọn oluwadi n ṣalaye ibakcdun nipa ti kii ṣe awọn aṣoju ti awọn orisun data nla, wo boyd and Crawford (2012) , K. Lewis (2015b) , ati Hargittai (2015) .

Fun apejuwe ti o ṣe alaye diẹ sii nipa awọn afojusun ti awọn iwadi iwadi ati awọn iwadi apẹrẹ, wo Keiding and Louis (2016) .

Fun diẹ sii lori awọn igbiyanju lati lo Twitter lati ṣe apejuwe awọn alaye nipa awọn oludibo, paapaa ọran lati idibo ilu Gẹẹsi 2009, wo Jungherr (2013) ati Jungherr (2015) . Lẹhinna si iṣẹ ti Tumasjan et al. (2010) oluwadi ni ayika agbaye ti lo awọn ọna idoti-gẹgẹbi lilo iṣeduro ifarahan lati ṣe iyatọ laarin awọn ọrọ rere ati odi ti awọn ẹni-lati le ṣe igbadun agbara ti data Twitter lati ṣe asọtẹlẹ orisirisi awọn idibo oriṣiriṣi (Gayo-Avello 2013; Jungherr 2015, chap. 7.) . Eyi ni bi Huberty (2015) ṣe akopọ awọn esi ti awọn igbiyanju wọnyi lati ṣe asọtẹlẹ idibo:

"Gbogbo awọn ọna asọtẹlẹ ti a mọ ti o da lori awujọ awujọ ti kuna nigbati o ba tẹri si awọn ibeere ti asọtẹlẹ idibo otitọ iwaju. Awọn ikuna wọnyi han lati jẹ nitori awọn ohun-ini pataki ti media media, dipo ki awọn ilana imọ-ọna tabi awọn algorithmic. Ni kukuru, media media ko ṣe, ati pe o le jasi, yoo funni ni idurosinsin, ti ko ni iyasọtọ, aworan aṣoju ti oludibo; ati pe awọn apẹẹrẹ ti media media ko ni data ti o to lati ṣatunṣe awọn iṣoro wọnyi ni ipolowo yii. "

Ni ori iwe 3, Mo ṣe apejuwe iṣapẹẹrẹ ati isọtẹlẹ ni awọn alaye ti o tobi julọ. Paapa ti awọn data ko ba ni ifasẹsẹ, labẹ awọn ipo kan, wọn le ṣe iwọn lati gbe awọn nkan ti o dara.

• Drifting (apakan ¿sec: drifting? )

Ṣiṣeto ọna eto jẹ gidigidi soro lati wo lati ita. Sibẹsibẹ, isẹ MovieLens (ti a ṣe apejuwe siwaju sii ni ori 4) ti wa ni ṣiṣe fun ọdun diẹ ọdun 15 nipasẹ ẹgbẹ iwadi kan. Bayi, wọn ti le ṣe akosilẹ ati pin alaye nipa ọna ti eto naa ti waye ni akoko ati bi eyi ṣe le ni ipa lori igbeyewo (Harper and Konstan 2015) .

Awọn nọmba ti awọn ọjọgbọn ti ni ifojusi lori jija ni Twitter: Liu, Kliman-Silver, and Mislove (2014) ati Tufekci (2014) .

Ọna kan lati ṣe akiyesi awọn gbigbe awọn eniyan ni lati ṣẹda ẹgbẹ ti awọn olumulo, eyiti o fun laaye awọn awadi lati ṣe iwadi awọn eniyan kanna ni akoko diẹ, wo Diaz et al. (2016) .

• Algorithmically confounded (apakan ¿sec: algorthmically-confounded? )

Mo kọkọ gbọ ọrọ naa "algorithmically confounded" ti Jon Kleinberg lo ninu ọrọ kan, ṣugbọn laanu Emi ko ranti nigbati tabi ibi ti a fi fun ọrọ naa. Ni igba akọkọ ti mo ti ri oro naa ni titẹ ni Anderson et al. (2015) , eyi ti o jẹ apejuwe ti o ṣe pataki nipa bi algorithms ti a lo nipasẹ awọn aaye ayelujara ibaṣepọ le ṣe idibajẹ agbara awọn oluwadi lati lo data lati awọn oju-iwe ayelujara yii lati ṣe iwadi awọn ayanfẹ awujo. Ibamu yii ni a gbe dide nipasẹ K. Lewis (2015a) ni idahun si Anderson et al. (2014) .

Ni afikun si Facebook, Twitter tun ṣe iṣeduro awọn eniyan fun awọn olumulo lati tẹle da lori ero ti iṣeduro triadic; wo Su, Sharma, and Goel (2016) . Nitorina ipele ti iṣeduro triadic ni Twitter jẹ apapo ti diẹ ninu awọn ifarahan eniyan si iṣeduro iṣoro ati diẹ ninu awọn ifarahan algorithmic lati se igbelaruge iṣeduro tiadic.

Fun diẹ sii lori iṣẹ-ni pato ero ti diẹ ninu awọn imọ-imọ-imọ awujọ awujọ jẹ "awọn ẹrọ ayọkẹlẹ kii ṣe awọn kamẹra" (ie, wọn ṣe apẹrẹ aye ju kii ṣe apejuwe rẹ) --see Mackenzie (2008) .

• Dirty (apakan 2.3.9)

Awọn ile-iṣẹ iṣiro ijọba kan n pe awọn data ni iṣiro ṣiṣatunkọ iṣiro . De Waal, Puts, and Daas (2014) ṣe apejuwe awọn ilana ti o ṣatunkọ kika awọn akọsilẹ ti a ṣe fun data iwadi ati ṣayẹwo iye ti wọn ṣe wulo fun awọn orisun data nla, ati Puts, Daas, and Waal (2015) mu awọn idaniloju kanna fun gbogbo eniyan ti o gbooro sii.

Fun àyẹwò ti awọn aṣa-iṣowo eniyan, wo Ferrara et al. (2016) . Fun awọn apeere ti awọn ijinlẹ ti dawọle lori wiwa àwúrúju ni Twitter, wo Clark et al. (2016) ati Chu et al. (2012) . Níkẹyìn, Subrahmanian et al. (2016) ṣapejuwe awọn esi ti DARPA Bot Challenge Twitter, ibi-ifowosowopo kan ti a ṣe lati ṣe afiwe awọn ọna fun wiwa awọn ọta lori Twitter.

• Ogbon (apakan 2.3.10)

Ohm (2015) ayẹwo awọn iṣaaju iwadi lori ero ti alaye ifarahan ati ki o funni ni idanwo pupọ. Awọn ohun mẹrin ti o pinnu ni iwọn ipalara, iṣeeṣe ipalara, iṣeduro ibasepo aladani, ati boya ewu naa ṣe afihan awọn iṣoro pataki.

• Tika ohun (apakan 2.4.1)

Iwadii ti taxi ni Farber ni New York ni orisun lori iwadi akọkọ nipa Camerer et al. (1997) o lo awọn oriṣiriṣi awọn ẹya ara ẹrọ itọju ti awọn iwe irin ajo. Iwadi yii tẹlẹ ri pe awọn awakọ ti dabi enipe o jẹ awọn afowopaṣe afojusun: wọn ṣiṣẹ diẹ si awọn ọjọ ibi ti awọn oya wọn ga.

Ni iṣẹ-ṣiṣe, Ọba ati awọn ẹlẹgbẹ ti ṣe iwadi siwaju sii lori iṣiro wẹẹbu ni China (King, Pan, and Roberts 2014, [@king_how_2016] ) . Fun ọna kan ti o ni ibatan kan fun wiwọn ipalara wẹẹbu ni China, wo Bamman, O'Connor, and Smith (2012) . Fun diẹ ẹ sii lori awọn ọna iṣiro bi ẹni ti a lo ninu King, Pan, and Roberts (2013) lati ṣe idaniloju ifarabalẹ ti awọn opo-milionu 11, wo Hopkins and King (2010) . Fun diẹ sii lori ẹkọ ayẹwo, wo James et al. (2013) (kere si imọran) ati Hastie, Tibshirani, and Friedman (2009) (imọ diẹ sii).

• Àsọtẹlẹ ati fifiranṣẹ bayi (apakan 2.4.2)

Awọn asọtẹlẹ jẹ ẹya nla ti imọ-ẹrọ ti iṣọn-iṣẹ (Mayer-Schönberger and Cukier 2013; Provost and Fawcett 2013) . Ọkan iru asọtẹlẹ ti o jẹ ti o ṣe nipasẹ awọn oluwadi awujọpọ jẹ asọtẹlẹ ti awọn eniyan; wo, fun apẹẹrẹ, Raftery et al. (2012) .

Ṣiṣejade Ọna ti Google kii ṣe ise agbese akọkọ lati lo data iwadi lati fagiba aarun ayọkẹlẹ bayi. Ni otitọ, awọn oluwadi ni Amẹrika (Polgreen et al. 2008; Ginsberg et al. 2009) ati Sweden (Hulth, Rydevik, and Linde 2009) ti ri pe awọn ọrọ iṣawari kan (fun apẹẹrẹ, "aisan") ṣe asọtẹlẹ iṣeduro ilera ilera gbogbo eniyan data ṣaaju ki o to tu silẹ. Lẹhinna ọpọlọpọ, ọpọlọpọ awọn agbese miiran ti gbiyanju lati lo awọn nọmba ti a wa kakiri oni fun ayẹwo iwo-kakiri aisan; wo Althouse et al. (2015) fun awotẹlẹ.

Ni afikun si lilo data ti a ti n ṣalaye lati ṣafihan awọn abajade ilera, nibẹ ti tun ti pọju iṣẹ kan nipa lilo data Twitter lati ṣe asọtẹlẹ awọn esi idibo; fun awọn ayẹwo wo Gayo-Avello (2011) , Gayo-Avello (2013) , Jungherr (2015) (ori 7), ati Huberty (2015) . Nisisiyi ti awọn ifiyesi ọrọ-aje, bii ọja-ara ile-iṣọ nla (GDP), tun wọpọ ni awọn bèbe iṣagbe, wo Bańbura et al. (2013) . tabili 2.8 pẹlu awọn apejuwe diẹ ti awọn ẹrọ ti o lo iru ipo oni-nọmba lati ṣe asọtẹlẹ iru iṣẹlẹ kan ni agbaye.

Nikẹhin, Jon Kleinberg ati awọn alabaṣiṣẹpọ (2015) ti ṣe akiyesi pe awọn iṣoro asọtẹlẹ ba ṣubu sinu awọn isọri ti o yatọ meji, ti awọn iyatọ ati pe awọn onimo ijinlẹ sayensi ti fẹ lati fi oju si ọkan ati ki o kọju si ẹlomiiran. Fojuinu ẹnikan ti o ṣe eto imuro, Emi yoo pe Anna, ẹni ti o kọju si igba otutu ati pe o gbọdọ pinnu boya lati bẹwẹ kan shaman lati ṣe igbi ti omi lati mu alekun sii. Oludari imulo miiran, Emi yoo pe Betty, o gbọdọ pinnu boya o mu agboorun lati ṣiṣẹ lati yago fun nini tutu lori ọna ile. Awọn mejeeji Anna ati Betty le ṣe ipinnu ti o dara ju ti wọn ba ni oye ọjọ, ṣugbọn wọn nilo lati mọ ohun miiran. Anna nilo lati ni oye boya iṣun omi ti n mu omi rọ. Betty, ni ida keji, ko nilo lati ni oye ohunkohun nipa ṣiṣe; o nilo awọn apesile deede. Awọn oluwadi ti awọn awujọ nṣe idojukọ lori awọn iṣoro bi ẹni ti Anna-eyi ti Kleinberg ati awọn ẹlẹgbẹ pe awọn iṣoro eto imulo "iru-didin" -iran pe wọn ni awọn ibeere nipa idiwọ. Awọn ibeere bi ẹni ti Betty-eyi ti Kleinberg ati awọn alabaṣiṣẹpọ ti nkọju si awọn iṣoro eto imulo "agbohun-bi" le tun ṣe pataki ju, ṣugbọn ti ko ni ifojusi diẹ sii lati awọn oluwadi awujọ.

• Awọn abawọn to sunmọ (apakan 2.4.3)

Iwe akosile PS Political Science ní apero kan lori data nla, idiyele idiyele, ati imọran ti iṣelọpọ, ati Clark and Golder (2015) ṣe apejuwe ipinnu kọọkan. Iwe akọọlẹ Awọn ilana ti Awọn Ile-ẹkọ ti Ile-ẹkọ giga ti Ile-ẹkọ giga ti Ilu Amẹrika ti Amẹrika ni ipade kan lori idiyele idibajẹ ati data nla, ati Shiffrin (2016) ṣe apejuwe ipinnu kọọkan. Fun ẹkọ imọran ti o ṣe igbiyanju lati ṣawari awari awọn adayeba ni inu awọn orisun data nla, wo Jensen et al. (2008) , Sharma, Hofman, and Watts (2015) , ati Sharma, Hofman, and Watts (2016) .

Ni awọn alaye ti awọn adanwo adayeba, Dunning (2012) pese ipilẹ kan, itọju ipari-iwe pẹlu ọpọlọpọ apẹẹrẹ. Fun wiwo ti o ni imọran ti awọn adanwo adayeba, wo Rosenzweig and Wolpin (2000) (ọrọ-aje) tabi Sekhon and Titiunik (2012) (imọ-ọrọ iselu). Deaton (2010) ati Heckman and Urzúa (2010) jiyan pe iṣojukọ lori awọn adanwo adayeba le mu awọn oluwadi ni idojukọ lori sisọ awọn ipa ti o ṣe pataki laiṣe; Imbens (2010) afiwe awọn ariyanjiyan wọnyi pẹlu ireti ireti diẹ sii nipa iye awọn adanwo adayeba.

Nigbati o ba ṣe apejuwe bi aṣa kan ṣe le lọ lati isọdọri ipa ti a ṣe akosile si ipa ti sisin, Mo ti apejuwe ilana ti a pe ni awọn ayipada ohun-elo . Imbens and Rubin (2015) , ninu awọn ori ori 23 ati 24, pese iṣeduro kan ati lilo fifa ti o ṣe ayẹwo yiya bi apẹẹrẹ. Awọn ipa ti iṣẹ ologun lori awọn ọmọ-iṣẹ ti a npe ni idibajẹ idibajẹ ti o pọju (CACE) ati igba miiran ti itọju abojuto agbegbe (LATE). Sovey and Green (2011) , Angrist and Krueger (2001) , ati Bollen (2012) ṣe agbeyewo awọn lilo awọn ohun-elo awọn ohun-elo ninu ijinle oloselu, aje, ati imọ-ọrọ, ati Sovey and Green (2011) pese "akojọ awọn oluka" fun iṣiro awọn ẹrọ-ẹrọ nipa lilo awọn iyipada okiki.

O wa jade pe awọn ayẹyẹ tuntun ti ọdun tuntun ko ṣe, ni otitọ ti o ni idiyele daradara; diẹ ninu awọn iyatọ kuro ni ailewu funfun (Fienberg 1971) . Berinsky and Chatfield (2015) ṣe ariyanjiyan pe iyipada kekere yi kii ṣe pataki pataki ati ki o jiroro lori pataki ti a ṣe iṣedede iṣedede.

Ni awọn iwulo ti o baamu, wo Stuart (2010) fun atunyẹwo ireti, ati Sekhon (2009) fun atunyẹwo ireti. Fun diẹ ẹ sii lori irufẹ bi iru pruning, wo Ho et al. (2007) . Wiwa idaraya pipe kan fun eniyan kọọkan ni igba ti o ṣoro, ati eyi n ṣafihan nọmba ti awọn ohun elo. Ni akọkọ, nigbati awọn ibaamu gangan ko ba wa, awọn oluwadi nilo lati pinnu bi a ṣe le ṣe iwọn iwọn laarin awọn ẹya meji ti o ba jẹ pe ijinna ti a fun ni o sunmọ to. Iyatọ keji waye bi awọn oluwadi ba fẹ lati lo awọn ere-kere pupọ fun ọkọọkan ninu ẹgbẹ iṣoogun, niwon eyi le ja si iṣiro diẹ sii. Meji awọn oran yii, bii awọn ẹlomiiran, ni a ṣe alaye ni apejuwe awọn ni ori 18 ti Imbens and Rubin (2015) . Wo tun Apá II ti ( ??? ) .

Wo Dehejia and Wahba (1999) fun apẹẹrẹ ni awọn ọna ti o baamu ti o le ṣe awọn nkan-iṣiro irufẹ si awọn ti o jẹ idanwo iṣakoso ti a darukọ. Ṣugbọn, wo Arceneaux, Gerber, and Green (2006) ati Arceneaux, Gerber, and Green (2010) fun awọn apeere ibi ti awọn ọna ti o baamu ko kuna lati ṣe idaniloju ami-iṣowo kan.

Rosenbaum (2015) ati Hernán and Robins (2016) pese imọran miiran fun wiwa awọn afiwera ti o wulo ni awọn orisun data nla.