ʻO ka mea e heluhelu ai i ka wā aʻe
- Hōʻike (mokuna 4.1)
ʻO nā nīnau e pili ana i ka hopena o ka noiʻi kaiaulu e maʻalahi a maʻalahi. No ka hopena kumuhana no ka hopena e pili ana i nā kiʻi graphic, e nānā i Pearl (2009) , a no kahi hanana kumuhana e pili ana i nā hualoaʻa hopena, e nānā i Imbens and Rubin (2015) . No ka hoʻohālikeʻana ma waena o kēia mau alaʻelua, e nānā iā Morgan and Winship (2014) . No kaʻae kūpono e wehewehe i kahi mea hoʻokūkū, e nānā iā VanderWeele and Shpitser (2013) .
Ma kēia mokuna, ua hana wau i kahi mea i like me ke kukui mālamalama ma waena o ko mākou hiki ke hana i nā koho kūpono mai nāʻike hoʻokolohua a me nāʻikeʻole. Eia naʻe, ke manaʻo nei au,ʻo ka mea maoli, uaʻano pōkole loa ka hoʻohanohano. Eia kekahi laʻana, hiki i nā mea a pau keʻae i ka puhiʻawaʻawa i ka maʻi kanesa, akāʻaʻole i hanaʻia kekahi ho'āʻo hoʻokolohua i hoʻonohonohoʻia e kaohi i nā kānaka e puhi. No nā hōʻailona maikaʻi loa o nā puke ma ka hoʻonohonohoʻana i nā koho kuhi mai nāʻikeʻikeʻole iʻikeʻia e Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , a me Dunning (2012) .
Ma mua o ka Mokuna 1 a me ka 2 o Freedman, Pisani, and Purves (2007) ke hoʻolaha iki nei i nāʻokoʻa ma waena o nā hoʻokolohua, nā hoʻonaninanaʻana, a me nā hoʻokolohuaʻana i hoʻonohonohoʻia.
Manzi (2012) he hoʻolaha kūpono a hiki ke hoʻomaopopoʻia i nā haʻawina noʻonoʻo a me nāʻikepili o nā hoʻokolohuaʻana i hoʻonohonohoʻia. Hoʻolako pūʻia kekahi mau hiʻohiʻona nui loa o ka mana o ka hoʻokolohua ma kaʻoihana. Issenberg (2012) kahi hoʻolaha maikaʻi i ka hoʻohanaʻana i ka hoʻokolohua ma nāʻoihana politika.
- He aha nā hoʻokolohua? (mahele 4.2)
Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, a me Athey and Imbens (2016b) hoʻolako i nā mea hoʻolauna maikaʻi i nāʻano helu helu o ka hoʻomohala hoʻokolohua a me ka nānā. Eia, he mea maikai loa kūlana kanaka o ka pono o ka ho okolohua ma na mea he nui kekahi mau kula:? Aneia iainiiaaiea (Bardsley et al. 2009) , Sociology (Willer and Walker 2007; Jackson and Cox 2013) ,ʻike manaʻo (Aronson et al. 1989) , Ka manaʻo politika 'epekema (Morton and Williams 2010) , a me nā kulekele pili aupuni (Glennerster and Takavarasha 2013) .
ʻO ka nui o ke komoʻana o ka haumāna (ma ka lā, sampling) i ka manawa i mahalo nuiʻia i ka noiʻi hoʻokolohua. Eia naʻe, inā heʻano likeʻole ka hopena o ka hōʻailona ma ka heluna kanaka, a laila he mea koʻikoʻi ka sampling. Longford (1999) ho'ākāka nei i kēia manawa ke'ōleloʻo ia no nā mea noiʻi e noʻonoʻo ana i nā hoʻokolohua e like me ka loiloi lāhui e pili ana i ka hoʻomohala kiʻi.
- ʻElua mauʻano o nā ho'āʻoʻana: kahi pālahalaha a me kahi analog-kānakahi (mahele 4.3)
Ua'ōlelo aku wau aia he hoʻomau ma waena o nā nūpepa a me nā hoʻokolohua, aʻo nā mea noiʻi'ē aʻe ua hoʻolālā i nā kiko'ī piha hou, i nā mea e hoʻokaʻawale i nāʻano likeʻole o nā ho'āʻo hoʻolālā (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .
Ua hoʻohālikelike kekahi mau pepa i nā loiloi a me nā hoʻolālā ma nā mea maʻamau (Falk and Heckman 2009; Cialdini 2009) a ma keʻano o nā hopena o nā hoʻokolohua maʻamau (Coppock and Green 2015) science (Coppock and Green 2015) science (Coppock and Green 2015) , ka waiwai waiwai (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , a me ka'ikekino (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) hāʻawi i kahi hoʻolālā noiʻi maikaʻi no ka hoʻohālikelikeʻana i nā hualoaʻa mai ka papa hana a me nā hoʻolālā hoʻolālā. Parigi, Santana, and Cook (2017) e ho'ākāka ana i kaʻikeʻana o nā hoʻolālā honua i kekahi o nā hiʻohiʻona o ka ho'āʻo a me nā hoʻokolohua.
ʻO ka hopohopo e pili ana i ka poʻe loli e hoʻololi ana i kā lākou hana no ka mea ua maopopo lākou i ka nānāʻiaʻana i kekahi manawa ua kapaʻia lākou he hopena koi , a ua aʻoʻia lākou i loko o ke kālaikala (Orne 1962) a me nā waiwai waiwai (Zizzo 2010) . ʻOiai ka hapanui e pili ana me nā hoʻokolohua loiloiʻana, hiki i kēia mau pilikia hoʻokahi ke hoʻopilikia i nā pilikia no nā hoʻokolohua. I ka mea, koi 'ole i kekahi i kekahi manawa, i kapaʻia Hawthorne loa, he manawa e loaa i ka mea kaulana hoʻomālamalama ho okolohua e hoomaka i ka makahiki 1924 ma ka Hawthorne Hana Hou o ka Western uila Company (Adair 1984; Levitt and List 2011) . ʻO nā hopena koiʻelua a me nā hopena Hawthorne e pili kokoke ana i ka manaʻo o ke anaʻana o ka'āpana ana i kūkāʻia ma ka Mokuna 2 (e nānā iā Webb et al. (1966) ).
Heʻike lōʻihi ka hoʻolālāʻana o ka hoʻolālāʻana (Levitt and List 2009) ,ʻo kaʻepekema politika (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , (Shadish 2002) , a me nā kulekele aupuni (Shadish and Cook 2009) . ʻO kahi kahi o kaʻikepili kaiapuni kahi i lilo koke ai nā hoʻokolohua o kaʻoihana i ka uluʻana o ka honua. No ka loiloi maikaʻi o kēlā hana ma loko o kaʻike waiwai,ʻike iā Banerjee and Duflo (2009) , a no kaʻike koʻikoʻi, e nānā iā Deaton (2010) . No ka loiloiʻana i kēia hana ma kaʻikeʻike politika, eʻikeʻo Humphreys and Weinstein (2009) . I ka hopena, uaʻimiʻia nā kūlana hana kūpono mai nā hoʻokolohua o ka hoʻolālā ma ka poʻomanaʻo o kaʻepekema politika (Humphreys 2015; Desposato 2016b) a me nā hoʻolālā ulu waiwai (Baele 2013) .
Ma kēia māhele, ua'ōlelo wau e hiki ke hoʻohanaʻia nāʻike ma mua o ka hoʻolālāʻana e hoʻonui i ka pololei o nā hopena o ka hoʻomaʻamaʻaʻana, akā, aia ka hoʻopaʻapaʻa e pili ana i kēia ala; e nānā i Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , a me Bloniarz et al. (2016) no kaʻike hou aku.
Ma ka hopena,ʻelua mauʻano hoʻokolohua'ē aʻe i hanaʻia e nā meaʻepekema eʻikeʻole i keʻano kūpono ma ka hoʻolālāʻana o kaʻoihana: nā hoʻokolohua a me nā hoʻokolohua pilikanaka. Hoʻomalohua nā hoʻokolohua i nā pilina e hoʻohana ana i ka pilina o nā noiʻi e kū nei a hoʻohālike i nā pane i nāʻano likeʻole o nā nīnau likeʻole (hōʻikeʻia kekahi mau hoʻokolohua i ka Mokuna 3); no nā mea hou e pili ana i nā hoʻokolohuaʻimi noiʻi e nānā i Mutz (2011) . He mau hoʻokolohua kaiaulu kahi e hana ai ka lāʻau i kahi kulekele pili ola e hiki ke hoʻohana waleʻia e ke aupuni. Ua pili kokoke nā loina kaiaulu i ka hoʻolālā papahana. No kaʻike hou aʻe e pili ana i nā hoʻolālā o ka kulekele, eʻike iā Heckman and Smith (1995) , Orr (1998) , a me @ glennerster_running_2013.
- Ka neʻeʻana ma mua o nā ho'āʻo hikiʻole (mahele 4.4)
Ua koho wau e kau aku ma luna oʻekolu mau manaʻo: ka mana, ka nui o nā hopena a me nā hana. ʻO kēia mau manaʻo he mau inoa likeʻole i nāʻano likeʻole. Eia kekahi laʻana, hoʻonāukiuki nā meaʻepekema i kahi o nā hoʻokolohua maʻalahi ma o ka nānāʻana i nā mea kūkā a me nā mea hoʻohālikelike (Baron and Kenny 1986) . Ke hopuʻia nei ka manaʻo o nā mea lawelawe e ka mea aʻu i kapa ai i nā hana, aʻo ka manaʻo o nā mea kūkākūkā e hopuʻia e ka mea aʻu i kapa aku ai i ka mana kūwaho (e like me nāʻano o ka hoʻokolohua likeʻole inā e holo ana ma nāʻano likeʻole) a me ka nui o nā hopena o nā maʻi ( no ka mea, he nui nā mea iʻoi aʻe no kekahi poʻe ma mua o nā mea'ē aʻe).
ʻO ka hoʻokolohua e Schultz et al. (2007) e hōʻike ana pehea e hoʻohanaʻia ai nā loiloi kaiapuni e hoʻolālā i nā hana kūpono. No kekahi pane e pili ana i keʻano o ke kumumanaʻo i ka hanaʻana i nā hana kūpono, eʻike iā Walton (2014) .
- Ka mana kūpono (paukū 4.4.1)
Ua hoʻokomo muaʻia nā manaʻo o ka pono a me waho e Campbell (1957) . Eʻike iā Shadish, Cook, and Campbell (2001) no ka moʻolelo i piha aku i ka moʻolelo a me ka hoʻoponopono ponoʻana i ka hopena o kaʻike helu, ka pono kūloko, ka pono hana, a me ka pono kūloko.
No ka nānāʻana i nā pilikia e pili ana i ka hopena heluʻikepili i nā hoʻokolohua eʻike iā Gerber and Green (2012) (mai kahiʻikeʻikeʻikepili) a me Imbens and Rubin (2015) (mai kahiʻikepili helu). ʻO kekahi o nā hopena o ka hopena o ka hopena helu e kū nei ma nā hoʻokolohua ma ka pūnaewele me nā hihia e like me nā hana pono no ka hoʻokumuʻana i nā kuhi hilinaʻi me nāʻike pilikino (Bakshy and Eckles 2013) .
Hiki ke paʻakikī i kaʻike pono i loko o nā hoʻomolohua o ka māhele koʻikoʻi. E nānā, e like paha me Gerber and Green (2000) , Imai (2005) , a me Gerber and Green (2005) no ka paio e pili ana i ka hoʻokōʻana i kahi hoʻokolohuaʻoihana nui e pili ana i ka koho. Kohavi et al. (2012) a me Kohavi et al. (2013) hoʻolako i kahi hoʻokomoʻana i nā pilikia o ka wā kūpono ma nā hoʻolālā āpau pūnaewele.
ʻO kahi mea hōʻeha nui i ka pono kūloko o ka hikiʻole paha ke liloʻole i ka randomisk. ʻO kahi o ka hana eʻike ai i nā pilikia me ka randomization ka hoʻohālikelikeʻana i nā māhele a me nā pūʻulu mālama ma nā hiʻohiʻona nānā. ʻO kēiaʻano hoʻohālike ua kapaʻiaʻo ka pale pale . Eʻike i ka Hansen and Bowers (2008) no ka helu helu i nā palekana palekana a me Mutz and Pemantle (2015) no nā mea e pili ana i nā palekana kaulike. Eia kekahi laʻana, ma ka hoʻohanaʻana i kahi helu palekana, Allcott (2011) i kekahi mau hōʻike i ka hoʻokōʻoleʻiaʻana o ka hoʻonohonohoʻana iʻekolu o nā ho'āʻoʻana o Opower (e nānā i ka papa 2, mau pūnaewele 2, 6 a me 8). No nāʻaoʻao'ē aʻe, e nānā i ka mokuna 21 o Imbens and Rubin (2015) .
ʻO nā mea'ē aʻe e pili ana i ka pono kūloko,ʻo ia nō: (1) kū'ēʻole i kahiʻaoʻao, kahi i loaʻaʻole ai ka lawelaweʻana i nā poʻe a pau i loko o ka pūʻulu maʻamau, (2) mau kīkoʻoʻelua, kahi i loaʻaʻole ai i ka poʻe loaʻa i ka pūʻulu papaʻi ka lāʻau lapaʻau, (3) attrition, kahi i kauʻoleʻia nā hopena no kekahi mau mea komo, a me (4) paʻiʻana, ma kahi e hoʻokuʻuʻia ai ka maʻi i nā poʻe ma keʻano maʻi i nā poʻe i ke kaʻina hana. E nānā i nā mokuna 5, 6, 7, a me 8 o Gerber and Green (2012) no kaʻike hou aku i kēia mau hihia.
No nā mea hou aʻe no ke kūkuluʻana i ka pono, eʻike iā Westen and Rosenthal (2003) , a no ka mea hou aku i ka hana kūpono i nā kumuʻike nui, Lazer (2015) a me ka mokuna 2 o kēia puke.
ʻO kahiʻano o ka pono maoli i kahi kahi i ho'āʻoʻia ai ka hana. Allcott (2015) i nā'ōlelo noʻeau a me ka hōʻailona o kaʻikeʻana o ka pūnaewele. ʻO Deaton (2010) . ʻO kekahi hiʻohiʻona o ka pono maoli ma waho keʻano o nā hana hana'ē aʻe o ka hāʻina like like me nā hopena like. I kēia hihia, he hōʻailona ma waena o Schultz et al. (2007) a me Allcott (2011) e hōʻike ana he mau hana hoʻohālike i hoʻoholoʻia ma loko o Opower ma mua o nā hoʻokolohua mua a Schultz a me nā hoahana (1.7% ma mua o 5%). Allcott (2011) i nā hopena o nā hoʻokolohua ma muli o nāʻano i likeʻole ai keʻano o nā mea: he emoticon lima i kākauʻia e like me kahi o kahi noiʻi i kākoʻoʻia e kahi kulanui, i ka hoʻohālikelikeʻana i kahi emoticon printed hōʻike mai i kahi hui mana.
- ʻO ka hōʻawe o nā hopena hoʻoponopono (Section 4.4.2)
No kaʻike maikaʻi loa o ka hōʻailona o nā hopena o nā maʻi ma nā hoʻokolohua hoʻolālā, e nānā i ka mokuna 12 o Gerber and Green (2012) . No ka ho'ākākaʻana i ka nui o nā hopena o nā maʻi ma nā hoʻokolohua lāʻau, e nānā iā Kent and Hayward (2007) , Longford (1999) , a me Kravitz, Duan, and Braslow (2004) . ʻO nā kūkākūkā o ka heterogeneity o nā hoʻoponopono hopena e pili ana i nāʻokoʻa e pili ana i nāʻano hana mua. Inā makemakeʻoe i kaʻikeʻole e pili ana i ka hopena o ka hopena o ka hopena, a laila e makemakeʻia nā hanana iʻoi aku ka pilikia, e like me ke kāohi nui (Frangakis and Rubin 2002) ; e nānā i Page et al. (2015) no ka loiloi.
He nui nā kānaka noiʻi e hoʻohālikelike i ka nui o nā hopena o nā maʻi e hoʻohanaʻia ana i ka hoʻohālikelike laina, akāʻo nā mea hou ke kālele ma ka aʻoʻana i ka mīkini; e nānā, e like paha, Green and Kern (2012) , Imai and Ratkovic (2013) ,ʻo Taddy et al. (2016) , a me Athey and Imbens (2016a) .
Aia kekahi manaʻo kānalua e pili ana i nāʻike o ka likeʻole o nā hopena no ka pilikia o nā pilikia likeʻole a me ka "lawaiʻa." He mau hanana helu likeʻole e hiki ai ke kōkua i nā pilikia e pili ana i ka hoʻohālikelike likeʻole (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . ʻO kahi e pili ana i nā mea e pili ana i ka "lawaiʻa" mua o ka hoʻopaʻa inoaʻana, a me ka hoʻonuiʻana i ka loiloi i loko o nā kālaikala (Nosek and Lakens 2014) ,ʻo ka hoʻonaʻauao politika (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , a me nā mea waiwai (Olken 2015) .
Ma ka haʻawina na Costa and Kahn (2013) wale ke pili i ka hapalua o nā home i ka hoʻokolohua i kaʻikepili lāhui. Pono nā mea heluhelu e makemake i kēia mau kiko'ī i ka pepa mua.
- Nā Mahele (mahele 4.4.3)
He mea koʻikoʻi nā hana, akā, ua paʻakikī ke aʻoʻana. ʻO nāʻimi noiʻi e pili ana i nāʻano pili pili i ka noiʻana o nā mea nīnau ma keʻano loiloi (akā e nānā pū iā VanderWeele (2009) no ka hoʻohālike kūlike ma waena o nā manaʻoʻelua). ʻO nā pae helu statistical no ka loaʻaʻana o nā hana, e like me keʻano i hanaʻia ma Baron and Kenny (1986) , he mea maʻamau. ʻO ka mea pōʻino, ua hoʻololiʻia kēlā mau kaʻina hana ma luna o kekahi mau manaʻo ikaika (Bullock, Green, and Ha 2010) aʻeha i ka wā he nui nā hana, e like me ka mea e manaʻoʻia i nā manawa he nui (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) a me Imai and Yamamoto (2013) hāʻawi aku nei i kekahi mauʻano helu loiloi maikaʻi. Eia hou, VanderWeele (2015) hāʻawi aku i kahi hana lōʻihi o ka puke-nui a me nā hualoaʻa he nui, e like me keʻano maʻamau o kaʻikeʻana i kaʻike.
ʻO kahi kaʻawale kaʻawale ka nānāʻana i nā ho'āʻo e ho'āʻo ai e hoʻolima i ke ala pololei (e like me ka hāʻawiʻana i ka meaʻai C). ʻO ka mea pōʻino, ma nāʻano hoʻonaʻauaoʻenehana kaiaulu, he nui nāʻano hana a he paʻakikī ke hoʻolālā i nā hōʻailona e hoʻololi i kahi me ka hoʻololiʻole i nā mea'ē aʻe. ʻO kekahi mau ala e hōʻano'ē i nā mechanical e hōʻikeʻia e Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , a me Pirlott and MacKinnon (2016) .
Pono nā mea e noi ana e hoʻomohala i nā hoʻokolohua nui e pili ana i nā hoʻokolohua kuhiakau he nui; ʻike iā Fink, McConnell, and Vollmer (2014) a me ka List, Shaikh, and Xu (2016) no kaʻike hou aku.
ʻO ka hopena, nā hana e lōʻihi loa i kaʻikepili o kaʻepekema e like me ka ho'ākākaʻia e Hedström and Ylikoski (2010) .
- Ke hoʻohanaʻana i nā wahi āpau e noho nei (mahele 4.5.1)
No nā mea hou aʻe no ka hoʻohanaʻana i nā noi kākauʻana a me nāʻike loiloi e ana i ka hoʻowahāwahā, e nānā iā Pager (2007) .
- E hana i kāu hoʻokolohua pono'ī (mahele 4.5.2)
ʻO ke ala maʻamau o ka hoʻouluʻana i nā haumāna i nā hoʻokolohua āu e kūkulu nei,ʻo Amazon Mechanical Turk (MTurk). Ma muli o ke kuhiʻana o MTurk i nā hiʻohiʻona o nā loiloi maʻalahi e uku i nā kānaka no ka hoʻopauʻana i nā hana e hanaʻole ai lākou no ka meaʻole-ua nui nā mea noiʻi i hoʻomaka e hoʻohana i ka poʻe Turkers (nā mea hana ma MTurk) ma keʻano he mau hoʻokolohua. i nā hoʻokolohua hoʻolālāʻokoʻa o ka pā kula (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .
ʻO ka mea maʻamau,ʻo nā mea nui loa o ka hoʻokomoʻana i nā mea i loaʻa mai iā MTurk e loiloi. ʻOiai e hiki i nā ho'āʻo ho'āʻo ke hana i nā hebedoma e holo a hoʻonui nā hoʻokolohua hoʻolālā i nā mahina i hoʻonohonohoʻia, hiki i nā haumāna ke hoʻokolohuaʻia mai MTurk i nā lā. No kekahi laʻana, ua hiki iā Berinsky, Huber, and Lenz (2012) ke hoʻolālā i 400 mau kumuhana i hoʻokahi lā e komo i kahi hoʻokolohua 8 minuke. Eia hou, e hiki ke hoʻoneʻeneʻeʻia kēia mau mea no kekahi kumuhana (e like me nā noiʻi a me ka hui kaiaulu, e like me ka mea i kūkāʻia ma nā mokuna 3 a me 5). ʻO kēia māmā o ka hoʻolālāʻana,ʻo ia hoʻi, hiki i nā mea noi ke holo i nā hopena o nā hoʻokolohua pili like i ka holomua.
Ma mua o ka hoʻounaʻana i nā hui mai MTurk no kāu mau hoʻokolohua, aia nā mea nuiʻehā e pono aiʻoe eʻike. ʻO ka mea mua, he nui nā mea noiʻi iʻikeʻole i nā manaʻo o Turkers. Ma muli o ka manaʻoʻole o kēia kānalua, hikiʻole ke kū'ē i nā hōʻike. Eia naʻe, ma hope o nā makahiki he nui o ka hoʻonaʻauaoʻana me nā poʻe Turkers, hiki iā mākou ke hoʻopau i ka hoʻopukaʻoleʻana o kēia skepticism. Ua nui nāʻike e hoʻonui ana i nā māmā o nā Turkers a me nā kānaka'ē aʻe a me nāʻike he nui e hoʻohālikelike ana i nā hopena o nā hoʻokolohua me nā Turkers me nā kānaka'ē aʻe. Ke hāʻawi nei au i kēia hana a pau,ʻo wauʻo ke ala maikaʻi loa iāʻoe e noʻonoʻo aiʻo iaʻo Turkers he mea kūpono kūpono maikaʻi, e like me nā haumāna akāʻoi iki keʻano (Berinsky, Huber, and Lenz 2012) . No laila, e like me nā haumāna he heluna kūlana kūpono no kekahi, akā,ʻaʻole i nā mea a pau, ka noiʻi,ʻo Turkers he lāhui kūpono no kekahi, akā,ʻaʻole i nā mea a pau, ka noiʻi. Ināʻoe e hana pū me nā poʻe Turkers, a laila, kūpono ka heluheluʻana i nā haʻawina likeʻole aʻike i ko lākou mau nuances.
ʻO ka lua, ua hana nā mea noiʻi i nā hana maikaʻi loa no ka hoʻonuiʻana i ka pono kūloko o nā hoʻokolohua MTurk, a ponoʻoe e aʻo a pili i kēia mau hana maikaʻi (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Eia kekahi laʻana, ua paipaiʻia nā mea noiʻi e hoʻohana i nā poʻe Turkers e hoʻohana i nā mea nānā e hoʻokuʻu i nā mea nānā (Berinsky, Margolis, and Sances 2014, 2016) (akā eʻike pū iā DJ Hauser and Schwarz (2015b) a me DJ Hauser and Schwarz (2015a) ). Ināʻaʻoleʻoe e hoʻokuʻu i nā mea nānā makaʻalaʻole, a laila, hiki ke holoiʻia kekahi hopena o ka lāʻau e ka leo a lākou e hoʻokomo mai ai, a ma ka hana maʻamau ka nui o nā mea nānāʻole i ke anaina. I ka hoʻokolohua a Huber a me nā hoahana (2012) , kahi i loaʻa 30% o nā mea i komo i loko o ka papahana i hōʻole i nā mea nānā pono. ʻO nā pilikia'ē aʻe e ulu ana i ka wā e hoʻohanaʻia aiʻo Turker, he poʻeʻaʻohe oʻoleʻa (Chandler et al. 2015) a me ka hoʻolālā (Zhou and Fishbach 2016) .
ʻO ke kolu, pili i kekahi mauʻano likeʻole o nā hoʻokolohua maha,ʻaʻole hiki i nā hoʻokolohua MTurk ke kaupaona; Stewart et al. (2015) hoʻohālikelike i ka manawa i hāʻawiʻia ai aia he 7,000 wale nō kānaka ma MTurk.
I ka hopena, ponoʻoe eʻike he wahi kaiāuluʻo MTurk e pili ana i kona mau rula a me kona mau rula (Mason and Suri 2012) . Ma keʻano likeʻoe e ho'āʻo ai eʻike e pili ana i ka nohona o kahi'āina kahi āu e holo ai i kāu mau hoʻokolohua, e ho'āʻoʻoe eʻike hou e pili ana i ka moʻomeheu a me nā kūlana o nā Turkers (Salehi et al. 2015) . A eʻikeʻoe e kamaʻilio ana ka poʻe Turkers e pili ana i kāu hoʻokolohua inā hanaʻoe i kekahi mea kūponoʻole aʻaʻole ponoʻole (Gray et al. 2016) .
He ala kūpono loa ka heleʻana o ka papahele i kāu mau hanana, inā paha e like me Huber, Hill, and Lenz (2012) , aʻoi aku paha nāʻano likeʻole, e like me ka Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , ame Mao et al. (2016) .
- Hana i kāu huahana pono'ī (paukū 4.5.3)
Inā noʻonoʻoʻoe e ho'āʻo e hana i kāu huahana pono'ī, makemake au e heluheluʻoe i ka'ōlelo aʻo i hāʻawiʻia e ka hui MovieLens ma Harper and Konstan (2015) . ʻO kahiʻike nui mai kā lākouʻikeʻana,ʻo ia no kēlā me kēia papahana holomua e nui ana ka nui o nā hemahema. Eia kekahi laʻana, ua hoʻokumuʻia e ka Hui MovieLens nā huahana'ē aʻe, e like me GopherAnswers, nā pauku pauʻole (Harper and Konstan 2015) . ʻO kekahi kumu'ē aʻe o ka mea noiʻi e hāʻule anaʻo ia e ho'āʻo ana e kūkulu i kahi huahana,ʻo iaʻo Edward Castronova e ho'āʻo e kūkulu i kahi pāʻani pūnaewele i kapaʻiaʻo'Arden. Me ka $ 250,000 ma ke kālā,ʻo ka papahana he flop (Baker 2008) . ʻO nā papahana e like me GopherAnswers a me'Arden he mea maʻalahi loa ia ma mua o nā papahana e like me MovieLens.
- Pāʻokoʻa me ka mana (mahele 4.5.4)
Ua lohe au i ka manaʻo o ka Quadrant a Pasteur e kamaʻilio pinepineʻia ana i nā tech tech, a ke kōkua nei ia i ke kūkuluʻana i nā hana noiʻi ma Google (Spector, Norvig, and Petrov 2012) .
ʻO ka hana a Bond a me nā hoahana (2012) ke ho'āʻo nei eʻike i ka hopena o kēia mau hōʻailona ma nā hoaaloha o ka poʻe i loaʻa iā lākou. Ma muli o ka hoʻolālāʻana o ka hoʻokolohua, ua paʻakikī kēia mau'ōpala i kaʻike maʻalahi; Pono nā mea heluhelu maikaʻi eʻike iā Bond et al. (2012) no kahi kūkā maikaʻiʻana. Ua hana pūʻo Jones a me nā hoa hana (2017) i kahi hoʻokolohua like like me ka hoʻoholo koho o 2012. ʻO kēia mau hoʻokolohua he māhele ia o kahi moʻomeheu lōʻihi o nā hoʻokolohua ma kaʻepekema politika i nā hana e hāpai i ka koho (Green and Gerber 2015) . ʻO nā hoʻokolohua puka-ka-koho he loli, ma kahi hapa no ka mea aia lākou i loko o Pasteur's Quadrant. ʻO ia, nui nā poʻe i hoʻouluʻia i ka hoʻonuiʻana i ka koho a kohoʻia ka kohoʻana i nā hana kūpono no ka ho'āʻoʻana i nā kumumanaʻo nui e pili ana i ka loliʻana i ka loli a me ka pilikanaka.
No ka'ōlelo aʻo e pili ana i nā hoʻokolohua hoʻokolohua me nā hui likeʻole e like me nā hui politika, nā NGO, a me nāʻoihana,ʻike iā Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , a me Gueron (2002) . No nā manaʻo e pili ana i ka pilina a me nā hui e hiki ai ke hoʻoikaika i nā hana noiʻi, eʻike i King et al. (2007) a me Green, Calfano, and Aronow (2014) . Hiki i ka pilina paʻa ke alakaʻi i nā nīnau kūlike, e like me ka mea i'ōleloʻia e Humphreys (2015) a me Nickerson and Hyde (2016) .
- Nā aʻoaʻo kumuhana (mahele 4.6)
Inā makemakeʻoe e hoʻolālā i kahi hoʻonohonoho hoʻolālā ma mua o ka holoʻana i kāu hoʻokolohua, manaʻo wau e hoʻomakaʻoe ma ka heluheluʻana i nā kuhi hōʻike. Ua hoʻolālāʻia ka papahana (CONSORT (Standard Report Reporting Trials) i ka lāʻau lapaʻau (Schulz et al. 2010) a hoʻololiʻia no ka noiʻi kaiaulu (Mayo-Wilson et al. 2013) . Ua kūkuluʻia kekahi papahana alakaʻi e pili ana i nā mea hoʻoponopono o ka Pepa Hōʻikeʻike Hoʻokolohua (Gerber et al. 2014) (e nānā i ka Mutz and Pemantle (2015) a me Gerber et al. (2015) ). I ka hopena, ua hoʻomohalaʻia nā kulekele i loko o kaʻike loiloi (APA Working Group 2008) , aʻike hoʻi iā Simmons, Nelson, and Simonsohn (2011) .
Inā hanaʻoe i kahi hoʻolālā hoʻopili, ponoʻoe e noʻonoʻo e kākau mua i ka mea no ka meaʻo ka hoʻokaʻinaʻana e hoʻonui i ka hilinaʻi e loaʻa i kekahi i kāu mau hopena. Eia hou, ināʻoe e launa pū ana me kekahi hoa pili, e kaohi ia i ka hiki o kāu hoa e hoʻololi i ke kāʻei ma hope o kaʻikeʻana i nā hualoaʻa. Hoʻonui ka laulā mua i ka loiloikala (Nosek and Lakens 2014) , ka'enekema politika (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , a me economics (Olken 2015) .
Ua hōʻike pūʻia nā'ōlelo hoʻolālā no nā hoʻolālā āpau pūnaewele ma Konstan and Chen (2007) aʻo Chen and Konstan (2015) .
ʻO kaʻu mea i kapa aiʻo ka papahana o ka pūʻali koa kekahi manawa i kapaʻia heʻimi noiʻi polokalamu . e nānā iā Wilson, Aronson, and Carlsmith (2010) .
- E hoʻolālā i nāʻike kumukūʻai paʻamau (ʻaoʻao 4.6.1)
No nā mea hou aku ma nā hōʻike hoʻolālā MusicLab, eʻike iā Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , a me Salganik (2007) . No nā mea hou aku ma nā mākaʻi kūʻai lanakila a pau, eʻike iā Frank and Cook (1996) . No nā mea hou aʻe no nā luʻi a me nā akamai i Mauboussin (2012) , e nānā i Mauboussin (2012) , Watts (2012) , a me Frank (2016) .
Aia kekahi ala e hoʻopau ai i nā uku o nā haumāna e pono ai nā kānaka noiʻi e hoʻohana me ka lapaʻau: hoʻopaʻa. Ma ka hoʻolālā āpau o nā kahua pūnaewele, ua hoʻonohonoho ponoʻia nā haumāna i nā hoʻokolohua aʻaʻole i ukuʻia. ʻO nā hiʻohiʻona o kēiaʻano e pili ana i ka hōʻoia Restivo a me van de Rijt (2012) nā uku ma Wikipedia a me Bond a me ka hoa hana (2012) hoʻouluʻana i nā kānaka e koho balota. ʻAʻole kēia kumukūʻai he kumu kūʻaiʻole ākea-akā, loaʻa lākou i nā kumu kūʻai pālikiʻole i nā mea noiʻi . Ma ia mau ho'āʻoʻana,ʻoiai inā heʻuʻuku loa ka uku no kēlā me kēia haumāna, hiki ke nui loa ka uku hōʻuluʻulu. ʻO nā mea noiʻi e holo ana i nā hoʻokolohua pūnaewele nui e hoʻomaopopo pinepine i ka nui o nā hana hoʻomalu kūpono i manaʻoʻia e hiki ke lilo i kēia mau mea liʻiliʻi i mea nui ke hoʻohanaʻia i nā poʻe he nui. ʻO ka manaʻo likeʻana e pili ana i nā kumukūʻai a nā mea noiʻi e hoʻokomo ai i ka poʻe komo. Inā hoʻomolohua kāu hoʻokolohua hoʻokahi miliona mau kānaka i ka hoʻokahi minute,ʻaʻohe meaʻino i ka hoʻokolohua i kekahi kanaka, akā ma ka hōʻuluʻuluʻana, uaʻaneʻane kokoke iʻelua makahiki.
ʻO kekahi hana'ē aʻe no ka hanaʻana i ka uku o nā kumu kūʻai pānaʻiʻoleʻo ka hoʻohanaʻana i kahi loiloi, kahi i hoʻohana pūʻia i ka noiʻi noiʻi (Halpern et al. 2011) . No nā mea hou aʻe e pili ana i ka hoʻolālāʻana i nāʻike pilikino hauʻoli, e nānā i Toomim et al. (2011) . No nā mea hou e pili ana i ka hoʻohanaʻana i nā bots e hana i nā hoʻolālā hoʻokele waiwaiʻoleʻikeʻia ( ??? ) .
- Hoʻololi, Hoʻohui, a Hoʻoemi (mahele 4.6.2)
ʻO nāʻekolu R e like me ka mea i manaʻo muaʻia e Russell and Burch (1959) penei:
"Hope o ia hoʻi, ka substitution no ka mea, manao ola holoholona kiekie o insentient mea. Ka ho'ēmiʻana o ia hoʻi, ka ho'ēmiʻana i loko o ka heluna o na holoholona hoʻohana 'e loaa' ike no ka haawi nui a me ka miomio. Ano hoohanohano a 'o ia hoʻi kekahi emi iloko o ka incidence a me ka oolea o inhumane kaʻina hana pili i ka poe holoholona a nō ka mea e e hoohana ia. "
ʻO nāʻekolu R āu e hāpai nei,ʻaʻoleʻoe e kāpae i nāʻano kūpono i hōʻikeʻia ma ka Mokuna 6. Akā,ʻo ia kekahi o nāʻano papahana-ka maikaʻi-ma kahi o nā hoʻokolohua kanaka.
Ma keʻano o ka R mua ("pani pani"), e hoʻohālike ana i ka hoʻokolohua contagion (Kramer, Guillory, and Hancock 2014) a me ka hoʻokolohua kūlohelohe o ka naʻau (Lorenzo Coviello et al. 2014) hāʻawi aku i kekahi mau haʻawina nui e pili ana i ka hana pāʻoihana i ka hoʻohuliʻana mai nā hoʻokolohua i nā hoʻokolohua kūlohelohe (a me nā mea'ē aʻe e like me ka pilina e ho'āʻo ana e hōʻoko i nā hoʻokolohua ma kaʻikepiliʻole-ʻikepili; e nānā i ka mokuna 2). Ma waho aʻe o nā pono kūpono, hoʻololi i ka hoʻokolohuaʻana i nā haʻawina hoʻokolohuaʻole e hiki ai i ka poʻe noiʻi e noiʻi i nā hōʻailona e hikiʻole ai iā lākou ke hoʻolālā. Ke hele nei kēia mau pono kūpono a me nā loiloi i ka uku, akā. Me nā hoʻokolohua kūlohelohe,ʻaʻole i emi loa ka nānāʻana o nā noiʻi i nā mea e like me ka hoʻolālāʻana o ka poʻe komo, a me keʻano o ka hōʻailona. Eia kekahi laʻana, hoʻokahi ka palena o ka ua ma keʻano he lāʻau lapaʻauʻo ka hoʻonuiʻana i ka nui a me ka emiʻana o ka negativity. I loko o ka hoʻokolohua hoʻokolohua, akā naʻe, hiki i kā Kramer a me nā hoa hana ke hoʻololi i ka holomua a me keʻano pilikino. ʻO keʻano i hoʻohanaʻia e Lorenzo Coviello et al. (2014) ua ho'ākāka houʻia e L. Coviello, Fowler, and Franceschetti (2014) . No ka hoʻokomoʻana i nā kumukūʻai kahawai,ʻo ia ke ala i hoʻohanaʻia e Lorenzo Coviello et al. (2014) , e nānā i Angrist and Pischke (2009) (mea liʻiliʻi) a iʻole Angrist, Imbens, and Rubin (1996) (ʻoi aku keʻano). No ka hoʻolālā kānalua o nāʻano kikowaena hana, e nānā iā Deaton (2010) , a no kahi hoʻokomoʻana i nā hua'ōleloʻano hana me nā mea haʻahaʻa (he mea nāwaliwali ka ua,) e nānā iā Murray (2006) . ʻO nā mea'ē aʻe,ʻo Dunning (2012) , he hāʻawi maikaʻi loa i nā hoʻokolohua kūlohelohe.ʻO Rosenbaum (2002) , ( ??? ) , aʻo Shadish, Cook, and Campbell (2001) hāʻawi mai i nā manaʻo maikaʻi e pili ana i ka hopena o ka hopena me kaʻole o nā hoʻokolohua.
Ma nā 'ano o ka lua R ("hoʻonāʻemaʻe"), aia nāʻoihana hapekema a me kaʻoihana loiloi i ka hoʻololiʻana i ka hoʻolālā o Contagion Hoʻolohe mai ka paleʻana i nā pou i nā pou hou. Eia kekahi laʻana,ʻo ka hoʻokōʻana o ka News Feed, he mea maʻalahi ia e hana i kahi hoʻokolohua kahi i kāohiʻia ai nā pou ma kahi o kahi e hoʻonuiʻia ai lākou (e hoʻomaopopo i kahi hoʻokolohua e pili ana i ke paniʻana o nā pou i hiki ke hoʻokōʻia e like me kahi papa ma luna o ka News Feed pūnaewele me kaʻole pono e hoʻololi i ke kumuhana paʻa). Akā,ʻo ka hoʻonaʻauao,ʻaʻole i hōʻike maikaʻiʻia ke kumumanaʻo i kūkāʻia e ka hoʻokolohua i kekahi hoʻolālā ma luna o kekahi. ʻO ka mea pōʻino,ʻaʻole wau iʻike i ka nui o nā noiʻi e pili ana i nā pono pili o ka pale a me ka hoʻonui i nā mea i loko o ka News Feed. Eia nō hoʻi,ʻaʻole au iʻike nui i kahi noiʻi e pili ana i ka hoʻomaʻemaʻeʻana i nā hōʻailona e hōʻemi ai i nā meaʻino; Hoʻokahi o B. Jones and Feamster (2015) ,ʻo ia ka mea e nānā i ka hihia o ka hōʻailonaʻikepili (kahi kūkākūkā aʻu e kūkākūkā ai ma ka Mokuna 6 i pili i ka Study Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).
Ma keʻano o ka kolu R ("hoʻemi"), ua hāʻawiʻia e Cohen (1988) (book) a me Cohen (1992) (article),ʻo Gelman and Carlin (2014) kekahiʻano'ē aʻe. Hiki ke hoʻokomoʻia nā pākuʻi mua i ka mālamaʻia i loko o ka hoʻolālā a me ke kauʻana o nā hoʻokolohua; ʻO ka Mokuna 4 o Gerber and Green (2012) kahi hoʻolaha maikaʻi i nā alaʻelua, aʻo Casella (2008) hāʻawi i kahi hōʻailona hohonu. Hoʻohanaʻia nā'anohana e hoʻohana ana i kēiaʻike ma mua o ka mālamaʻana i kaʻikeʻoleʻana i nā hoʻomohala hoʻokolohua aiʻole nā manaʻo hoʻokolohua i hoʻokaheʻia (ʻaʻole hoʻohanaʻia nā hua'ōlelo i kēlā me kēia manawa ma waena o nā kaiaulu); pili pili like kēia mauʻano i nāʻano hoʻomohala kūmole i kūkākūkāʻia ma ka Mokuna 3. E nānā i Higgins, Sävje, and Sekhon (2016) no ka hoʻonuiʻana i ka hoʻohanaʻana i kēia mau manaʻo i nā hoʻomohala nui. Hiki ke hoʻokomoʻia nā pākuʻi mua i ka mālamaʻia i loko o ke kaʻina hana. McKenzie (2012) i nāʻokoʻa-a me nāʻano'ē aʻe e pili ana i ka hoʻolālāʻana i nā hoʻokolohua hoʻolālā. Eʻike iā Carneiro, Lee, and Wilhelm (2016) no ka hoʻonui hou aku i kaʻoihana kūʻai ma waena o nā ala likeʻole e hoʻonui i ka pololei i ka manaʻo o nā hopena. I ka hopena, i ka manawa e hoʻoholo ai e ho'āʻo paha e komo i nā kuʻina hana mua-maʻamau i ka hoʻolālā a iʻole ke kauʻana o ka manawa (a iʻole nā meaʻelua), aia kekahi mau kumu e noʻonoʻo ai. Ma kahi kahi e makemake ai ka poʻe noiʻi e "ʻaʻole lawa" iā lākou (Humphreys, Sierra, and Windt 2013) , hiki ke kōkua i nā mea hoʻohana mua (Higgins, Sävje, and Sekhon 2016) . Ma nā kūlana kahi e hiki ai nā haumāna i kahi o ka loiloiʻana, i nā hōʻoia hoʻolālā pūnaewele pūnaewele paha, ma ka loiloiʻana i kaʻike o kaʻike ma mua o ka hoʻolālāʻana; ʻike, e like me Xie and Aurisset (2016) .
He pono ke hoʻonui i kahiʻano o ke aʻoʻana e pili ana i ke kumu e hiki ai ke hoʻololi aʻoi aku ka maikaʻi ma mua o ka hoʻololiʻana ma waena o keʻano. He nui nā hopena o ka pūnaewele e nui loa ke kū'ē (e nānā,ʻo RA Lewis and Rao (2015) a me Lamb et al. (2015) ) a ua kūpaʻa mau i ka manawa. Ma kēia hihia, heʻano liʻiliʻi iki keʻano o ka loli ma ka hoʻonuiʻana i ka mana o ka hōʻailona statistical. ʻO kahi kumu no ka hoʻohana pinepineʻoleʻiaʻana o kēia ala i mua o ka manawa o ka'ōnaehana kamepiula,ʻaʻohe mea maʻalahi ka loaʻaʻana o nā hopena o ka hoʻoponopono. ʻO ke alaʻoi aku ka maʻalahi no ka noʻonoʻoʻana i kēia mea no ka noʻonoʻoʻana i kahi hoʻokolohua e ana ināʻo kekahi hana hana maʻamau ka poho kaumaha. Inā hoʻololiʻoe i kahiʻokoʻa-ma keʻano, e hiki ke hoʻololiʻia kāuʻikeʻana mai ka loiloi i nā kaulike ma ka heluna kānaka. Ināʻoe e hoʻololi i nāʻano'ē aʻe, akā, ua weheʻia keʻano o ka hoʻololiʻana i nā mea kaulike, a hiki iāʻoe ke maʻalahi keʻike i kahi palekana i hanaʻia e ka lāʻau.
Ma hope, manaʻo au e hoʻonui i ka hā o R: "hoʻopakele". ʻO ia hoʻi, inā loaʻa nāʻike noiʻi me nāʻike hoʻokolohuaʻoi aʻe ma mua o ka pono e hoʻoponopono i kā lākou nīnau noiʻi maʻamau, pono lākou e paipai i kaʻikepili no ka nīnauʻana i nā nīnau hou. Eia kekahi lā, e noʻonoʻo pono ua hoʻohanaʻo Kramer a me nā hoahana i kahi likeʻole-i kaʻikeʻoleʻana i nā mea hoʻohālikelike a loaʻa iā lākou nāʻikepili hou aʻe ma mua o ka mea e pono ai lākou e hoʻopuka i kā lākou nīnau noiʻi. Ma mua o ka hoʻohanaʻoleʻana i nāʻikepili a hiki i ka palena loa, hiki iā lākou ke aʻo i ka nui o ka hopena ma keʻano o ka'ōlelo maʻamau a me keʻano o ka manaʻo. E like me Schultz et al. (2007) iʻike i kaʻokoʻa o ka hopena i ka mālamalama a me nā mea loiloi, hikiʻole paha ka hopena o ka News Feed i nā mea'ē aʻe i hoʻouna i ka leka hauʻoli (a me ka pōʻino). Hiki i ka Repurposing ke alakaʻi aku i "ka lawaiʻa" (Humphreys, Sierra, and Windt 2013) a me "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , akā heʻano nui kēia mau mea me ka hui pūʻana i ka hōʻike pono (Simmons, Nelson, and Simonsohn 2011) , ka laikini mua (Humphreys, Sierra, and Windt 2013) , a me nāʻano hoʻonaʻauaoʻana i ka mīkini e ho'āʻo ai e hōʻalo i ke kūponoʻole.
