Ihe ị gụrụ na-esote

• Okwu Mmalite (nkebi 4.1)

Ajuju banyere ihe ojoo na nyocha nke ndi mmadu na-enwekarị mgbagwoju anya ma di nkpa. Maka ụzọ a ga-esi na-eme ihe na-ezighị ezi na-adabere na graphs, see Pearl (2009) , nakwa maka usoro nhazi nke dabeere na ihe ndị nwere ike ịpụta, lee Imbens and Rubin (2015) . Maka nyochaa n'etiti ụzọ abụọ a, lee Morgan and Winship (2014) . Maka usoro ị ga-esi kọwaa onye ị ga-akpọ, hụ VanderWeele and Shpitser (2013) .

N'isi nke a, emeela m ihe yiri ka ọ bụ dị ka ihe na-egbuke egbuke n'agbata ikike anyị nwere imepụta ihe atụ sitere na nnwale na nchọpụta na-abụghị nke nnwale. Otú ọ dị, echere m na, n'eziokwu, ọdịiche dị njọ. Dịka ọmụmaatụ, onye ọ bụla nakweere ise siga na-akpata ọrịa cancer, ọ bụ ezie na ọ dịghị usoro a na-achịkwa achịkwa nke na-eme ka ndị mmadụ na-aṅụ anwụrụ ọkụ emebeghị. Maka usoro ọgwụgwọ dị mma nke ogologo oge na -emepụta ihe ndị na-ezighị ezi site na nchọpụta ndị na-abụghị nke nnwale mere hụ Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) na Dunning (2012) .

Isi nke 1 na nke 2 nke Freedman, Pisani, and Purves (2007) enye nkwupụta doro anya banyere ọdịiche dị n'etiti ịnwale, nyocha ndị a na-achịkwa, na nyocha ndị a na-achịkwa.

Manzi (2012) enye mmalite na-adọrọ mmasị ma na-adọrọ mmasị na njedebe nkà mmụta sayensị na nke ọnụ ọgụgụ nke nyocha ndị a na-achịkwa. Ọ na-enyekwa ihe atụ dị omimi nke ụwa nke ike nke nchọpụta na azụmahịa. Issenberg (2012) enye mmeghe na-adọrọ mmasị na iji nnwale n'ime mkpọsa ndọrọ ndọrọ ọchịchị.

• Kedu ihe nlele? (ngalaba 4.2)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, na Athey and Imbens (2016b) enye mmemme dị mma na akụkụ nchịkọta akụkọ nke nhazi na nyocha. Ọzọkwa, e nwere ọgwụgwọ dị mma maka iji nyocha dị n'ọtụtụ ebe: akụ na ụba (Bardsley et al. 2009) , sociology (Willer and Walker 2007; Jackson and Cox 2013) , nkà mmụta uche (Aronson et al. 1989) , sayensị ndọrọ ndọrọ ọchịchị (Morton and Williams 2010) , na iwu obodo (Glennerster and Takavarasha 2013) .

Ekwesiri ighota ihe di mkpa nke ndi mmadu na-achota (dika, nlele) na nyocha nke ihe omumu. Otú ọ dị, ọ bụrụ na mmetụta nke ọgwụgwọ dị iche iche na ọnụ ọgụgụ ndị mmadụ, mgbe ahụ ịchọta dị oke egwu. Longford (1999) eme ka nke a doo anya mgbe ọ na-akwado ndị na-eme nchọpụta na-eche echiche banyere nchọpụta dịka nchọpụta nke ndị mmadụ na ntinye ihe ize ndụ.

• Ngalaba abụọ nke ịnwepụta: ụlọ nyocha-ubi na analog-dijitalụ (ngalaba 4.3)

Enwere m aro na enwere ihe dị n'etiti ụlọ nyocha na nyocha ụlọ, ndị nchọpụta ndị ọzọ ewepụtawo usoro ihe ọmụma zuru ezu, karịsịa ndị na-ekewa ụdị dịgasị iche iche nke nyocha nke ubi (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

Ọtụtụ akwụkwọ na-atụle nyocha na nyocha nke ubi na nkịtị (Falk and Heckman 2009; Cialdini 2009) na usoro nke nchọpụta ụfọdụ na sayensị ndọrọ ndọrọ ọchịchị (Coppock and Green 2015) , akụ na ụba (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , na psychology (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) enye usoro nyocha ọmarịcha mma iji tụnyere ntụgharị sitere na nyocha na nyocha. Parigi, Santana, and Cook (2017) akọwa otú ịnweta ule ntanetị nwere ike isi jikọta ụfọdụ n'ime njirimara nke nyocha na nyocha.

Nchegbu banyere ndị so na-agbanwe agbanwe omume ha n'ihi na ha maara na a na-elegide ha anya n'oge ụfọdụ a na-akpọ mmepụta ihe ndị a na- achọ , a na-amụkwa ha na nkà mmụta uche (Orne 1962) na akụnụba (Zizzo 2010) . Ọ bụ ezie na ọtụtụ n'ime ha na-eji nyocha ụlọ, nsogbu ndị a nwere ike ịkpata nsogbu maka ule. N'eziokwu, a na-akpọkarị ihe ndị na- achọ ka a na-akpọ Hawthorne mmetụta , okwu nke na-enweta ihe ngosi ndị a ma ama nke malitere na 1924 na Hawthorne Works nke Western Electric Company (Adair 1984; Levitt and List 2011) . Ma nchọta ngwa na mmetụta Hawthorne nwere njikọ chiri anya na echiche nke ihe nhazi nke a tụlere na isi 2 (leekwa Webb et al. (1966) ).

Nyocha nke ubi nwere ogologo akụkọ ihe mere eme na akụ na ụba (Levitt and List 2009) , sayensị ndọrọ ndọrọ ọchịchị (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , nkà mmụta uche (Shadish 2002) , na iwu ọha na eze (Shadish and Cook 2009) . Otu mpaghara nke sayensị mmekọrịta ebe ọhụụ nke ngwa ngwa ghọrọ onye a ma ama bụ mmepe mba ụwa. Maka nlezianya nyochaa nke ọrụ ahụ n'ime akụnụba hụ Banerjee and Duflo (2009) , maka ntụle dị oke egwu na-ahụ Deaton (2010) . Maka nyochaa ọrụ a na sayensị ndọrọ ndọrọ ọchịchị hụ Humphreys and Weinstein (2009) . N'ikpeazụ, a na-enyocha ihe ịma aka dị iche iche na-esite n'ọmụmụ ihe n'ọmụmụ ihe gbasara sayensị ndọrọ ndọrọ ọchịchị (Humphreys 2015; Desposato 2016b) na akụnụba mmepe (Baele 2013) .

N'akụkụ a, ana m atụ aro na enwere ike iji ozi gbasara ọgwụgwọ tupu ịmezie nhazi nke ọgwụgwọ, ma e nwere ụfọdụ arụmụka banyere usoro a; lee Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , na Bloniarz et al. (2016) maka ozi ndị ọzọ.

N'ikpeazụ, e nwere ule abụọ ndị ọzọ na-eme nke ndị ọkà mmụta sayensị na-eme nke na-adabaghị adaba na mpaghara ụlọ nyocha: nnyocha ndị e mere na nnyocha ndị mmadụ. A na-enyocha nnwale nyocha site na iji nyocha nke dị ugbu a ma jiri nzaghachi nye nsụgharị ọzọ nke otu ajụjụ ahụ (ụfọdụ nnyocha nyochaa dị na Isi nke 3); maka ihe ndị ọzọ gbasara nchọpụta nnyocha hụ Mutz (2011) . Social nwere ndị nwere ebe ọgwụgwọ bụ ụfọdụ na-elekọta mmadụ iwu na ike na-emejuputa atumatu site a ọchịchị. Nlekọta mmekọrịta mmadụ na ibe ya nwere njikọ chiri anya na nyocha ihe omume. Maka onu ozo banyere nyocha iwu, lee Heckman and Smith (1995) , Orr (1998) , na glennerster_running_2013.

• Ịgafe ihe ndị dị mfe (ngalaba 4.4)

Achọpụtawo m ilekwasị anya n'ihe atọ dị iche iche: ịdị irè, nchịkọta nke ọgwụgwọ, na usoro. Echiche ndị a nwere aha dị iche iche na mpaghara dị iche iche. Dịka ọmụmaatụ, ndị ọkà n'akparamàgwà mmadụ na-agabiga ihe ngosi dị mfe site n'ilekwasị anya na ndị ogbugbo na ndị nhazi (Baron and Kenny 1986) . Echere echiche nke ndị ogbugbo site na ihe m na-akpọ usoro, na echiche nke ndị na-eme ihe ngosi na-ejide ihe m na - akpọ mmelite nke nsụgharị (dịka, ihe nchoputa ahụ ga - adị iche ma ọ bụrụ na ọ na - agba ọsọ n'ọnọdụ dị iche iche) na nchịkọta nke ọgwụgwọ ( dịka, bụ mmetụta dị ukwuu maka ụfọdụ ndị karịa ndị ọzọ).

Nnwale nke Schultz et al. (2007) egosi otú e si eji chepụtara mmadụ mmekọrịta maka ịmepụta mmemme dị irè. Maka nkwenye zuru ezu banyere arụ ọrụ nke tiori na ịmepụta mmemme dị irè, lee Walton (2014) .

• Ndabere (ngalaba 4.4.1)

Ndị Campbell (1957) bu ụzọ webata ihe ndị dị n'ime na nke na-abụghị nke a. Hụ Shadish, Cook, and Campbell (2001) maka akụkọ zuru ezu na akụkọ nlezianya nyocha njedebe nyocha ọnụ ọgụgụ, nkwado dị n'ime, ịrụ ọrụ nke ọma, na njedebe na-apụ apụ.

Maka nchịkọta nke nsogbu metụtara nkwubi okwu nchịkọta akụkọ dị na nlele na-ahụ Gerber and Green (2012) (site na nchịkọta mmekọrịta sayensị) na Imbens and Rubin (2015) (site na akụkọ nchịkọta akụkọ). Ihe ụfọdụ nke njedebe nchịkọta akụkọ dị iche iche nke na-ebute kpọmkwem na ntinye aka n'ịntanetị gụnyere ihe ndị dị ka ụzọ dị iche iche na-arụ ọrụ nke ọma maka ịmepụta oge obi ike na data ndabere (Bakshy and Eckles 2013) .

Ịdị mma nke ime obodo nwere ike isiri gị ike ịhụ na ị nwere nyocha nke ọma. Dịka ọmụmaatụ, dịka ọmụmaatụ, Gerber and Green (2000) , Imai (2005) , na Gerber and Green (2005) maka arụmụka gbasara mmejuputa usoro ọmịiko dị mgbagwoju anya banyere ntuli aka. Kohavi et al. (2012) na Kohavi et al. (2013) enye mmeghe n'ime ihe ịma aka nke ịdị irè oge n'etiti nyocha usoro ntanetị.

Otu ihe kachasị egwu maka imezu nke ọma bụ ohere nke ịdaba na njedebe. Otu ụzọ nwere ike isi chọpụta nsogbu na randomization bụ iji tụnyere ndị ọkachamara na ndị na-achịkwa na àgwà ndị a na-ahụ anya. A na-akpọ ụdị ụdị a nlele . Hụ Hansen and Bowers (2008) maka usoro nchịkọta akụkọ maka nyocha ego na Mutz and Pemantle (2015) maka nchegbu gbasara ego nyocha. Dịka ọmụmaatụ, site na iji nlele nyocha, Allcott (2011) chọtara ihe àmà na-egosi na e mejuputaghị randomization na atọ nke nyocha Opower (lee okpokoro 2, saịtị 2, 6, na 8). Maka ụzọ ndị ọzọ, lee isi 21 nke Imbens and Rubin (2015) .

Ihe ndị ọzọ na-akpata nchegbu metụtara njedebe dị n'ime obodo bụ: (1) nkwadoghị otu akụkụ, ebe ọ bụghị onye ọ bụla nọ na-agwọ ọrịa ahụ natara ọgwụgwọ ahụ, (2) nkwenye abụọ, ebe ọ bụghị onye ọ bụla nọ na-agwọ ọrịa na-enweta ọgwụgwọ na ụfọdụ ndị otu nchịkwa na-enweta ọgwụgwọ ahụ, (3) attrition, ebe a naghị atụle ihe ụfọdụ maka ụfọdụ ndị na-eso ya, na (4) nnyonye anya, ebe ọgwụgwọ na-esi n'aka ndị nọ n'ọnọdụ ọgwụgwọ nye ndị nọ n'ọnọdụ ahụ. Lee isi nke 5, 6, 7, na nke 8 nke Gerber and Green (2012) maka ihe ndị ọzọ na nsogbu ndị a.

Maka ihe ndị ọzọ maka ịrụ ọrụ dị mma, lee Westen and Rosenthal (2003) , na maka ihe ndị ọzọ na-arụ ọrụ dị mma na nnukwu ihe ọmụma data, Lazer (2015) na isi nke 2 nke akwụkwọ a.

Otu akụkụ nke njedebe na mpụga bụ ọnọdụ ebe a na-anwale ọnwa. Allcott (2015) enye nlezianya usoro ọgwụgwọ na nlekọta nke nchịkọta nhọrọ nke saịtị. Deaton (2010) -atụle mbipụta a. Akụkụ ọzọ nke njirimara dịpụrụ adịpụ bụ ma ọrụ ọzọ nke otu aka ahụ ga-enwe mmetụta yiri ya. N'okwu a, a tụnyere Schultz et al. (2007) na Allcott (2011) egosi na nchọpụta Opower enwere mmetụta dị nta karịa atụmatụ mbụ nke Schultz na ndị ọrụ ibe ya (1.7% na pasent 5%). Allcott (2011) kwuru na nyocha ndị ahụ nwere obere mmetụta n'ihi ụzọ nke ọgwụgwọ ahụ si dị iche: emoticon e ji aka dee dịka akụkụ nke ọmụmụ nke mahadum na-akwado, jiri ya tụnyere emoticon e biri ebi dị ka akụkụ nke ihe mepụtara akụkọ site na ụlọ ọrụ ike.

• Ogologo oge banyere ọgwụgwọ (ngalaba 4.4.2)

Maka nlezianya kachasị mma nke ọgwụgwọ na nyocha nke ubi, lee isi 12 nke Gerber and Green (2012) . Maka iwebata ihe dị iche iche nke ọgwụgwọ na ọgwụgwọ ahụike, lee Kent and Hayward (2007) , Longford (1999) , na Kravitz, Duan, and Braslow (2004) . Ntụle banyere ịkọ ụbụrụ nke ọgwụgwọ na-elekwasịkarị anya na esemokwu dị iche iche na-adabere na njirimara nke ọgwụgwọ. Ọ bụrụ na ị nwere mmasị na ịzụlite na-adabere na nsonaazụ post-ọgwụgwọ, mgbe ahụ, ọ dị mkpa ịbịakwute ụzọ dị mgbagwoju anya, dị ka isi stratification (Frangakis and Rubin 2002) ; lee Page et al. (2015) maka nyocha.

Ọtụtụ ndị na-eme nchọpụta na-atụle usoro dịgasị iche iche nke ọgwụgwọ na-eji ntinye akwụkwọ, ma usoro ọhụrụ ọ dabeere na nkuzi igwe; dịka ọmụmaatụ, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , na Athey and Imbens (2016a) .

E nwere ụfọdụ obi abụọ maka nchọpụta nke mmetụta dị iche iche nke mmetụta n'ihi nsogbu ntanetị atụ na "ịkụ azụ." E nwere ọtụtụ usoro nchịkọta akụkọ nke nwere ike inye aka idozi nchegbu gbasara atụtụtụ atụ (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Otu ụzọ maka nchegbu banyere "ịkụ azụ" bụ ntinye aha, nke na - emewanyewanyewanye na nkà mmụta mmekọrịta ụmụ mmadụ (Nosek and Lakens 2014) , sayensị ndọrọ ndọrọ ọchịchị (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , na akụnụba (Olken 2015) .

Na nnyocha nke Costa and Kahn (2013) nanị ihe dị ka ọkara nke ndị ezinụlọ na nnwale ahụ nwere ike jikọọ na ozi igwe mmadụ. Ndị na-agụ akwụkwọ nwere mmasị na nkọwa ndị a ga-ezo aka na akwụkwọ mbụ ahụ.

• Usoro (mpaghara 4.4.3)

Ihe ndị dị mkpa dị mkpa, mana ha na-esiri ike nyocha. Nnyocha banyere usoro na njikọ chiri anya nke ndị na-arụ ọrụ mgbasa ozi na mmekọrịta mmadụ na ibe ya (ma hụkwa VanderWeele (2009) maka njirịta kwesịrị ekwesị n'etiti echiche abụọ). Usoro nyocha maka ịchọta usoro, dị ka ụzọ a malitere na Baron and Kenny (1986) , bụ ihe nkịtị. Ọ dị mwute na usoro ndị ahụ na-adabere na ụfọdụ echiche siri ike (Bullock, Green, and Ha 2010) ma na-ata ahụhụ mgbe e nwere ọtụtụ usoro, dịka onye nwere ike ịtụ anya n'ọtụtụ ọnọdụ (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) na Imai and Yamamoto (2013) enye ụfọdụ usoro ndekọ ọnụ ọgụgụ. Ọzọkwa, VanderWeele (2015) enye nhazi akwụkwọ ogologo oge na ọtụtụ nbịakọta dị mkpa, gụnyere ụzọ zuru ezu iji chọpụta nyocha.

Ụzọ dị iche iche na-elekwasị anya na nyocha ndị na-anwa ịmegharị usoro ahụ kpọmkwem (dịka, inye ndị ọrụ ụgbọ mmiri vitamin C). O di nwute, n'ọtụtụ usoro ntọala sayensị, a na-enwekarị usoro dị iche iche ma ọ siri ike ịmepụta ọgwụgwọ ndị na-agbanwe agbanwe n'enweghị na-agbanwe ndị ọzọ. Ụfọdụ n'ime ụzọ ndị na-eme mgbanwe iji mee mgbanwe na Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , na Pirlott and MacKinnon (2016) .

Ndị nchọpụta na-eji nlezianya nyochaa eziokwu ga-enwe nchegbu banyere ọtụtụ nyocha echiche; lee Fink, McConnell, and Vollmer (2014) na List, Shaikh, and Xu (2016) maka ozi ndị ọzọ.

N'ikpeazụ, usoro nwere ogologo oge na nkà ihe ọmụma sayensị dika Hedström and Ylikoski (2010) kọwara Hedström and Ylikoski (2010) .

• Iji gburugburu ebe (mpaghara 4.5.1)

Maka onu ozo banyere iji akwukwo ozi na nyocha akwukwo iji tisaa ikpa oke, lee Pager (2007) .

• Mee nyocha nke onwe gị (akụkụ 4.5.2)

Ụzọ kachasịsịsị anya iji mee ka ndị nabatara na ịnweta ndị ị na-ewu bụ Amazon Mechanical Turk (MTurk). N'ihi na MTurk na-enyocha akụkụ nke nyocha ụlọ ọrụ ọdịnala-na-akwụ ndị mmadụ ụgwọ iji rụchaa ọrụ ha na-agaghị eme maka n'efu-ọtụtụ ndị nchọpụta amalitelarị iji Turkers (ndị na-arụ ọrụ na MTurk) dịka ndị na-eme nchọpụta, na-eme ka nchịkọta data buru ibu ma dị ọnụ ala karịa enwere ike ime na omenala ọdịnala nke ụlọ akwụkwọ (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

N'ozuzu, uru kasịnụ nke iji ndị na-eme ihe a na-enweta site na MTurk bụ logistical. Ebe nyocha nke ụlọ nwere ike were izu iji na-agba ọsọ ma na-anwale ule nwere ike were ọnwa ruo nhazi, nyocha na ndị na-agụ na MTurk nwere ike ịgafe na ụbọchị. Dịka ọmụmaatụ, Berinsky, Huber, and Lenz (2012) nwere ike ịmaliteghachi narị mmadụ anọ na otu ụbọchị iji tinye aka n'ime nnwale 8 nkeji. Ọzọkwa, ndị a nwere ike ịnakọta maka ihe fọrọ nke nta ka ọ bụrụ nzube ọ bụla (gụnyere nyocha na nchịkọta ọnụ ọgụgụ, dịka a tụlere n'isiakwụkwọ nke 3 na nke 5). Nke a dị mfe nke nchịkọta pụtara na ndị na-eme nchọpụta nwere ike ịme ihe nyocha ndị yiri ya ngwa ngwa.

Tupu ị na-ekere òkè na MTurk maka nyocha nke onwe gị, enwere ihe anọ dị mkpa ị chọrọ ịma. Nke mbụ, ọtụtụ ndị nchọpụta nwere nkwenkwe na-enweghị atụ nke nnyocha ndị metụtara Turkers. Ebe ọ bụ na nkwenye a abụghị kpọmkwem, ọ na-esiri ike ịkwụsị na ihe akaebe. Otú ọ dị, mgbe ọtụtụ afọ nke ọmụmụ banyere Turkmen gasịrị, anyị nwere ike ikwubi na enweghị obi abụọ a bụ nkwenye. Enweela ọtụtụ ọmụmụ na-atụnyere ndị Turkers na ndị nke mmadụ ọzọ na ọtụtụ ọmụmụ na-atụle nyocha nke ndị Turkers na ndị si na ndị ọzọ. N'iburu ọrụ a niile, echere m na ụzọ kachasị mma ị ga-esi eche banyere ya bụ na ndị Turkers bụ ihe atụ dị mma, dịka ụmụ akwụkwọ ma dịtụ iche iche (Berinsky, Huber, and Lenz 2012) . Ya mere, dịka ụmụ akwụkwọ ji bụrụ ndị nwere ezi uche maka ụfọdụ, ma ọ bụghị ihe niile, nnyocha, Turkers bụ ndị nwere ezi uche maka ụfọdụ, ma ọ bụghị ihe niile, nyocha. Ọ bụrụ na ị ga-arụ ọrụ na Turkers, ọ ga-abụ ihe ezi uche dị na ya ịgụ ọtụtụ n'ime ọmụmụ ihe atụ ndị a ma ghọta nhụjuanya ha.

Nke abụọ, ndị na-eme nchọpụta emepewo omume kachasị mma maka ịbawanye ule nke ule MTurk, na ị ga-amụta ma gbasoo omume ndị a kacha mma (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Dịka ọmụmaatụ, a na-agba ndị na-eme nnyocha na-eji ndị Turkers ume iji ihe nyocha iji wepụ ndị na-enweghị ncheta (Berinsky, Margolis, and Sances 2014, 2016) (ma hụkwa DJ Hauser and Schwarz (2015b) na DJ Hauser and Schwarz (2015a) ). Ọ bụrụ na ịnweghị iwepụ ndị na-arụ ọrụ na-atụghị anya na ya, mgbe ahụ, ọ bụla mmetụta nke ọgwụgwọ nwere ike ịsacha site na mkpọtụ ha na-ewebata, na na omume ọnụ ọgụgụ nke ndị na-enweghị ncheta nwere ike ịbụ nnukwu. Na Huber na ndị ọrụ ibe ya (2012) , ihe dịka pasent 30 nke ndị na-eso ụzọ enweghị ihe nyocha ọhụụ. Nsogbu ndị ọzọ na-ebili mgbe a na-eji Turkers eme ihe bụ ndị na-abụghị ndị na-enweghị uche (Chandler et al. 2015) na akwụkwọ nri (Zhou and Fishbach 2016) .

Nke atọ, ikwu banyere ụdị ndị ọzọ nke nyocha dijitalụ, ule MTurk enweghị ike ịba; Stewart et al. (2015) ekwu na n'oge ọ bụla e nwere nanị ihe dị ka mmadụ 7,000 na MTurk.

N'ikpeazụ, ị ga-amara na MTurk bụ obodo nwere ụkpụrụ na ụkpụrụ nke ya (Mason and Suri 2012) . N'otu ụzọ ahụ ị ga-esi chọpụta ọdịbendị nke mba ebe ị ga-agba ọsọ gị, ị ga-agbalị ịmatakwu banyere omenala na ụkpụrụ nke Turkers (Salehi et al. 2015) . Ị ga-amarakwa na ndị Turkers ga-ekwu banyere nhụsianya gị ma ọ bụrụ na ịmee ihe na-ekwesịghị ekwesị ma ọ bụ na-ezighị ezi (Gray et al. 2016) .

MTurk bụ ụzọ dị oke mma ị ga-esi mee ka ndị nabatara gị nyochaa, ma ha dị ka ụlọ-ụlọ, dị ka nke Huber, Hill, and Lenz (2012) , ma ọ bụ karịa ubi, dịka nke Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , na Mao et al. (2016) .

• Wụpụta ngwaahịa gị (akụkụ 4.5.3)

Ọ bụrụ na ị na-eche na ị na-agbalị ịmepụta ngwaahịa gị, ana m akwado ka ị gụọ ndụmọdụ ndị MovieLens nyere na Harper and Konstan (2015) . Ihe omuma di omimi site na nmuta ha bu na maka oru oganihu nke obula, enwere otutu ihe. Dịka ọmụmaatụ, òtù MovieLens kpụpụtara ngwaahịa ndị ọzọ, dị ka GopherAnswers, nke bụ ọdịda zuru oke (Harper and Konstan 2015) . Ihe atụ ọzọ nke onye na-eme nchọpụta na-ada ada mgbe ọ na-agbalị ịzụlite ngwaahịa bụ mgbalị Edward Castronova na-eme iji wuo egwuregwu n'ịntanetị a na-akpọ Arden. N'agbanyeghị $ 250,000 na ego, ọrụ ahụ bụ flop (Baker 2008) . Mmemme dị ka GopherAnswers na Arden dị mwute ikwu na ọtụtụ ihe karịa ọrụ dị ka MovieLens.

• Mụ na onye dị ike (ngalaba 4.5.4)

Anụrụ m echiche nke Pasteur's Quadrant a na-atụle ugboro ugboro na ụlọ ọrụ ntanetị, ọ na-enye aka ịhazi mgbalị nyocha na Google (Spector, Norvig, and Petrov 2012) .

Mkpakọrịta na ndị ọrụ ibe (2012) -anwa ịchọpụta mmetụta nke ọgwụgwọ ndị a na ndị enyi nke ndị natara ha. N'ihi nhazi nke nnwale ahụ, ọ na-esi ike ịchọpụta ihe ndị a dị ọcha; nwere mmasị ndị na-agụ kwesịrị ịhụ Bond et al. (2012) maka nkwurịta okwu nke ọma. Jones na ndị ọrụ ibe ya (2017) mekwara nchọpụta yiri nke ahụ n'oge ntuli aka 2012. Ihe ndị a bụ akụkụ nke ogologo oge nke nnwale na sayensị ndọrọ ndọrọ ọchịchị na mgbalị ịgba ume ịgba akwụkwọ (Green and Gerber 2015) . Ihe ndị a na-esi na ya pụta bụ ndị nkịtị, n'otu akụkụ n'ihi na ha nọ na Pasteur's Quadrant. Nke ahụ bụ, e nwere ọtụtụ ndị na-akwali ịbawanye na ntuli aka na ịme ntuli aka nwere ike ịbụ omume na-adọrọ mmasị iji nwaa nchịkọta izugbe n'ozuzu banyere mgbanwe omume na mmetụta ndị mmadụ.

Maka ndụmọdụ maka ịnweta ugbo site na otu òtù dị iche iche dika ndị ndọrọ ndọrọ ọchịchị, NGO, na azụmahịa, lee Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , na Gueron (2002) . Maka iche echiche banyere otu mmekọrịta na ndị otu nwere ike isi metụta atụmatụ nyocha, lee King et al. (2007) na Green, Calfano, and Aronow (2014) . Mkpakọrịta pụkwara iduga ajụjụ ndị dị mma, dị ka Humphreys (2015) na Nickerson and Hyde (2016) .

• Ndụmọdụ ndụmọdụ (ngalaba 4.6)

Ọ bụrụ na ị na-aga ịmepụta atụmatụ nyocha tupu ị na-agba ọsọ gị, m na-atụ aro ka ịmalite site na ị gụọ akwụkwọ ntụziaka. E mepụtara usoro nduzi (CONSORT (Standard Consolidated Standard Reporting of Trials) na nkà mmụta ọgwụ (Schulz et al. 2010) ma gbanwee maka nchọpụta mmadụ (Mayo-Wilson et al. 2013) . Ndị editọ nke Journal of Experimental Political Science (Gerber et al. 2014) abụrụla ndị editọ nke nduzi (leekwa Mutz and Pemantle (2015) na Gerber et al. (2015) ). N'ikpeazụ, e mepụtara ụkpụrụ nduzi na nkà mmụta uche (APA Working Group 2008) , hụkwa Simmons, Nelson, and Simonsohn (2011) .

Ọ bụrụ na ị mepụta atụmatụ nyocha, ị ga-atụle tupu ị debanye aha ya n'akwụkwọ n'ihi na ndebanye aha ga-eme ka obi ike ndị ọzọ nwere na nsonaazụ gị. Ọzọkwa, ọ bụrụ na ị na-arụ ọrụ na onye òtù ọlụlụ, ọ ga - egbochi ike onye ị ga - enwe ike ịgbanwe ntule ahụ mgbe ọ hụrụ ihe ọ rụpụtara. Ịdebanye aha na-arịwanye elu na nkà mmụta uche (Nosek and Lakens 2014) , sayensị ndọrọ ndọrọ ọchịchị (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , na akụnụba (Olken 2015) .

A na-enye ndụmọdụ gbasara ndụmọdụ maka ịntanetị na Konstan and Chen (2007) na Chen and Konstan (2015) .

Ihe m na-akpọ usoro atụmatụ armada na-akpọkarị nchọpụta mmemme ; lee Wilson, Aronson, and Carlsmith (2010) .

• Hụ data efu efu efu (ngalaba 4.6.1)

Maka ihe ndị ọzọ gbasara ụdị MusicLab, lee Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , na Salganik (2007) . Maka ozi ndị ọzọ na ahịa niile, lee Frank and Cook (1996) . Maka ịchọta ihe na-enweghị atụ na nkà karịa, lee Mauboussin (2012) , Watts (2012) , na Frank (2016) .

E nwere ụzọ ọzọ ị ga-esi wepụ ego ndị otu na-eme nnyocha ga-eji jiri ịkpachara anya: ịbanye. N'ọtụtụ nchịkọta ịnweta ntanetị, a na-edepụtara ndị na-eme ntanetịime iji nweta ihe ha ga-eme ma a dịghị akwụghachi ha. Ihe atụ nke usoro a gụnyere Restivo na van de Rijt (2012) nnwale na ụgwọ ọrụ na Wikipedia na Bond na onye ọrụ (2012) nyocha na-agba ndị mmadụ ume ịme ntuli. Nlere ndị a enweghị ego efu-kama nke ahụ, ha nwere ọnụ ahịa efu maka ndị nchọpụta . Na nyocha ndị dị otú ahụ, ọ bụrụgodị na ọnụahịa onye ọ bụla nọ na ya dị ntakịrị, ọnụahịa ọnụ nwere ike ịbụ nnukwu. Ndị na-eme nchọpụta na-agba mbọ n'ịgba ntanetị n'ịntanetị na-egosipụtakarị mkpa nke obere ọgwụgwọ a na-eme atụmatụ site n'ikwu na obere mmetụta ndị a nwere ike ịghọ ihe dị mkpa mgbe a na-etinye ha n'ọtụtụ mmadụ. Otu echiche ahụ kpọmkwem na-emetụta ego ndị na-eme nchọpụta na-enye ndị so na ya. Ọ bụrụ na nnwale gị mere ka otu nde mmadụ laa n'iyi n'otu minit, nnwale ahụ adịghị emerụ onye ọ bụla aka, ma na nchịkọta ya egbusila ihe fọrọ nke nta ka ọ bụrụ afọ abụọ.

Ụzọ ọzọ ị ga-esi mee ka ego ghara ịkwụ ụgwọ ndị na-akwụ ụgwọ ga-eme ka ndị na-abanye na ya bụ iji lorịja mee ihe, nke a jikwa mee nnyocha nyocha (Halpern et al. 2011) . Maka ndị ọzọ banyere ịmepụta ahụmahụ ndị ọrụ na-atọ ụtọ, lee Toomim et al. (2011) . Maka ozi gbasara iji bots iji mepụta ugwo ugwo ugwo anya ( ??? ) .

• Dochie, dozie, ma belata (ngalaba 4.6.2)

Ihe atọ R dị ka Russell and Burch (1959) bụ ndị a:

"Nnọchi pụtara na nnọchi maka adịghị ama bi elu anụmanụ nke insentient ihe onwunwe. Mbelata pụtara gụnyere ya ná nọmba nke ụmụ anụmanụ ji mee ihe iji nweta ozi nke a nyere ego na nkenke. Ukpụhọde pụtara bụla ọnụ na omume ma ọ bụ ịdị njọ nke inhumane na usoro etinyere anụmanụ ndị nke ka na-enwe na-eji. "

Ihe atọ R nke m kwadoro anaghị emebi ụkpụrụ omume ọma ndị a kọwara na isi 6. Kama nke ahụ, ha bụ otu n'ime ụkpụrụ ndị ahụ-ọ bara uru-karịsịa na nhazi nke nyocha mmadụ.

N'ihe banyere R mbụ ("ngbanwe"), iji nyocha nke emetụ mmetụta uche (Kramer, Guillory, and Hancock 2014) na atụgharị uche nke mmetụta uche (Lorenzo Coviello et al. 2014) enye ụfọdụ nkuzi zuru oke gbasara ndị ahịa ahụ gụnyere na-aga site na nnwale iji nweta ihe ndị ebumpụta ụwa (na ụzọ ndị ọzọ dị ka nha nke na-anwale ịnweta ihe nyocha na-abụghị nke nnwale; lee isi nke 2). Na mgbakwunye na uru bara uru, ntụgharị site na nyocha na nchọpụta na-abụghị nke nchọpụta na-enyekwara ndị nchọpụta aka ịmụọ ọgwụgwọ ha na-enweghị ike idowe. Azụmahịa ndị a na-arụkọtara ọnụ na-abata na ọnụ ahịa, Otú ọ dị. Site n'ichepụta ihe ndị mmadụ na-eme, ndị na-eme nchọpụta enweghi ike ịchịkwa ihe ndị dị ka nchịkọta nke ndị na-amụ, randomization, na ọdịdị nke ọgwụgwọ ahụ. Dịka ọmụmaatụ, otu njedebe nke mmiri ozuzo dị ka ọgwụgwọ bụ na ọ na-eme ka abawanyewanye ma na-ebelata nhụghasị. Na nchọpụta ahụ, Otú ọ dị, Kramer na ndị ọrụ ibe ha nwere ike idozi esemokwu na ịkpaghasị onwe ha. Uzo nke Lorenzo Coviello et al. (2014) bụ L. Coviello, Fowler, and Franceschetti (2014) kọwakwuru ya. Maka okwu mmeghe nke mgbanwe dị iche iche, nke bụ ụzọ nke Lorenzo Coviello et al. (2014) , lee Angrist and Pischke (2009) (obere akwụkwọ) ma ọ bụ Angrist, Imbens, and Rubin (1996) (karịa iwu). Maka nlezianya na-atụghị anya nke ụda ogwe aka, lee Deaton (2010) , na maka mmeghe nke mgbanwe dị iche iche na ngwá ndị na-adịghị ike (mmiri ozuzo bụ ihe na-adịghị ike), lee Murray (2006) . More n'ozuzu, a ọma ka okwu mmeghe eke nwere e nyere site na Dunning (2012) , mgbe Rosenbaum (2002) , ( ??? ) , na Shadish, Cook, and Campbell (2001) na-enye ezi echiche banyere estimating causal mmetụta enweghị nwere.

N'ihe banyere nke abụọ R ("nhazi"), e nwere ndị ahịa sayensị na ndị na-edekọ ahazi mgbe ị na-atụle ịgbanwe mgbanwe nke Emotional Contagion site na igbochi posts iji mee ka posts dị. Dịka ọmụmaatụ, ọ nwere ike ịbụ na nhazi mmemme nke News Feed na-eme ka ọ dị mfe karị iji mee nchọpụta nke ejiri gbochie posts karịa otu a na-akwado ha (rịba ama na enwere ike ime ihe ngosi banyere igbochi nke posts dị ka oyi akwa n'elu News Feed usoro na-enweghị mkpa ọ bụla maka mgbanwe nke usoro usoro). Otú ọ dị, ọkà mmụta sayensị kwuru na ozizi ahụ nke nnwale ahụ gosipụtara adịghị atụ aro otu imewe nke ọzọ. O di nwute, enweghm m ihe omuma banyere ihe omumu nke igbochi na igbalite ọdịnaya n'ime News Feed. Ọzọkwa, ahụbeghị m nnyocha dị ukwuu banyere ngwọta anụcha iji mee ka ha ghara ịdị njọ; otu bụ B. Jones and Feamster (2015) , nke na-elele ọnụọgụ nke ntinye aka na Intanet (isiokwu m na-atụle n'isi nke 6 na mmekọrịta nke Encore ọmụmụ (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

N'ihe banyere R nke atọ ("Mbelata"), Cohen (1988) (akwụkwọ) na Cohen (1992) (ihe odide) nyere Gelman and Carlin (2014) dị mma dị iche. A pụrụ itinye covariates na-eji ọgwụgwọ eme ihe na nhazi na nyocha nke nyocha; isi nke 4 nke Gerber and Green (2012) enye nkwalite dị mma ma bịaruo nso, na Casella (2008) -enyekwu nhazi miri emi. A na-akpọkarị usoro eji eme ihe ndị a na-eme tupu a gwọọ ha ma ọ bụ na-achọpụta ma ọ bụ ma ọ bụ na-achọpụta ma ọ bụ ma ọ bụ na-emepụta atụmatụ aghụghọ. usoro ndị a nwere njikọ chiri anya na usoro ntinye nke a tụlere na isi nke atọ. Lee Higgins, Sävje, and Sekhon (2016) maka ịmatakwu iji iji atụmatụ ndị a eme ihe. A na-etinyekwa covariates na mbụ tupu a gụọ ya na nyocha nyocha. McKenzie (2012) enyocha ọdịiche dị iche iche-iche-iche dị iche iche iji nyochaa nyocha ugbo na nkọwa zuru oke. Hụ Carneiro, Lee, and Wilhelm (2016) maka ịmatakwu ihe banyere ahia n'etiti ụzọ dị iche iche iji bulie nkenke na atụmatụ nke mmetụta ọgwụgwọ. N'ikpeazụ, mgbe ị na-ekpebi ma ị ga-anwa itinye nyocha nke ọgwụgwọ tupu ịmepụta ma ọ bụ nyocha (ma ọ bụ abụọ), e nwere ihe ole na ole ị ga-atụle. N'akuku ebe ndi oru nyocha choro igosi na ha adighi "azu" (Humphreys, Sierra, and Windt 2013) , n'iji uzo ogwugwu eme ihe n'uzo ozo nwere ike inye aka (Higgins, Sävje, and Sekhon 2016) . N'ọnọdụ ebe ndị bịara ọmụmụ ihe na-abata, karịsịa nyochaa ntanetị n'ịntanetị, iji nchịkọta usoro ọgwụgwọ na nhazi imepụta nwere ike ịdị na - esiri ike; dị ka ihe atụ, Xie and Aurisset (2016) .

O kwesiri itinyekwu ihe omimi banyere ihe mere otu ihe di iche na nke di iche iche puru ime karia ihe di iche. Ọtụtụ ntanetị ntanetị nwere nnukwu mgbanwe dị iche iche (lee eg, RA Lewis and Rao (2015) na Lamb et al. (2015) ) ma na-adịgide adịgide n'oge. N'okwu a, ngbanwe mgbanwe ga-enwe obere nghọtahie, na-amụba ikike nke nyocha ọnụ ọgụgụ. Otu ihe kpatara eji eme ihe a abụghị mgbe ọ bụla na tupu oge afọ dijitalụ, ọ naghị adịkarị ka ị nweta ọgwụgwọ. Ụzọ kachasị dị iche iche ị ga-eche banyere nke a bụ iche n'echiche iji chọpụta ma otu mmega ahụ ọ na-eme ọ na-akpata ọnwụ. Ọ bụrụ na ị na-eme ihe dị iche na nke a, atụmatụ gị ga-enwe mgbanwe nke si na mgbanwe dị na oke igwe. Otú ọ dị, ọ bụrụ na ị na-eme mgbanwe dịgasị iche iche, nke ọ bụla, na-ewepụ ọnọdụ dị iche iche na igwe, ma ị nwere ike ịchọpụta ihe dị iche na ọgwụgwọ ahụ.

N'ikpeazụ, m weere na-agbakwụnye nke anọ R: "ịghachiteghachi". Nke ahụ bụ, ọ bụrụ na ndị nchọpụta chọpụta na ha nwere ihe nchọpụta ndị ọzọ karịa ka ha kwesịrị ịza ajụjụ mbụ ha nyocha, ha kwesịrị ịghachite data iji jụọ ajụjụ ọhụrụ. Dịka ọmụmaatụ, were ya na Kramer na ndị ọrụ ibe gị jiri atụmatụ dị iche na-ese okwu ma chọpụta na ha nwere data karịa ha chọrọ iji dozie ajụjụ nyocha ha. Kama iji data ahụ ruo n'ókè zuru oke, ha gaara enwe ike ịmụba mmetụta dịka ọrụ nke okwu nkwekọrịta nke mbụ. Dị nnọọ ka Schultz et al. (2007) chọpụtara na mmetụta nke ọgwụgwọ dị iche maka ndị ọkụ na ndị ọrụ dị arọ, ma eleghị anya, mmetụta nke News Feed dị iche maka ndị na-agbadoo post ozi obi ụtọ (ma ọ bụ mwute). Mgbapụta nwere ike iduga "ịkụ azụ" (Humphreys, Sierra, and Windt 2013) na "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , ma ndị a bụ ihe a na-ejikọta ya na nchịkọta akụkọ (Simmons, Nelson, and Simonsohn 2011) , ntinye aha (Humphreys, Sierra, and Windt 2013) , na usoro mpempe akwụkwọ igwe na-anwa igbochi ihe na-ekwesịghị ekwesị.