Inona no vakina manaraka

• Fampidirana (fizarana 4.1)

Ny fanontaniana mikasika ny antony mahatonga ny fikarohana amin'ny sehatra dia matetika sady sarotra. Ho an'ny fanadihadiana fototra momba ny antony mahatonga ny antony ara-toe-javatra, jereo Pearl (2009) , ary noho ny fomba fijery fototra mifototra amin'ny mety ho vokatra, jereo Imbens and Rubin (2015) . Ho fampitahana ireo fomba roa ireo, jereo ny Morgan and Winship (2014) . Ho an'ny fomba fanao mahazatra amin'ny famaritana ny fifandonana, jereo ny VanderWeele and Shpitser (2013) .

Ao amin'ity toko ity dia namorona zavatra tahaka ny endriny mamirapiratra eo anelanelantsika ny fahafahantsika manao tombana avy amin'ny data experimental sy tsy experiment. Na izany aza, heveriko fa, raha ny tena izy, ny fahasamihafana dia manjavozavo kokoa. Ohatra, manaiky ny rehetra fa miteraka homamiadana ny fifohana sigara, na dia tsy nisy aza ny fanandramana mifehy ny fifamoivoizana izay manery ny olona hifoka. Ho an'ny fitsaboana tsara indrindra momba ny fanaovana fitiliana azo tsapain-tanana avy amin'ny tahiry tsy misy fanandramana, dia jereo ny Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , sy Dunning (2012) .

Ny toko 1 sy 2 ao amin'ny Freedman, Pisani, and Purves (2007) manolotra fampidirana mazava ny fahasamihafana misy eo amin'ny fanandramana, ny fanandramana mifehy, ary ny fanandramana mifehy tsy tapaka.

Manzi (2012) dia manome fampidinana mahaliana sy azo vakiana amin'ny filozofika sy ny statistika fanalavana ny fanandramana mifehy ny fakantsary. Manome ohatra mahaliana momba ny herin'ny fanandramana amin'ny raharahambarotra izy io. Issenberg (2012) dia manome fampidiran-dresaka mahavariana amin'ny fampiasana fanandramana amin'ny hetsika ara-politika.

• Inona no fanandramana? (fizarana 4.2)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, ary Athey and Imbens (2016b) manome fampidiran-draharaha tsara amin'ny lafiny fanadihadiana sy ny fanadihadiana. Ankoatra izany, dia tsara indrindra ny fitsaboana ny fampiasana ny andrana maro samy hafa saha: toekarena (Bardsley et al. 2009) , sosiolojia (Willer and Walker 2007; Jackson and Cox 2013) , psikolojia (Aronson et al. 1989) , siansa politika (Morton and Williams 2010) , ary politika sosialy (Glennerster and Takavarasha 2013) .

Ny maha-zava-dehibe ny fandraisana mpiasa (ohatra, ny famafazana) dia matetika no tsy ankasitrahan'ny fikarohana. Na izany aza, raha toa ka tsy mitongilana eo amin'ny vahoaka ny fiantraikan'ny fitsaboana, dia tena ilaina ny famokarana. Longford (1999) mamaritra mazava tsara izany rehefa manohana ireo mpikaroka mandinika momba ny fanandramana izy ireo amin'ny fanadihadiana ny mponina miaraka amin'ny fakan-tsarimihetsika samihafa.

• Fahatapitr'ireo fanandramana: tontolon'ny labasy sy analog-digital (fizarana 4.3)

Nanolo-kevitra aho fa misy fifandimbiasana eo amin'ny fanandraman'ny laboratoara sy ny saha, ary ireo mpikaroka hafa dia nanolotra (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) maromaro kokoa, indrindra ireo izay manavaka ireo karazana fanandramana momba ny saha (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

Boky maro no nampitombo ny fanandramana momba ny labiera sy ny saha ao amin'ny fivalozana (Falk and Heckman 2009; Cialdini 2009) sy ny vokatry ny fanandramana manokana ao amin'ny siansa politika (Coppock and Green 2015) , ekonomika (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , ary psychologie (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) manolotra fandaharana tsara fikarohana mba hampitahana ny vokatra avy amin'ny laboratoara sy ny fanandramana. Parigi, Santana, and Cook (2017) manoritsoritra ny fanandramana eo amin'ny sehatry ny sehatra an-tserasera afaka mampifandray ny sasantsasany amin'ny toetra sy ny fanandramana momba ny labiera.

Ny ahiahy mikasika ireo mpandray anjara amin'ny fanovana ny fitondran-tenany satria fantany fa tazonina akaiky izy ireo dia antsoina indraindray fangatahana fangatahana , ary nianatra momba ny psychologie (Orne 1962) sy ny toekarena (Zizzo 2010) . Na dia ampifandraisina amin'ny fanandraman'ny laboratoara aza ireo olana ireo, dia mety hiteraka olana ho an'ny fanandramana eny an-tsaha ihany koa ireo olana ireo. Raha ny marina, ny vokatry ny fangatahana dia antsoina indraindray antsoina hoe Hawthorne , endri-pitenenana izay manomboka ny fanandramana fanazavana malaza izay nanomboka tamin'ny taona 1924 tao amin'ny Orinasa Hawthorne ao amin'ny orinasa mpamokatra herinaratra tandrefana (Adair 1984; Levitt and List 2011) . Ny vokatr'izany roa sy ny voan'ny Hawthorne dia mifandray akaiky amin'ny hevitra miverimberina miverimberina ao amin'ny toko faha-2 (Jereo koa ny Webb et al. (1966) ).

Ny fanandramana amin'ny sehatra dia manana tantara lava momba ny toekarena (Levitt and List 2009) , siansa politika (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , psychologie (Shadish 2002) , ary politika politika (Shadish and Cook 2009) . Ny sehatry ny siansa sosialy izay nanjary nalaza haingana ny fanandramana eo amin'ny sehatra dia ny fampandrosoana iraisam-pirenena. Ho fandinihana tsara an'io asa io eo amin'ny toekarena dia jereo Banerjee and Duflo (2009) , ary ho an'ny fanandramana goavana dia jereo ny Deaton (2010) . Ho famerenana ity asa ity amin'ny siansa politika dia jereo ny Humphreys and Weinstein (2009) . Farany, ny fanamby ara-etika vokatry ny fanandramana eo amin'ny sehatra dia nodinihina tao anatin'ny sehatry ny siansa politika (Humphreys 2015; Desposato 2016b) sy ny toe-karena fampandrosoana (Baele 2013) .

Amin'ity fizarana ity, nanoro hevitra aho fa azo ampiasaina ny fampahalalana mialoha ny fitsaboana mba hanatsarana ny mari-pahaizana momba ny fitomboana, fa misy ny adihevitra momba ity fomba ity; Jereo ny Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , ary Bloniarz et al. (2016) ho fampahalalana misimisy kokoa.

Farany, misy karazana fanandramana roa hafa ataon'ireo mpahay siansa sosialy izay tsy mifanentana tsara amin'ny halaviran'ny laboratoara: fanandramana fanadihadiana sy fanandramana ara-tsosialy. Ny fanandramana fanadihadiana dia fanandramana amin'ny fampiasana ny fotodrafitrasan'ny fanadihadiana efa misy ary mampitaha ny valiny amin'ny dika mitovy amin'ny fanontaniana iray ihany (misy fizahana fanadihadiana sasantsasany hita ao amin'ny Toko faha-3); Ho an'ny fanadihadiana bebe kokoa, jereo Mutz (2011) . Ny fanandramana ara-tsosialy dia ny fanandramana izay fomba fitsaboana politika sasantsasany izay tsy vitan'ny governemanta. Ny fanandramana ara-tsosialy dia mifandray akaiky amin'ny fandaharam-pianarana. Ho an'ny hafa momba ny fanandramana ara-politika, jereo Heckman and Smith (1995) , Orr (1998) , ary @ glennerster_running_2013.

• Mandeha lavitra ny fanandramana tsotra (fizarana 4.4)

Nisafidy ny hifantoka amin'ny hevitra telo aho: ny fahamendrehana, ny heterogeneity ny vokatra momba ny fitsaboana, ary ny rafitra. Ireo hevitra ireo dia manana anarana samihafa amin'ny sehatra samihafa. Ohatra, ny psychologista dia mandroso lavitra mihoatra ny fanandramana tsotra ka mifantoka amin'ny mpanelanelana sy ny moderatera (Baron and Kenny 1986) . Ny hevitr'ireo mpanelanelana dia tratran'ny antsoina hoe mekanisma, ary ny hevitr'ireo moderatera dia voasambotra noho ny antsoiko hoe valim-panafahana avy any ivelany (ohatra, mety ho hafainganam-pandrenesana ny vokatry ny fanandramana raha toa ka mihazakazaka amin'ny toe-javatra samihafa) sy ny tsy fahampian'ny vokatra fitondrana ( Ohatra, ny vokatra lehibe kokoa ho an'ny olona sasany noho ny hafa).

Ny fanandraman'i Schultz et al. (2007) maneho ny fomba azo ampiasaina amin'ny teoria sosialy mba hanaovana fanadihadiana mahomby. Ho an'ny fandresen-dahatra bebe kokoa momba ny anjara asan'ny teoria amin'ny famolavolana fepetra mahomby, jereo ny Walton (2014) .

• Validity (fizarana 4.4.1)

Ny hevitra momba ny valim-pidirana anatiny sy ivelany dia natsangan'i Campbell (1957) voalohany Campbell (1957) . Jereo ny Shadish, Cook, and Campbell (2001) ho an'ny tantara an-tsipiriany bebe kokoa sy ny famolavolana tsara ny fanatsoahan-kevitra momba ny statistika, ny valiny anatiny, ny fananganana ny fahamendrehana, ary ny valiny ivelany.

Ho an'ny fanadihadiana momba ny olana mifandraika amin'ny fehin-kevitra mifandraika amin'ny statistika, dia hita ao amin'ny Gerber and Green (2012) (avy amin'ny fomba fijery sosialy) sy Imbens and Rubin (2015) (avy amin'ny fomba fijery statistika). Ireto misy olana momba ny fehin-kevitra momba ny fanatsarana ny statistika izay mipoitra manokana amin'ny fanandramana an-tserasera an-tserasera dia ahitana olana toy ny fomba fanamafisana amin'ny fomba mahomby amin'ny fananganana fahatakarana (Bakshy and Eckles 2013) amin'ny angon-drakitra miankina (Bakshy and Eckles 2013) .

Ny valim-panaovana anatiny dia mety ho sarotra ny hiantohana amin'ny fanandramana eo amin'ny sehatry ny asa. Jereo, ohatra, Gerber and Green (2000) , Imai (2005) , ary Gerber and Green (2005) ho an'ny adihevitra momba ny fanatanterahana fanandramana momba ny fifidianana. Kohavi et al. (2012) sy Kohavi et al. (2013) manome fampidirana amin'ny fanambin'ny valim-pifanakalozan-kevitra eo amin'ny sehatra an-tserasera.

Iray amin'ireo loza mitatao ho an'ny fanamarinana anatiny dia ny mety hisian'ny randomization. Ny fomba iray lehibe ahafahana mamantatra ireo olana amin'ny fampisaraham-bazana dia ny mampitaha ny vondrona fitsaboana sy fifehezana amin'ny toetra hita maso. Ity karazana fampitahàna ity dia antsoina hoe fialan -tsasatra . Jereo ny Hansen and Bowers (2008) ho an'ny fomba fijery statistika handanjalanjana ny fanamarinana sy Mutz and Pemantle (2015) noho ny ahiahy momba ny fanaraha-maso ny fandanjana. Ohatra, amin'ny fampiasana fanaraha-maso mandanjalanja, i Allcott (2011) nahita porofo fa tsy nampiharina tsara ny fizarana randomisation tamin'ny telo tamin'ireo fanandramana nataon'ny mpanara-baovao (jereo ny tabilao 2, sites 2, 6, ary 8). Ho an'ny fomba hafa dia jereo ny toko faha-21 amin'ny Imbens and Rubin (2015) .

Ny olana lehibe hafa mifandraika amin'ny valin'ny iraisam-pirenena dia: (1) tsy fanarahan-dalàna tokana, izay tsy ny olon-drehetra ao amin'ny vondrona fitsaboana no nahazo ny fitsaboana, (2) ny tsy fanarahana ny roa tonta, izay tsy ny olon-drehetra ao amin'ny vondrona fitsaboana no mahazo ny fitsaboana ary ny olona sasany (3) ny fisintahana, izay tsy ahafantarana ny vokatra ho an'ny mpandray anjara sasany, ary (4) fitsabahana, izay ny fitsaboana dia mandao ny olona amin'ny toetry ny fitsaboana amin'ny olona amin'ny fepetra fisorohana. Jereo ny toko 5, 6, 7, ary ny 8 amin'ny Gerber and Green (2012) ho an'ny tsirairay amin'ireto olana ireto.

Raha te-hahalala bebe kokoa momba ny fananganana valiny dia jereo ny Westen and Rosenthal (2003) , ary raha te-hahalala bebe kokoa amin'ny loharanom-baovao lehibe, Lazer (2015) ary toko 2 amin'ity boky ity.

Ny lafiny iray amin'ny valim-panafahana ivelany dia ny fametrahana ny fitsabahana. Allcott (2015) dia manome fitsaboana mitandrina tsara amin'ny sehatra fitsaboana. Ity resaka ity dia noresahin'i Deaton (2010) . Ny lafiny iray amin'ny valim-panafahana avy any ivelany dia raha toa ka misy vokany mitovitovy amin'izany koa ny fampandehanan-draharaha hafa momba izany. Amin'io tranga io dia misy fampitahana eo amin'i Schultz et al. (2007) sy Allcott (2011) maneho fa ny fanandramana nataon'ny Opower dia manana lanjany kokoa noho ny fanandramana voalohany nataon'ny Schultz sy ny mpiara-miasa (1.7% versus 5%). Allcott (2011) nihevitra fa ny fanandramana fanaraha-maso dia nanana fiantraikany kely kokoa noho ny fomba nitondran'ny fitsaboana samihafa: fanitsakitsahana ny sora-tanana nosoratana tamin'ny alalan'ny fianarana nokarakarain'ny oniversite iray, raha oharina amin'ny emoticon natonta ho anisan'ny famokarana betsaka tatitra avy amin'ny orinasa mpamokatra herinaratra.

• Heterogénity ny fiantraikan'ny fitsaboana (fizarana 4.4.2)

Ho an'ny fandinihana tsara momba ny fahasamihafana eo amin'ny fitsaboana amin'ny sehatra fanandramana, jereo ny toko 12 amin'ny Gerber and Green (2012) . Ho an'ny fampidirana ny fahasamihafana eo amin'ny fitsaboana amin'ny fitsapana ara-pitsaboana, jereo Kent and Hayward (2007) , Longford (1999) , ary Kravitz, Duan, and Braslow (2004) . Ny fiheverana ny tsy fahampian'ny fihenan'ny fitsaboana dia mifantoka amin'ny fahasamihafana mifototra amin'ny toetran'ny fitsaboana. Raha liana amin'ny heterogeneity mifototra amin'ny vokatry ny fitsaboana ianao, dia ilaina kokoa ny fomba fitadiavam-bola, toy ny tari-dalana lehibe indrindra (Frangakis and Rubin 2002) ; jereo ny Page et al. (2015) ho an'ny famerenana.

Maro ny mpikaroka no manombatombana ny tsy fahampian'ny fiantraikany amin'ny fitsaboana amin'ny fampiasana tsipika kely, fa ny fomba vaovao kosa dia miankina amin'ny fianarana milina; Jereo, ohatra, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , ary Athey and Imbens (2016a) .

Misy ny fisalasalana mahakasika ny fijerena ny tsy fahampian'ny fiantraikany vokatry ny olana isan-karazany sy ny "fanjonoana". Misy karazana statistika isan-karazany izay afaka manampy amin'ny fitantanana ireo ahiahy momba ny fampitahana marobe (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Ny iray amin'ireo fomba ahiahiana momba ny "mpanjono" dia ny fisoratana anarana alohan'ny famoahana, izay mihamitombo hatrany amin'ny psikology (Nosek and Lakens 2014) , siansa politika (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ary toekarena (Olken 2015) .

Ao amin'ny fandinihan'i Costa and Kahn (2013) ny antsasaky ny tokantrano ao amin'ny fanandramana dia mety ho mifandray amin'ny fampahalalam-baovao. Ireo mpamaky liana amin'ireo antsipiriany ireo dia tokony hanondro ilay taratasy tany am-piandohana.

• Ny fomba fiasa (fizarana 4.4.3)

Tena zava-dehibe ny fomba fiasa, kanefa sarotra be ny mianatra. Ny fikarohana momba ny mekanisma dia mifandray akaiky amin'ny fandalinana ny mpanelanelana amin'ny psikology (fa jereo ihany koa ny VanderWeele (2009) ho fampitahana mazava tsara ny hevitra roa). Ny fomba fitadiavam-batana amin'ny fitadiavana fomba fisainana, toa ny fomba fiasa natsangana tao Baron and Kenny (1986) , dia tena mahazatra. Indrisy anefa fa ny fandehan-javatra dia miankina amin'ny fiheverana matanjaka (Bullock, Green, and Ha 2010) ary mijaly rehefa misy rafitra maromaro, tahaka ny mety (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) amin'ny toe-javatra maro (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) ary Imai and Yamamoto (2013) manome fomba fiasa maromaro kokoa. Ankoatra izany, VanderWeele (2015) manolotra fitsaboana amin'ny boky miaraka amin'ny valiny maromaro manan-danja, anisan'izany ny fomba fijery malalaka amin'ny fandalinana ny fahatsapana.

Ny fomba fiasa manokana dia mifantoka amin'ny fanandramana izay manandrana manitsy ny sehatra mivantana (ohatra, manome sailors vitamin C). Mampalahelo fa amin'ny sehatra maro momba ny siansa sosialy, matetika dia misy fomba maro isehoana ary sarotra ny manamboatra fitsaboana izay manova ny iray nefa tsy manova ny hafa. Ny sasany amin'ireo fomba fitrandrahana fanandramana fanandramana dia nofaritan'i Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , ary Pirlott and MacKinnon (2016) .

Ireo mpikaroka izay mikarokarena fanadihadiana tanteraka dia mila miahiahy momba ny fitsapana maro samihafa; jereo Fink, McConnell, and Vollmer (2014) sy List, Shaikh, and Xu (2016) raha mila fanazavana fanampiny.

Farany, ny rafitra dia manana tantara lava ao amin'ny filozofia siansa araka izay nilazan'i Hedström and Ylikoski (2010) .

• Mampiasa tontolo iainana efa misy (fizarana 4.5.1)

Raha mila fanampim-panazavana momba ny fandalinana ny fanadihadiana sy ny fanadihadiana momba ny fanamarinana mba handraisana fanavakavahana dia jereo ny Pager (2007) .

• Manangana ny fanandramanao manokana (fizarana 4.5.2)

Ny fomba mahazatra indrindra amin'ny fampandrenesana ny mpandray anjara amin'ny fanandramana izay ataonao dia ny Amazon Mechanical Turk (MTurk). Satria ny MTurk dia mamaly ireo endrika traikefa momba ny laboratoara - ny olona mandoa ny asany izay tsy ho vitany ho an'ny maimaim-poana-maro ireo mpikaroka efa nanomboka nampiasa Turkers (ireo mpiasan'ny MTOUR) ho mpandray anjara amin'ny fanandramana, ka nahatonga ny fanangonana tahiry haingana sy mora kokoa noho izay mety ho azo ao amin'ny fanadihadiana momba ny laboratoara ao an-toerana (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Amin'ny ankapobeny, ny tombontsoa lehibe indrindra amin'ny fampiasana ireo mpandray anjara avy amin'ny MTurk dia logistical. Raha toa ka afaka herinandro maromaro ny fanandramana avy amin'ny laboratoara dia afaka mandany volana maromaro ny fanandramana any an-tsaha, ny fanandramana amin'ireo mpandray anjara avy MTOUR dia afaka mihazakazaka ao anatin'ny andro. Ohatra, Berinsky, Huber, and Lenz (2012) dia afaka nanangona lohahevitra 400 tao anatin'ny iray andro mba handray anjara amin'ny fanandramana maharitra 8 minitra. Ankoatr'izany, ireo mpandray anjara ireo dia afaka raisina an-tsitrapo amin'ny tanjona voatanisa rehetra (anisan'izany ny fanadihadiana sy ny fiaraha-miasa betsaka, araka ny resahina ao amin'ny toko 3 sy 5). Ity fanamafisana ny fandraisana mpiasa ity dia midika fa ny mpikaroka dia afaka mitazona ny fizotry ny fanandramana mifandraika amin'ny fifandimbiasana haingana.

Alohan'ny hamerenana ny mpandray anjara avy amin'ny MTurk ho an'ny fanandramanao manokana, misy zavatra efatra manan-danja tokony ho fantatrao. Voalohany, maro amin'ireo mpikaroka no manana fisalasalana tsy dia tsara loatra amin'ny fanandramana mifandray amin'ny Turkers. Satria tsy voafaritra izany fisalasalana izany, sarotra ny mifanohitra amin'ny porofo. Na izany aza, aorian'ny taom-pianarana nandritra ny taona maro nampiasa Turkers, dia afaka mieritreritra isika fa ity fisalasalana ity dia tsy voamarina manokana. Betsaka ny fianarana nampitaha ny demografikan'i Turkers tamin'ny an'ireo mponina hafa sy ny fianarana maro mampitaha ny vokatry ny fanandramana amin'ny Turkers sy ireo mponina hafa. Noho ny asa rehetra ataoko dia heveriko fa ny fomba tsara indrindra ahafahanao mieritreritra an'izany dia ny ohatr'ireo Turker ho ohatra azo itokisana, toy ny mpianatra fa samihafa be kokoa (Berinsky, Huber, and Lenz 2012) . Araka izany, toy ny maha-mponina an-tapitrisany ho an'ny sasany ny mpianatra, fa tsy ny rehetra, ny fikarohana, ny Turkers dia mponina mendrika ho an'ny sasany, fa tsy ny rehetra, fikarohana. Raha miara-miasa amin'ny Turkers ianao, dia tsara ny mamaky ny maro amin'ireto fanadihadiana manaraka ireto ary mahatakatra ny fahitana azy ireo.

Faharoa, ireo mpikaroka dia nanamboatra fomba tsara indrindra hampitomboana ny valim-panatanterahana momba ny traikefa MTur, ary tokony hianatra sy hanaraka ireo fomba fanao tsara indrindra ianao (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Ohatra, ireo mpikaroka mampiasa Turkers dia ampirisihina hampiasa mpitaingina hamongorana ireo mpandray anjara tsy (Berinsky, Margolis, and Sances 2014, 2016) (jereo ihany koa ny DJ Hauser and Schwarz (2015b) sy DJ Hauser and Schwarz (2015a) ). Raha tsy manaisotra ny mpandray anjara tsy mazoto ianao, dia mety hosoloina ny tabataba izay ampidiriny, ary mety ho betsaka ny mpandray anjara tsy mitongilana. Ao amin'ny fanandraman'i Huber sy ny mpiara-miasa (2012) , manodidina ny 30% n'ny mpandray anjara dia tsy nahitana mpilatsaka an-tsoratra fototra. Ny olana hafa izay mitranga matetika amin'ny fampiasana Turkers dia mpandray anjara tsy mpiangona (Chandler et al. 2015) ary ny fisintahana (Zhou and Fishbach 2016) .

Fahatelo, raha oharina amin'ny karazana fanandramana nomerika hafa, ny experimentes MTur dia tsy afaka manitatra; Stewart et al. (2015) tombanana fa amin'ny fotoana iray dia eo amin'ny 7000 eo ho eo monja amin'ny MTOUR ihany no misy.

Farany, tokony ho fantatrareo fa ny MTork dia fiarahamonina misy ny fitsipika sy fitsipika manokana (Mason and Suri 2012) . Tahaka izany koa no tokony hiezahanao hahafantatra momba ny kolontsain'ny firenena izay hitondranao ny fanandramanao, tokony hanandrana hahalala bebe kokoa momba ny kolontsaina sy ny fitsipiky ny Turkers ianao (Salehi et al. 2015) . Ary tokony ho fantatrao fa ny Turkers dia hiresaka momba ny fanandramanao raha manao zavatra tsy mendrika na tsy misy dikany ianao (Gray et al. 2016) .

Ny MTOUR dia fomba mahavariana hamerenana ny mpandray anjara amin'ny fanandramanao, na labana toy ny an'i Huber, Hill, and Lenz (2012) , na sehatra toy ny an'ny Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , ary Mao et al. (2016) .

• Manangana ny vokatrao manokana (fizarana 4.5.3)

Raha mieritreritra ny hanandrana hamorona ny vokatrao manokana ianao, manoro hevitra anao aho hamaky ny torohevitra omen'ny vondrona MovieLens ao Harper and Konstan (2015) . Ny fahitana fototra amin'ny traikefa iainan'izy ireo dia ny fahombiazan'ny maro amin'ny tetikasa mahomby. Ohatra, ny vondrona MovieLens dia nametraka vokatra hafa, toy ny GopherAnswers, izay tsy fahombiazana tanteraka (Harper and Konstan 2015) . Ohatra iray hafa amin'ny mpikaroka iray tsy nahomby nandritra ny ezaka hananganana vokatra iray dia ny ezak'i Edward Castronova hanangana lalao an-tserasera antsoina hoe Arden. Na dia eo aza ny $ 250,000 amin'ny famatsiam-bola dia tondra-drano (Baker 2008) ilay tetikasa. Ny tetikasa toy ny GopherAnswers sy Arden dia indrisy fa mahazatra kokoa noho ny tetikasa toy ny MovieLens.

• Fiaraha-miasa amin'ny hery (fizarana 4.5.4)

Efa naheno ny hevitry ny Quadrant Pasteur miresaka matetika amin'ny orinasa tech, ary manampy amin'ny fikarakarana ny fikarohana ao amin'ny Google (Spector, Norvig, and Petrov 2012) .

Ny fianarana ny fianarana sy ny mpiara-miasa (2012) dia miezaka ihany koa hamantatra ny fiantraikan'ireo fitsaboana ireo amin'ireo naman'ireo izay nandray azy ireo. Noho ny famolavolana ny fanandramana dia sarotra ny mamantatra azy ireny; Ireo mpamaky liana dia tokony hahita an'i Bond et al. (2012) ho an'ny adihevitra misimisy kokoa. Jones sy mpiara-miasa (2017) koa dia nanao fanandramana tena nitovy tamin'izany nandritra ny fifidianana tamin'ny taona 2012. Ireo fanandramana ireo dia ampahany amin'ny lovantsofina lava amin'ny fanandramana amin'ny siansa politika amin'ny ezaka hamporisihana ny fifidianana (Green and Gerber 2015) . Ireo fanandramana mitazam-pifidianana ireo dia mahazatra, amin'ny ampahany satria ao amin'ny Quadrant Pasteur. Izany hoe, maro ireo olona izay manentana ny hampitombo ny fifidianana sy ny fifidianana dia mety ho fihetsika mahaliana mba hijerena teoriary maromaro kokoa mikasika ny fiovan'ny fitondrantena sy ny fiantraikany ara-tsosialy.

Ho an'ny soso-kevitra momba ny fanandramana fikarakarana fikarohana miaraka amin'ny fikambanana mpiara-miasa toy ny antoko politika, fikambanana tsy miankina ary ny orinasa dia jereo ny Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , ary Gueron (2002) . Raha mieritreritra ny fomba fiasa eo amin'ny sehatry ny fikarohana ny fiarahamiasa amin'ny fikambanana, dia jereo ny King et al. (2007) sy Green, Calfano, and Aronow (2014) . Ny fiaraha-miombon'antoka dia afaka mitarika amin'ny fanontaniana etika, araka ny resadresaky ny Humphreys (2015) sy Nickerson and Hyde (2016) .

• Design advice (fizarana 4.6)

Raha handeha hamorona drafitra fanadihadiana ianao alohan'ny hanaovana ny fanandramanao dia manoro hevitra aho fa manomboka amin'ny famakiana ny toro-làlana momba ny tatitra. Ny toro-làlana momba ny fikarohana momba ny fitsaboana dia natao tamin'ny fanafody (Schulz et al. 2010) ary novaina tamin'ny fikarohana sosialy (Mayo-Wilson et al. 2013) . Ny tari-dàlana mifandraika amin'izany dia novolavolan'ireo mpanoratra ny Journal of Experimental Political Science (Gerber et al. 2014) (jereo koa Mutz and Pemantle (2015) sy Gerber et al. (2015) ). Farany, ny torolàlana momba ny tatitra dia novolavolaina tao amin'ny psikology (APA Working Group 2008) , ary jereo koa Simmons, Nelson, and Simonsohn (2011) .

Raha mamorona drafitra fanadihadiana ianao, dia tokony handinika mialoha ny fisoratana anarana izany satria ny fisoratana anarana mialoha dia hampitombo ny fahatokisanao ny hafa amin'ny vokatrao. Ankoatra izany, raha miara-miasa amin'ny mpiara-miasa ianao dia hametra ny fahafahan'ny mpiara-miasa aminy hanova ny fandalinana rehefa hitany ny vokatra. Ny fisoratana anarana amin'ny fisoratana anarana dia mihamitombo hatrany amin'ny psikology (Nosek and Lakens 2014) , siansa politika (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ary ekonomika (Olken 2015) .

Ny toro-hevitra manokana momba ny fanandramana an-tserasera dia aseho koa ao Konstan and Chen (2007) sy Chen and Konstan (2015) .

Ny antsoiko hoe paikady armada dia indraindray antsoina hoe fikarohana fandaharanasa ; jereo Wilson, Aronson, and Carlsmith (2010) .

• Hamorona ny angon-drakitra vidin'ny zero (fizarana 4.6.1)

Raha te hahalala bebe kokoa momba ny fanandramana MusicLab, jereo Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , ary Salganik (2007) . Raha te hahafantatra bebe kokoa amin'ny tsenan'ny mpandresy dia jereo ny Frank and Cook (1996) . Raha te hahazo bebe kokoa ny vintana sy ny fahaiza-manao mahazatra, jereo Mauboussin (2012) , Watts (2012) , ary Frank (2016) .

Misy fomba hafa hanafoanana ny fandoavam-bola ataon'ny mpikaroka izay tokony hampiasa amim-pahamalinana: fampandrenesana. Amin'ny fanandramana amin'ny sehatra maro an-tserasera dia natao ho fanandramana ny mpandray anjara ary tsy manavotra velively. Ohatra avy amin'io fomba fitrandrahana io ny fanandraman'i Restivo sy van de Rijt (2012) momba ny valisoa ao amin'ny Wikipedia sy Bond ary ny fanandraman'ny mpiara-miasa (2012) momba ny famporisihana ny olona hifidy. Ireo fanandramana ireo dia tsy manana vidin-javatra faran'izay ambany - fa, fa manana vidin-javatra tsy mitovy amin'ny mpikaroka ry zareo . Amin'ny fanandramana tahaka izany, na dia kely loatra aza ny vidin'ny mpandray anjara tsirairay, dia mety ho lehibe ny fandaniana. Ireo mpikaroka dia mitazona ny fanandramana an-tserasera amin'ny ankapobeny matetika dia manamarina ny maha-zava-dehibe ny fiheverana ny fitsaboana kely, amin'ny filazana fa ireo vokatra kely ireo dia mety ho lasa zava-dehibe rehefa ampiharina amin'ny olona maro Ny fisainana mitovy amin'izany dia mitaky ny vola lany amin'ny mpandray anjara amin'ny mpandray anjara. Raha mahatonga ny olona iray tapitrisa handany iray minitra ny fanandramanao, dia tsy tena manimba ny olona iray ny fanandramana, fa ny antontan'isa dia efa nandritry ny roa taona teo ho eo.

Ny fomba hafa entina hananganana ny vidin'ny sanda tsy mitovy amin'ny an'ny mpandray anjara dia ny fampiasana loteria, fomba iray izay nampiasaina tao amin'ny fikarohana momba ny fanadihadiana (Halpern et al. 2011) . Raha te hahafantatra bebe kokoa momba ny fanandramana ny mpampiasa mahafinaritra dia jereo ny Toomim et al. (2011) . Raha mila fanampim-panazavana momba ny fampiasana botsika mba hamoronana zero ny fanandramana vidin-javatra ( ??? ) .

• Manolo, manadio, ary mampihena (fizarana 4.6.2)

Ireo telo R ireo dia natolotr'i Russell and Burch (1959) tany am-piandohana:

"Replacement dia midika hoe ny fanoloana ny mahatsiaro tena miaina ambony biby ny insentient fitaovana. Fampihenana midika hoe fampihenana ny isan'ny biby ampiasaina mba hahazoana fanazavana ny iray nomena vola sy marina tsara. Fanatsarana midika hoe misy fihenana eo amin'ny tranga na ny hamafin'ny ny fomba tsy mifaditrovana ampiharina amin'ny biby ireo izay mbola tsy maintsy ho ampiasaina. "

Ireo telo R izay atolotro dia tsy manapaka ny fitsipika etika voafaritra ao amin'ny fizarana faha-6. Ny valiny dia iray amin'ny famolavolana kokoa ny iray amin'ireo toro lalana ireo-tombony kokoa-indrindra amin'ny fametrahana fanandraman'ny olombelona.

Raha ny momba ny R voalohany ("replacement"), mampitaha ny fanandramana mampihetsi-po (Kramer, Guillory, and Hancock 2014) sy ny traikefa voajanahary mampihetsi-po (Lorenzo Coviello et al. 2014) amin'ny fampisehoana amin'ny fanandramana amin'ny fanandramana voajanahary (sy ireo fomba hafa toy ny mifanandrify izay manandrana manombantombana ny fanandramana amin'ny data tsy misy fanandramana, jereo ny toko 2). Ankoatra ny tombontsoa ara-etika, ny fivoahana avy amin'ny fanandramana amin'ny fanandramana tsy fanandramana dia ahafahan'ny mpikaroka mandinika ny fitsaboana izay tsy afaka mampiasa azy. Ireo tombontsoa ara-pihetseham-po sy ara-logistika ireo dia tonga amin'ny vidiny, na izany aza. Amin'ny fanandramana voajanahary dia tsy dia mifehy loatra ny zava-mitranga toy ny famerenana ny mpandray anjara, ny marimaritra iraisana, ary ny toetoetran'ny fitsaboana. Ohatra, ny famerana ny rotsak'orana ho fitsaboana dia ny fampitomboana ny toetr'andro sy ny fampihenana ny disadisa. Tao anatin'ny fanandramana fanandramana anefa, dia afaka nanitsy ny fahatsapana sy ny tsy fisian-dresaka i Kramer sy ireo mpiara-miasa aminy. Ny fomba fiasa manokana ampiasain'i Lorenzo Coviello et al. (2014) dia novolavolan'i L. Coviello, Fowler, and Franceschetti (2014) . Ho an'ny fampidiran-dresaka ho an'ny vondrona manan-danja, izay fomba fampiasan'i Lorenzo Coviello et al. (2014) , jereo ny Angrist and Pischke (2009) (tsy dia ara-dalàna) na Angrist, Imbens, and Rubin (1996) (more ara-dalàna). Raha mila resy lahatra fanombanana ny fitaovana hiovaova, jereo ny Deaton (2010) , ary ny fampidirana ny fitaovana malemy hiovaova amin'ny fitaovana (orana dia malemy fitaovana), jereo ny Murray (2006) . Amin'ny ankapobeny, ny fampidirana tsara amin'ny fanandramana voajanahary dia omen'i Dunning (2012) , raha Rosenbaum (2002) , ( ??? ) , sy Shadish, Cook, and Campbell (2001) manome hevitra tsara momba ny fanombanana ny vokadratsy tsy misy fanandramana.

Amin'ny resaka R (fanatsarana) faharoa dia misy ny fivarotana ara-tsiantifika sy ara-logistika rehefa mandinika ny fanovana ny famolavolana ny fifandraisana ara-pihetseham-po amin'ny fanakanana ny lahatsoratra mba hanatsarana lahatsoratra. Azonao atao, ohatra, ny hoe ny fampiharana ara-teknika ny Feed News dia mahatonga azy io ho mora kokoa ny manao fanandramana izay voasakana fa tsy ny iray izay nanosika azy ireo (mariho fa azo atao ny fanandramana momba ny fanakanana ny lahatsoratra ho toy ny teboka iray eo ambonin'ny rafitry ny News Feed izay tsy mila ny fanovana ny rafitra fototra). Ny siansa anefa dia tsy voatery manolo-kevitra ny iray amin'ny endrika hafa. Mampalahelo fa tsy mahatsikaritra ny fikarohana momba ny mombamomba ny fanakanana sy ny fanatsarana ny votoatin'ny News Feed aho. Ary koa, tsy nahita fikarohana be aho momba ny fanadiovana ny fitsaboana mba hahatonga azy ireo ho vitsy kokoa; Ny iray dia niavaka hoe B. Jones and Feamster (2015) , izay mandinika ny tranga famerana ny sivana amin'ny aterineto (lohahevitra iray resahiko ao amin'ny toko faha-6 amin'ny fifandraisana amin'ny fandalinana Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Ao amin'ny R (fahatelo) R ("reductions"), ny fampidirana tsara ny fanadihadiana momba ny angovo nentim-paharazana dia nomena an'i Cohen (1988) (boky) sy Cohen (1992) (lahatsoratra), raha i Gelman and Carlin (2014) manolotra fomba fijery hafa. Ny covariates mialoha ny fitsaboana dia mety ho tafiditra ao amin'ny dingana sy ny fanadihadiana momba ny dingana fanandramana; Ny toko faha-4 amin'ny Gerber and Green (2012) dia manome fampidirana tsara ho an'ny roa tonta, ary ny Casella (2008) dia manome fitsaboana lalina kokoa. Ireo teknika izay mampiasa ny fampahalalana mialoha ny fitsaboana amin'ny fomban-tany dia matetika antsoina hoe fanakatonana fanandramana na fanandramana fanandramana fanandramana (tsy ampiasaina eo anivon'ny fiarahamonina); Ireo teknika ireo dia mifandray akaiky amin'ny teknikam- Higgins, Sävje, and Sekhon (2016) voaresaka ao amin'ny fizarana faha-3. Jereo Higgins, Sävje, and Sekhon (2016) ho an'ny fampiasana ireo tetikasa ireo amin'ny fanandramana goavana. Ireo covariates mialoha ny fitsaboana dia mety ho tafiditra ao amin'ny dingana fandalinana. McKenzie (2012) mamakafaka ny fomba fitadiavana ny fahasamihafan'ny fahasamihafana amin'ny famakafakana ny fanandramana amin'ny sehatra amin'ny antsipiriany bebe kokoa. Jereo ny Carneiro, Lee, and Wilhelm (2016) mba hahitana bebe kokoa ny fifanakalozan-kevitra eo amin'ny fomba fanao amin'ny fampitomboana ny mari-pahaizana amin'ny fanombanana ny vokatry ny fitsaboana. Farany, rehefa manapa-kevitra ny hampiditra ny covariates mialoha ny fitsaboana amin'ny dingana famolavolana na fanadihadiana (na izy roa) dia misy antony vitsivitsy tokony hodinihina. Ao amin'ny toerana izay tian'ireo mpikaroka haneho fa tsy "manjono" izy ireo (Humphreys, Sierra, and Windt 2013) , dia mety hanampy (Higgins, Sävje, and Sekhon 2016) fampiasana covariates mialoha ny fitsaboana eo amin'ny sehatry ny fandaharana. Amin'ny toe-javatra iainan'ireo mpandray anjara manaraka, indrindra amin'ny fanandramana amin'ny sehatra an-tserasera, ny fampiasana fampahalalana mialoha amin'ny fitsaboana dia mety ho sarotra ara-logistika; Jereo, ohatra, Xie and Aurisset (2016) .

Tena sarobidy ny fametrahana fanontaniana kely momba ny antony mahatonga ny fomba fitadiavana fahasamihafana amin'ny fomba samihafa kokoa dia mety ho mahomby kokoa noho ny fahasamihafana-amin'ny-iray. Maro ny valim-pifandraisana an-tserasera manana fari-pahaizana tena goavana (jereo ohatra ny RA Lewis and Rao (2015) sy Lamb et al. (2015) ) ary mbola miorina maharitra ihany. Amin'ity tranga ity, ny lanjan'ny fanovana dia hanana fihenana kely kokoa, hampitombo ny herin'ny fitsapam-pahaizana statistika. Ny antony iray mahatonga izany fomba izany dia tsy ampiasaina matetika kokoa fa alohan'ny vanim-potoana nomerika, dia tsy fahita firy ny fanatsarana ny vokatra. Ny fomba fiasa mivaingana kokoa hieritreretana an'izany dia ny maminavina ny fanandramana handrefesana raha mahazaka fahazarana mahazatra ny fahazarana. Raha manaiky fomba fitsabarà fahasamihafana ianao, ny tombantombanao dia hanana fahasamihafana vokatry ny fihenjan-danja amin'ny vatan'ny olona. Raha manao fanandramana ny fahasamihafan'ny fahasamihafana anefa ianao, na izany aza, dia mihena ny fanovàna voajanahary voajanahary, ary mora kokoa ny mamantatra ny fahasamihafana vokatry ny fitsaboana.

Farany, nieritreritra aho fa manampy venty R: "repurpose". Izany hoe, raha mahita tatitra ara-pihetseham-po kokoa ireo mpikaroka fa tsy mila mamaly ny fanontanian'izy ireo amin'ny voalohany, dia tokony hamerina hametraka ny angon-drakitra hametrahana fanontaniana vaovao izy ireo. Ohatra, eritrereto hoe i Kramer sy ny mpiara-miasa dia nampiasa fahasamihafan'ny fahasamihafan'ny fahasamihafana ary nahitàna tambajotra marobe kokoa noho ny nilain'izy ireo hamaha ny fanontaniana napetrak'izy ireo. Raha tokony hampiasa ny angon-drakitra amin'ny ankapobeny izy ireo, dia mety ho nianatra ny habetsaky ny vokatra izy ireo, ho fiasana amin'ny fitenenana mialoha ny fitsaboana. Tahaka an'i Schultz et al. (2007) nahatsikaritra fa ny fiantraikan'ny fitsaboana dia samy hafa noho ireo mpampiasa maivana sy mavesatra, angamba ny vokatry ny News Feed dia niavaka tamin'ny olona izay naniry hampita hafatra hafaliana (na mampalahelo). Ny fanoherana dia mety hitarika ho amin'ny "fanjonoana" (Humphreys, Sierra, and Windt 2013) sy "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , saingy ireo dia azo adika amin'ny fitambaran-tsoratra marina (Simmons, Nelson, and Simonsohn 2011) , alohan'ny fanoratana (Humphreys, Sierra, and Windt 2013) , ary fomba fianarana milina miezaka ny misoroka ny fatorana.