Dè a leughas a-rithist
- Ro-ràdh (earrann 4.1)
Tha ceistean mu adhbharan ann an rannsachadh sòisealta gu tric iom-fhillte agus iom-fhillte. Airson dòigh-obrach bunaiteach airson adhbharan stèidhichte air grafaichean adhbharach, faic Pearl (2009) , agus airson dòigh-obrach bunaiteach stèidhichte air toraidhean a dh'fhaodadh a bhith ann, faic Imbens and Rubin (2015) . Airson coimeas eadar an dà dhòigh-obrach sin, faic Morgan and Winship (2014) . Airson dòigh-obrach foirmeil airson a bhith a 'mìneachadh VanderWeele and Shpitser (2013) , faic VanderWeele and Shpitser (2013) .
Anns a 'chaibideil seo, chruthaich mi na bha coltach ri loidhne soilleir eadar ar comas tuairmsean adhbharach a dhèanamh bho dàta dearbhaidh agus neo-fheuchainn. Ach, tha mi a 'smaoineachadh sin, gu fìrinneach, gu bheil an t-eadar-dhealachadh nas miosa. Mar eisimpleir, tha a h-uile duine a 'gabhail ris gu bheil smocadh ag adhbhrachadh aillse, ged nach eil deuchainn air a thionndadh air thuaiream a bheir air daoine smocadh a dhèanamh a-riamh. Airson leigheasan sàr-leabhraichean le bhith a 'dèanamh tuairmsean adhbharach bho dàta neo-dheuchainneach, faic Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , agus Dunning (2012) .
Tha Caibideilean 1 agus 2 de Freedman, Pisani, and Purves (2007) tairgse ro-ràdh soilleir air na h-eadar-dhealachaidhean eadar deuchainnean, deuchainnean fo smachd, agus deuchainnean fo smachd air an riaghladh.
Manzi (2012) toirt seachad inntrigeadh inntinneach agus leughaidh air na bun-bheachdan feallsanachdail agus staitistigeach de dheuchainnean fo smachd air an taobh a-muigh. Tha e cuideachd a 'toirt eisimpleirean inntinneach dha-rìribh de chumhachd an deuchainnean ann an gnìomhachas. Issenberg (2012) toirt seachad inntrigeadh iongantach air cleachdadh deuchainnean ann an iomairtean poilitigeach.
- Dè th 'ann de dheuchainnean? (earrann 4.2)
Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, agus Athey and Imbens (2016b) toirt deagh Athey and Imbens (2016b) do na roinnean staitistigeil de dhealbhadh agus sgrùdadh deuchainneach. A bharrachd, tha leigheasan sàr-mhath ann a thaobh cleachdadh deuchainnean ann an iomadh raon eadar-dhealaichte: eaconamachd (Bardsley et al. 2009) , eòlas-eòlas (Willer and Walker 2007; Jackson and Cox 2013) , saidhgeòlas (Aronson et al. 1989) , saidheans poilitigeach (Morton and Williams 2010) , agus poileasaidh sòisealta (Glennerster and Takavarasha 2013) .
Tha cudromachd fastaidh com-pàirtiche (me, samplachadh) gu tric air a mheas gu mòr ann an rannsachadh deuchainneach. Ge-tà, ma tha buaidh an leigheis ann an iomadh seòrsa sluaigh, bidh samplachadh riatanach. Longford (1999) dèanamh an puing seo gu soilleir nuair a tha e a' moladh luchd-rannsachaidh a tha a 'smaoineachadh air deuchainnean mar sgrùdadh sluaigh le samplachadh air leth.
- Dà tomhas de dheuchainnean: lann-labair agus analog-didseatach (earrann 4.3)
Tha mi air a bhith a 'moladh gu bheil leantainneachd eadar deuchainnean saothair agus deuchainnean, agus tha luchd-rannsachaidh eile air teipeòlasan nas mionaidiche a mholadh, gu h-àraid feadhainn a tha a' sgaradh diofar seòrsa deuchainnean raoin (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .
Tha grunn phàipearan air deuchainnean saothair agus deuchainnean coimeas a dhèanamh an coimeas ri chèile (Falk and Heckman 2009; Cialdini 2009) agus a thaobh builean de dheuchainnean sònraichte ann an saidheans poilitigeach (Coppock and Green 2015) , eaconamachd (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , agus saidhgeòlas (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) tairgse dealbhadh rannsachaidh math airson a bhith a' dèanamh coimeas eadar toraidhean bho dheuchainnean saothair agus deuchainnean. Parigi, Santana, and Cook (2017) toirt tuairisgeul air mar a dh'fhaodas deuchainnean raoin air-loidhne cuid de na comharran de dheuchainnean lios-lann agus raoin.
Tha draghan mu chom-pàirtichean a tha ag atharrachadh an giùlan a chionn 's gu bheil fios aca gu bheil iad air an cumail gu dlùth uaireannan air an ainmeachadh mar thoradh air iarrtas , agus chaidh an sgrùdadh ann an eòlas-inntinn (Orne 1962) agus eaconamas (Zizzo 2010) . Ged a tha a 'mhòr-chuid co-cheangailte ri deuchainnean liosgaidean, faodaidh na h-aon cheistean sin adhbharan a dhèanamh airson deuchainnean achaidh cuideachd. Gu dearbh, tha buaidhean tagraidh uaireannan air an ainmeachadh buaidhean Hawthorne , teirm a tha a 'faighinn nan deuchainnean soilleireachaidh ainmeil a thòisich ann an 1924 aig Hawthorne Works aig Western Electric Company (Adair 1984; Levitt and List 2011) . Tha buaidh air an dà iarrtas agus buaidhean Hawthorne gu dlùth cheangailte ris a 'bheachd air tomhas reactive a chaidh a dheasbad ann an caibideil 2 (faic cuideachd Webb et al. (1966) ).
Tha eachdraidh fhada ann an eaconamachd (Levitt and List 2009) , saidheans poilitigeach (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , saidhgeòlas (Shadish 2002) , agus poileasaidh poblach (Shadish and Cook 2009) S an Iar- Aon raon de shaidheans sòisealta far a bheil deuchainnean raoin air fàs gu math follaiseach tha leasachadh eadar-nàiseanta. Airson sgrùdadh adhartach air an obair sin taobh a-staigh eaconamaidh, faic Banerjee and Duflo (2009) , agus airson measadh breithneachail, faic Deaton (2010) . Airson ath-bhreithneachadh air an obair seo ann an saidheans poilitigeach faic Humphreys and Weinstein (2009) . Mu dheireadh, chaidh na dùbhlain beusanta a tha ag èirigh bho dheuchainnean raoin a rannsachadh ann an co-theacsa saidheans phoilitigeach (Humphreys 2015; Desposato 2016b) agus eaconamas leasachaidh (Baele 2013) .
Anns an earrainn seo, mhol mi gum faodar fiosrachadh ro-leigheis a chleachdadh gus piseach a thoirt air èifeachdas buaidh leigheis, ach tha beagan deasbaid ann mun dòigh-obrach seo; faic Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , agus Bloniarz et al. (2016) airson barrachd fiosrachaidh.
Mu dheireadh, tha dà sheòrsa deuchainnean eile air an coileanadh le luchd-saidheans sòisealta nach eil a 'freagairt gu sgiobalta ri taobh an raoin-obrach: deuchainnean suirbhidh agus deuchainnean sòisealta. Tha deuchainnean suirbhidh nan deuchainnean a 'cleachdadh bun-structar nan suirbhidhean a th' ann mar-thà agus coimeas a dhèanamh eadar freagairtean ri dreachan eile de na h-aon cheistean (tha cuid de dheuchainnean suirbhidh air an taisbeanadh ann an Caibideal 3); airson barrachd air deuchainnean suirbhidh faic Mutz (2011) . Tha deuchainnean sòisealta nan deuchainnean far a bheil an leigheas air cuid de phoileasaidh sòisealta nach urrainn do riaghaltas a thoirt gu buil a-mhàin. Tha deuchainnean sòisealta ceangailte gu dlùth ri measadh prògram. Airson barrachd air deuchainnean poileasaidh, faic Heckman and Smith (1995) , Orr (1998) , agus @ glennerster_running_2013.
- A 'gluasad thairis air deuchainnean sìmplidh (earrann 4.4)
Tha mi air a bhith a 'cuimseachadh air trì bun-bheachdan: èifeachdas, iom-fhillteachd buaidh leigheis, agus dòighean-obrach. Tha ainmean eadar-dhealaichte aig na bun-bheachdan sin ann an diofar raointean. Mar eisimpleir, tha eòlaichean-inntinn buailteach gluasad thairis air deuchainnean sìmplidh le bhith a 'cur fòcas air eadar-mheadhan agus modaireatairean (Baron and Kenny 1986) . Tha beachd air eadar-mheadhanan air a ghlacadh leis na tha mi a 'gairm uidheamachdan, agus tha beachd nam modaireatairean air a ghlacadh leis na tha mi a' gairm a thaobh dligheachd taobh a-muigh (me, an toireadh toraidhean an deuchainn eadar-dhealaichte ma bha e air a ruith ann an suidheachaidhean eadar-dhealaichte) agus iomadachd buaidh leigheas ( me, na buaidhean nas motha do chuid de dhaoine seach feadhainn eile).
An deuchainn le Schultz et al. (2007) sealltainn mar as urrainn teòraidhean sòisealta a chleachdadh gus eadar-theachdan èifeachdach a dhealbh. Airson argamaid nas fharsainge mu àite na teòiridh ann an dealbhadh eadar-theachdan èifeachdach, faic Walton (2014) .
- Valid (earrann 4.4.1)
Chaidh na bun-bheachdan de dhlighe a-staigh agus a-muigh a thoirt a-steach an toiseach le Campbell (1957) . Faic Shadish, Cook, and Campbell (2001) airson eachdraidh nas mionaidiche agus mìneachadh mionaideach de dhligheachd co-dhùnadh staitistigeil, dligheachd taobh a-staigh, cruth a thogail agus èifeachd a-muigh.
Airson sealladh farsaing de chùisean co-cheangailte ri co-dhùnadh coileanaidh staitistig ann an deuchainnean, faic Gerber and Green (2012) (bho shealladh saidheans sòisealta) agus Imbens and Rubin (2015) (bho shealladh staitistigeil). Tha cuid de chùisean co-cheangailte ri co-dhùnadh co-dhùnaidhean staitistigeil a tha ag èirigh gu sònraichte ann an deuchainnean raoin air-loidhne a 'gabhail a-steach ceistean mar dhòighean èifeachdail a thaobh àireamhachd airson a bhith a' cruthachadh eadar-amannan misneachail le dàta eisimeileach (Bakshy and Eckles 2013) .
Faodaidh dligheachd a-staigh a bhith duilich a bhith cinnteach ann an deuchainnean raoin iom-fhillte. Faic, mar eisimpleir, Gerber and Green (2000) , Imai (2005) , agus Gerber and Green (2005) airson deasbad mu bhith a 'cur an gnìomh deuchainn deuchainn iom-fhillte mu bhòtadh. Kohavi et al. (2012) agus Kohavi et al. (2013) toirt seachad ro-ràdh do na dùbhlain a tha ann an dearbhadh eadar-amail ann an deuchainnean raoin air-loidhne.
Is e aon phrìomh chunnart do dhligheachd taobh a-staigh a 'chothroim gun deidheadh tar-chur a-mach às deidh. Is e aon dhòigh a dh'fhaodadh a bhith ann airson duilgheadasan a lorg leis an t-slighe air thuaiream a bhith a 'dèanamh coimeas eadar na buidhnean làimhseachaidh agus smachd air feartan a tha rim faicinn. Is e sgrùdadh cothromachaidh a chanar ris an t-seòrsa coimeas seo. Faic Hansen and Bowers (2008) airson dòigh staitistigeil a thaobh sgrùdaidhean cothromachaidh agus Mutz and Pemantle (2015) airson draghan mu sgrùdaidhean cothromachaidh. Mar eisimpleir, a 'cleachdadh sgrùdadh cothromachaidh, fhuair Allcott (2011) beagan fianais nach deach tar-chur a-mach gu ceart ann an trì de na deuchainnean Opower (faic clàr 2; làraich 2, 6, agus 8). Airson dòighean-obrach eile, faic caibideil 21 de Imbens and Rubin (2015) .
Is e draghan mòra eile a tha a 'buntainn ri dligheachd a-staigh: (1) neo-chòrdadh aon-thaobhach, far nach d' fhuair a h-uile duine anns a 'bhuidheann leigheis an leigheas, (2) neo-chomas dà thaobh, far nach faigh a h-uile duine anns a' bhuidheann leigheis an leigheas agus cuid de dhaoine ann bidh a 'bhuidheann smachd a' faighinn an làimhseachaidh, (3) briseadh-dùil, far nach tèid toraidhean a thomhas airson cuid de chom-pàirtichean, agus (4) bacadh, far a bheil an leigheas a 'dòrtadh bho dhaoine anns an t-suidheachadh leigheis do dhaoine anns a' chumha smachd. Faic caibideil 5, 6, 7, agus 8 de Gerber and Green (2012) airson barrachd air gach aon de na ceistean sin.
Airson barrachd air èifeachdas a thogail, faic Westen and Rosenthal (2003) , agus airson barrachd air èifeachd a thogail ann an stòran dàta mòr, Lazer (2015) agus caibideil 2 den leabhar seo.
Is e aon taobh de dhligheachd taobh a-muigh an suidheachadh far a bheil deuchainn air a dhearbhadh. Allcott (2015) toirt seachad làimhseachadh cùramach teòiridheach agus ìmpireachd de chlaonadh taghadh làraich. Tha an cùis seo air a dheasbad cuideachd le Deaton (2010) . Is e taobh eile de dhligheachd taobh a-muigh a bheil buaidh eadar-dhealaichte aig gnìomhachdan eile den aon eadar-theachd. Anns a 'chùis seo, coimeas eadar Schultz et al. (2007) agus Allcott (2011) sealltainn gun robh buaidh aig na deuchainnean Opower nas èifeachdaiche ris na deuchainnean tùsail le Schultz agus co-oibrichean (1.7% an aghaidh 5%). Allcott (2011) gun robh na Allcott (2011) de dheuchainnean a 'toirt buaidh nas lugha air sgàth nan dòighean anns an robh an leigheas eadar-dhealaichte: teachdaireachd làmh-sgrìobhte mar phàirt de sgrùdadh a fhuair urrasachd bho oilthigh, an coimeas ri teachdaireachd clò-bhuailte mar phàirt de dh'ath-chruthachadh mòr aithisg bho chompanaidh cumhachd.
- Dìth iomadachd leigheis (earrann 4.4.2)
Airson tar-shealladh fìor mhath air iomadachd buaidh leigheis ann an deuchainnean raoin, faic caibideil 12 de Gerber and Green (2012) . Airson a bhith a 'toirt a-steach iomadachd de bhuaidh leigheis ann an deuchainnean meidigeach, faic Kent and Hayward (2007) , Longford (1999) , agus Kravitz, Duan, and Braslow (2004) . Mar as trice, bidh na beachdan air iomadachd buaidh leigheis a 'cuimseachadh air eadar-dhealachaidhean stèidhichte air comharran ro-leigheis. Ma tha ùidh agad ann an iomadachd stèidhichte air toraidhean an dèidh làimhseachadh, tha feum air dòighean-obrach nas iom-fhillte, mar phrìomh stratification (Frangakis and Rubin 2002) ; faic Page et al. (2015) airson ath-bhreithneachadh.
Tha mòran de luchd-rannsachaidh a 'dèanamh tuairmse air iomadachd buaidh leigheis a' cleachdadh ath-thionndadh loidhneach, ach tha dòighean ùra nas ùire an urra ri ionnsachadh innealan; faic, mar eisimpleir, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , agus Athey and Imbens (2016a) .
Tha cuid de dhaoine a 'creidsinn mu cho-dhùnaidhean iomadachd buaidh air sgàth duilgheadasan coimeas ioma-fhillte agus "iasgach." Tha grunn dhòighean staitistigeil ann a dh'fhaodas cuideachadh le draghan mu choimeas ioma-fhillte (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Tha aon dòigh-dèiligidh mu dheidhinn "iasgach" ro-chlàradh, a tha a 'sìor fhàs cumanta ann an saidhgeòlas (Nosek and Lakens 2014) , saidheans poilitigeach (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , agus eaconamas (Olken 2015) .
Anns an sgrùdadh le Costa and Kahn (2013) cha ghabhadh ach mu leth de na taigheadasan anns an deuchainn a cheangal ris an fhiosrachadh deamografach. Bu chòir do luchd-leughaidh le ùidh san fhiosrachadh seo iomradh a thoirt air a 'phàipear tùsail.
- Meadhanan (earrann 4.4.3)
Tha modhan uamhasach cudromach, ach tha iad gu math doirbh a sgrùdadh. Tha rannsachadh mu innealan gu dlùth cheangailte ri sgrùdadh luchd-meadhain ann an saidhgeòlas (ach faic VanderWeele (2009) airson coimeas ceart eadar an dà bheachd). Tha modhan staitistigeach a thaobh a bhith a 'lorg dhòighean-obrach, leithid an dòigh-obrach a chaidh a leasachadh ann am Baron and Kenny (1986) , gu math cumanta. Gu mì-fhortanach, tha e coltach gu bheil na modhan sin an crochadh air cuid de bharail làidir (Bullock, Green, and Ha 2010) agus a 'fulang nuair a tha iomadach dòigh ann, mar a dh'fhaodadh dùil a bhith ann an iomadh suidheachadh (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) agus Imai and Yamamoto (2013) tabhann cuid de dhòighean staitistigeil nas fheàrr. A bharrachd, tha VanderWeele (2015) tairgse làimhseachadh fad leabhraichean le grunn thoraidhean cudromach, a' gabhail a-steach dòigh-obrach farsaing airson mion-sgrùdadh cugallachd.
Tha dòigh-obrach fa leth a 'cuimseachadh air deuchainnean a tha a' feuchainn ris an inneal a thionndadh gu dìreach (me, a 'toirt dha na seòladairean vitimín C). Gu mì-fhortanach, ann am mòran shuidheachaidhean saidheans sòisealta, tha mòran innealan ann agus tha e doirbh dèiligeadh ri leigheasan a tha ag atharrachadh aon gun a bhith ag atharrachadh càch. Tha Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , agus Pirlott and MacKinnon (2016) toirt iomradh air cuid de mhodhan airson modhan-obrach atharrachadh gu dearbhach.
Feumaidh luchd-rannsachaidh a bhios a 'ruith deuchainnean làn factaraidh dragh mu dheidhinn grunn deuchainnean barantas; faic Fink, McConnell, and Vollmer (2014) agus List, Shaikh, and Xu (2016) airson tuilleadh fiosrachaidh.
Mu dheireadh, tha eachdraidh fhada aig innealan ann am feallsanachd saidheans mar a chaidh a mhìneachadh le Hedström and Ylikoski (2010) .
- A 'cleachdadh àrainneachdan a th' ann mar-thà (earrann 4.5.1)
Airson barrachd air cleachdadh sgrùdaidhean conaltraidh agus sgrùdaidhean sgrùdaidh gus lethbhreith a thomhas, faic Pager (2007) .
- Tog do dheuchainn fhèin (earrann 4.5.2)
Is e Amazon Mechanical Turk (MTurk) an dòigh as cumanta air com-pàirtichean fhastadh gu deuchainnean a thogas tu. A chionn 's gu bheil MTurk a' cuimhneachadh air taobhan de dheuchainnean labord traidiseanta - a 'pàigheadh dhaoine gus gnìomhan a choileanadh nach dèanadh iad airson an-asgaidh - tha mòran de luchd-rannsachaidh air tòiseachadh a' cleachdadh Turkers (an luchd-obrach air MTurk) mar chom-pàirtichean dearbhaidh, a 'toirt a-steach cruinneachadh dàta nas luaithe agus nas saoire na ghabhas a choileanadh ann an deuchainnean traidiseanta deuchainn-lann (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .
San fharsaingeachd, tha na buannachdan as motha a thaobh a bhith a 'cleachdadh chom-pàirtichean a chaidh fhastadh bho MTurk a' tighinn gu cunbhalach. Ged a dh'fhaodas deuchainnean liosgain seachdainean a ghabhail airson deuchainnean ruith is faodar mìosan a thoirt mus tèid iad a stèidheachadh, faodar deuchainnean le com-pàirtichean a chaidh fhastadh bho MTurk a ruith ann an làithean. Mar eisimpleir, bha Berinsky, Huber, and Lenz (2012) comasach air 400 cuspair fhastadh ann an aon latha gus pàirt a ghabhail ann an deuchainn 8 mionaidean. A bharrachd, faodar na com-pàirtichean seo a thional airson adhbhar sam bith (a 'gabhail a-steach suirbhidhean agus co-obrachadh mòr, mar a chaidh a dheasbad ann an caibideilean 3 agus 5). Tha an fhaireachdainn reusanta seo a 'ciallachadh gum faod luchd-rannsachaidh sreath de dheuchainnean co-cheangailte a ruith gu luath.
Mus fhaigh thu com-pàirtichean bho MTurk airson na deuchainnean agad fhèin, tha ceithir rudan cudromach ann a dh'fheumas tu a bhith eòlach. An toiseach, tha mòran de luchd-rannsachaidh a 'creidsinn nach eil cus deuchainnean ann a thaobh Turkers. Seach nach eil an t-amharas seo sònraichte, tha e duilich a bhith a 'dol an aghaidh fianais. Ach, an dèidh grunn bhliadhnaichean de sgrùdaidhean a 'cleachdadh Turkers, faodaidh sinn a-nis a thighinn gu co-dhùnadh nach eil an t-amharas seo gu sònraichte ceart. Tha mòran de dh 'eòlasan air a bhith a' dèanamh coimeas eadar sluagh-sluaigh Turkers agus an fheadhainn ann an àireamhan eile agus tha mòran de dh 'eòlas a' dèanamh coimeas eadar toraidhean deuchainnean le Turkers agus feadhainn bho dhaoine eile. Leis an obair seo gu lèir, tha mi den bheachd gur e an dòigh as fheàrr dhut smaoineachadh mu dheidhinn gu bheil Turkers na sampall cothromach reusanta, gu math coltach ri oileanaich ach beagan nas eadar-mheasgaichte (Berinsky, Huber, and Lenz 2012) . Mar sin, dìreach mar a tha oileanaich na shluagh reusanta airson cuid de rannsachadh, ach chan e uile, tha Turkers nan àireamh reusanta airson cuid de rannsachadh, ach chan eil a h-uile dad. Ma tha thu a 'dol a dh'obair còmhla ri Turkers, tha e ciallach mòran de na sgrùdaidhean coimeasach sin a leughadh agus tuigsinn dè na comharran a th' aca.
Anns an dàrna àite, tha luchd-rannsachaidh air na cleachdaidhean as fheàrr a leasachadh airson èifeachdas taobh a-staigh deuchainnean MTur a mheudachadh, agus bu chòir dhut ionnsachadh mu na cleachdaidhean as fheàrr sin (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Mar eisimpleir, thathar a 'brosnachadh luchd-rannsachaidh a tha a' cleachdadh Turkers gu bhith a 'cleachdadh sgrion-sgriobhaichean gus com-pàirtichean neo-mhothachail a thoirt air falbh (Berinsky, Margolis, and Sances 2014, 2016) (ach cuideachd faic DJ Hauser and Schwarz (2015b) agus DJ Hauser and Schwarz (2015a) ). Mura toir thu às do chom-pàirtichean mì-mhothachail, faodaidh buaidh sam bith an leigheis a bhith air a sguabadh às leis an fhuaim a bheir iad a-steach, agus mar as trice faodaidh an àireamh de chom-pàirtichean a bhith mì-mhothachail. Anns an deuchainn le Huber agus co-obraichean (2012) , dh'fhàillig mu 30% de na com-pàirtichean scrionaichean aire bunaiteach. Tha duilgheadasan eile a tha cumanta nuair a bhios Turkers air an cleachdadh nan com-pàirtichean neo-naive (Chandler et al. 2015) agus tlachd (Zhou and Fishbach 2016) .
San treas àite, an coimeas ri cuid de dheuchainnean didseatach eile, chan urrainn do dheuchainnean MTur sgèile; Stewart et al. (2015) tuairmse nach eil ach mu 7,000 neach aig MTurk aig àm sam bith.
Mu dheireadh, bu chòir fios a bhith agad gur e coimhearsnachd a th 'ann am MTurk leis na riaghailtean agus na gnàthasan aige fhèin (Mason and Suri 2012) . San aon dòigh anns am feuchadh tu ri faighinn a-mach mu chultar dùthcha far an robh thu a 'dol a thoirt do dheuchainnean, bu chòir dhut feuchainn ri faighinn a-mach barrachd mu chultar agus gnàthasan Turkers (Salehi et al. 2015) . Agus bu chòir dhut fios a bhith agad gum bi na Turkers a 'bruidhinn mun deuchainn agad ma nì thu rudeigin neo-fhreagarrach no neo-fhoirmeil (Gray et al. 2016) .
Is e dòigh iongantach a th 'ann am MTurk com-pàirtichean fhastadh gu na deuchainnean agad, co dhiubh a tha iad coltach ri saotharlann, mar eisimpleir Huber, Hill, and Lenz (2012) , no barrachd a leithid, mar an fheadhainn aig Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , agus Mao et al. (2016) .
- Tog do thoraidhean fhèin (earrann 4.5.3)
Ma tha thu a 'smaoineachadh a bhith a' feuchainn ri do thorachd fhèin a chruthachadh, tha mi a 'moladh gun leugh thu an comhairle a tha a' bhuidheann MovieLens a 'tabhann ann an Harper and Konstan (2015) . Is e prìomh shealladh den eòlas aca a th 'ann airson gach pròiseact soirbheachail tha mòran, fàilligeadh. Mar eisimpleir, chuir buidheann MovieLens bathar eile air bhog, leithid GopherAnswers, a bha nam fàilligeadh iomlan (Harper and Konstan 2015) . Is e eisimpleir eile de neach-rannsachaidh a 'fàilligeadh fhad' sa thathar a 'feuchainn ri toradh a thogail an oidhirp aig Edward Castronova gèam air-loidhne ris an canar Arden a thogail. A dh 'aindeoin maoineachadh $ 250,000, bha am pròiseact na flop (Baker 2008) . Gu mì-fhortanach tha pròiseactan mar GopherAnswers agus Arden gu math nas cumanta na pròiseactan leithid MovieLens.
- Com-pàirtiche leis an cumhachdach (earrann 4.5.4)
Chuala mi am beachd gu robh Pasteur's Quadrant a 'beachdachadh gu tric aig companaidhean tech, agus tha e a' cuideachadh le bhith a 'cur air adhart oidhirpean rannsachaidh aig Google (Spector, Norvig, and Petrov 2012) .
Bidh sgrùdadh bann agus co-oibrichean (2012) cuideachd a 'feuchainn ri buaidh nan leigheasan sin a lorg air càirdean an fheadhainn a fhuair iad. Air sgàth dealbhadh an deuchainn, tha e duilich a bhith a 'lorg nan gluasadan sin gu glan; bu chòir do luchd-leughaidh le ùidh Bond et al. (2012) airson deasbad nas mionaidiche. Rinn Jones agus co-obraichean (2017) cuideachd deuchainn fìor choltach ri linn taghadh 2012. Tha na deuchainnean sin nam pàirt de dh 'fhallan fada de dheuchainnean ann an saidheans poilitigeach air oidhirpean gus bhòtadh a bhrosnachadh (Green and Gerber 2015) . Tha na deuchainnean faighinn-a-mach-gu-bhòtaidh seo cumanta, gu ìre seach gu bheil iad ann an Quadrant Pasteur. Is e sin, tha mòran dhaoine a tha air am brosnachadh gus bhòtadh a mheudachadh agus faodaidh bhòt a bhith na ghiùlan inntinneach gus teòraidhean nas fharsainge a thomhas mu atharrachadh giùlain agus buaidh shòisealta.
Airson comhairle mu bhith a 'ruith deuchainnean raoin le buidhnean com-pàirteachais leithid pàrtaidhean poilitigeach, NGOan agus gnìomhachasan, faic Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , agus Gueron (2002) . Airson smuaintean mu mar as urrainn do chom-pàirteachasan le buidhnean buaidh a thoirt air dealbhaidhean rannsachaidh, faic King et al. (2007) agus Green, Calfano, and Aronow (2014) . Faodaidh com-pàirteachas cuideachd leantainn gu ceistean beusanta, mar a chaidh a dheasbad le Humphreys (2015) agus Nickerson and Hyde (2016) .
- Comhairle dealbhaidh (earrann 4.6)
Ma tha thu a 'dèanamh plana anailis mus dèan thu an deuchainn agad, tha mi a' moladh gun tòisich thu le bhith a 'leughadh stiùireadh aithriseach. Chaidh stiùireadh CONSORT (Aithris Coitcheann de Thriall Coitcheann) a leasachadh ann an leigheas (Schulz et al. 2010) agus chaidh atharrachadh airson rannsachadh sòisealta (Mayo-Wilson et al. 2013) . Chaidh seata stiùiridh co-cheangailte a dheasachadh le luchd-deasachaidh Journal of Experimental Political Science (Gerber et al. 2014) (faic cuideachd Mutz and Pemantle (2015) agus Gerber et al. (2015) ). Mu dheireadh, chaidh stiùireadh aithriseach a leasachadh ann an eòlas-inntinn (APA Working Group 2008) , agus faic Simmons, Nelson, and Simonsohn (2011) .
Ma chruthaicheas tu plana anailis, bu chòir dhut beachdachadh air a bhith air a chlàradh ro-làimh oir cuiridh ro-chlàradh barrachd misneachd a tha aig feadhainn eile anns na toraidhean agad. A bharrachd, ma tha thu ag obair le com-pàirtiche, cuingealaichidh e comas do chom-pàirtiche an anailis atharrachadh an dèidh dhut na toraidhean fhaicinn. Tha ro-chlàradh a 'sìor fhàs cumanta ann an eòlas-inntinn (Nosek and Lakens 2014) , saidheans poilitigeach (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , agus eaconamaidh (Olken 2015) .
Tha comhairle dealbhaidh gu sònraichte airson deuchainnean raoin air-loidhne cuideachd air a thoirt seachad ann an Konstan and Chen (2007) agus Chen and Konstan (2015) .
Is e rannsachadh prògramail uaireannan a chanar ris na chanas mi ris an ro-innleachd armada; faic Wilson, Aronson, and Carlsmith (2010) .
- Cruthaich dàta cosgais caochlaideach neoni (earrann 4.6.1)
Airson barrachd air na deuchainnean MusicLab, faic Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , agus Salganik (2007) . Airson barrachd fiosrachaidh mu mhargaidhean buannaiche, faic Frank and Cook (1996) . Airson tuilleadh fiosrachaidh mu bhith a 'cur bacadh air socair agus sgilean nas fharsainge, faic Mauboussin (2012) , Watts (2012) , agus Frank (2016) .
Tha dòigh-obrach eile ann airson cur às do phàighidhean com-pàirteach a bu chòir do luchd-rannsachaidh a chleachdadh gu cùramach: cead sgrìobhte. Ann an iomadh deuchainnean raoin air-loidhne, tha luchd-com-pàirtichean air an dreach sa chiad dol a-steach gu deuchainnean agus gun a bhith a 'faighinn a-steach a-riamh Tha eisimpleirean den dòigh-obrach seo a 'gabhail a-steach deuchainn Restivo agus van de Rijt (2012) air duaisean ann an uidheam Wikipedia agus Bond agus co-obraiche (2012) air daoine a bhrosnachadh gu bhòtadh. Chan eil cosgaisean caochlaideach aig na deuchainnean sin an-còmhnaidh, tha cosgais chaochlaideach aca do luchd-rannsachaidh . Ann an deuchainnean mar sin, eadhon ged a tha a 'chosgais do gach com-pàirtiche gu math beag, faodaidh an cosgais iomlan a bhith gu math mòr. Bidh luchd-rannsachaidh a 'ruith deuchainnean mòra air-loidhne gu tric a' toirt buaidh air cho cudromach 'sa tha buaidh bheag air leigheas le bhith ag ràdh gum faod na buaidhean beaga seo a bhith cudromach nuair a thèid an cur gu mòran dhaoine. Tha an aon bheachd a tha a 'buntainn ri cosgaisean a tha luchd-rannsachaidh a' cur air com-pàirtichean. Ma tha an deuchainnean agad ag adhbhrachadh aon mhillean neach a bhith a 'sgudal aon mhionaid, chan eil an deuchainn fìor chrontach do neach sònraichte sam bith, ach gu h-iomlan tha e air a chall faisg air dà bhliadhna.
Is e dòigh eile airson pàigheadh cosgais zero a thoirt gu com-pàirtichean crannchur a chleachdadh, dòigh-obrach a chaidh a chleachdadh cuideachd ann an rannsachadh suirbhidh (Halpern et al. 2011) . Airson barrachd fiosrachaidh mu bhith a 'dealbhadh fèin-fhiosrachaidhean tlachdmhor, faic Toomim et al. (2011) . Airson barrachd fiosrachaidh mu bhith a 'cleachdadh bhots gus deuchainnean cosgais caochlaideach a chruthachadh faic ( ??? ) .
- Cuir a-steach, co-dhùin, agus lùghdaich (earrann 4.6.2)
Tha na trì R's mar a chaidh a mholadh an toiseach le Russell and Burch (1959) mar a leanas:
"A 'ciallachadh àite na ionadachadh airson mothachail fuireach nas àirde de bheathaichean insentient stuth. Lùghdachadh a 'ciallachadh lùghdachadh anns an àireamh de bheathaichean a chleachdadh gus fiosrachadh fhaighinn de thoirt seachad suim agus mionaideachd. Mion-ghrinneas a 'ciallachadh lùghdachadh sam bith ann an tricead no cho dona' sa inhumane modhan a chur an gnìomh ris an fheadhainn beathaichean a tha fhathast a bhith air a chleachdadh. "
Chan eil na trì R a tha mi a 'moladh a' cur an cèill na prionnsabalan eiticeil a tha air am mìneachadh ann an caibideil 6. An àite sin, is e dreach nas adhartaiche iad aon de na prionnsabalan-beneficence sin-gu sònraichte ann an suidheachadh deuchainnean daonna.
A thaobh a 'chiad R ("ath-nuadhachadh"), bidh e a' dèanamh coimeas eadar an deuchainnean tinneas tòcail (Kramer, Guillory, and Hancock 2014) agus an deuchainnean inntinn nàdarra tòcail (Lorenzo Coviello et al. 2014) tabhann cuid de leasanan coitcheann mu na malairtidhean a tha an sàs ann a bhith a 'gluasad bho dheuchainnean gu deuchainnean nàdarra (agus dòighean-obrach eile leithid maidsinn a tha a' feuchainn ri dearbhaidhean a dhèanamh faisg air dàta neo-dheuchainneach; faic caibideil 2). A bharrachd air na sochairean beusanta, bidh atharrachadh bho sgrùdaidhean dearbhaidh gu sgrùdaidhean neo-dhearbhach cuideachd a 'toirt comas do luchd-rannsachaidh leigheasan a sgrùdadh nach urrainn dhaibh a chleachdadh gu h-innleachdach. Ach tha na buannachdan beusanta agus lùth-chleasachd sin a 'tighinn aig cosgais, ge-tà. Le luchd-rannsachaidh deuchainnean nàdarra chan eil nas lugha smachd aca air rudan mar fastadh luchd-com-pàirt, tilleadh air falbh, agus nàdar an leigheis. Mar eisimpleir, is e aon chuingealachadh uisge mar leigheas gu bheil e an dà chuid a 'meudachadh seasmhachd agus a' lùghdachadh droch bhuaidh. Anns an sgrùdadh deuchainneach, ge-tà, bha Kramer agus co-obraichean comasach air atharrachadh a dhèanamh air iomchaidheachd agus neo-eisimeileachd gu neo-eisimeileach. An dòigh-obrach shònraichte a chleachd Lorenzo Coviello et al. (2014) air a leudachadh le L. Coviello, Fowler, and Franceschetti (2014) . Airson ro-ràdh air caochlaidhean ionnsramaidean, is e an dòigh-obrach a chleachd Lorenzo Coviello et al. (2014) , faic Angrist and Pischke (2009) (nach eil cho foirmeil) no Angrist, Imbens, and Rubin (1996) (nas foirmeile). Airson measadh neo-chreidsinneach air caochlaidhean ionnsramaidean, faic Deaton (2010) , agus airson ro-ràdh air caochlaidhean ionnsramaidean le ionnsramaidean lag (tha uisge na uidheam lag), faic Murray (2006) . San fharsaingeachd, tha Dunning (2012) toirt ro-ràdh math do dheuchainnean nàdarra, agus tha Rosenbaum (2002) , ( ??? ) , agus Shadish, Cook, and Campbell (2001) tabhann deagh bheachdan mu bhith a 'measadh buaidh adhbharach gun deuchainnean.
A thaobh an dàrna R ("leasachadh"), tha malairtidhean saidheansail agus taiceil ann nuair a thathar a 'beachdachadh air atharrachadh dealbhachadh Emocional bho bhith a' bacadh dhreuchdan gus àrdachadh dhreuchdan. Mar eisimpleir, is dòcha gu bheil gnìomhachadh theicnigeach News Feed ga dhèanamh gu math nas fhasa deuchainn a dhèanamh anns a bheil na dreuchdan air am bacadh an àite aon anns a bheil iad a 'faighinn àrdachadh (faodar gun deidheadh triail a dhèanamh le bacadh dhreuchdan a chur an gnìomh mar shreath air mullach an t-siostam News Feed gun feum sam bith airson atharrachaidhean air an t-siostam bunasach). Gu saidheansail, ge-tà, cha do rinn an teòiridh a chaidh a chuir an deuchainn a-mach gu soilleir aon dhealbh thar a chèile. Gu mì-fhortanach, chan eil mi mothachail air rannsachadh ro-làimh ro-làimh a thaobh na buadhan co-cheangailte a thaobh bacadh agus a bhith a 'togail susbaint anns a' Feed Feed. Cuideachd, chan fhaca mi mòran rannsachaidh mu bhith a 'dealbhadh leigheasan gus an dèanamh nas lugha cron; aon eisgeachd tha B. Jones and Feamster (2015) , a tha a 'beachdachadh air a' chùis tomhais air cinneamadh eadar-lìn (cuspair a tha mi a 'beachdachadh ann an caibideil 6 ann an dàimh ri sgrùdadh Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).
A thaobh an treas R ("lùghdachadh"), tha deagh thaisbeanaidhean gu mion-sgrùdadh cumhachd traidiseanta air an toirt seachad le Cohen (1988) (leabhar) agus Cohen (1992) (artaigil), agus tha Gelman and Carlin (2014) tairgse sealladh beagan eadar-dhealaichte. Faodar covariates ro-leigheas a bhith air an gabhail a-steach ann an ìre dealbhaidh agus anailis de dheuchainnean; Caibideil 4 de Gerber and Green (2012) toirt ro-ràdh math don dà dhòigh-obrach, agus tha Casella (2008) toirt seachad barrachd làimhseachaidh nas mionaidiche. Mar as trice, bidh ceumannan a bhios a 'cleachdadh an fhiosrachaidh ro-leigheis seo air an cuairteachadh air an ainmeachadh mar aon de dhealbhaidhean deuchainneach no dealbhaidhean dearbhaidh srathaichte (chan eil am briathrachas air a chleachdadh gu cunbhalach thar coimhearsnachdan); tha na dòighean sin ceangailte gu dlùth ris na dòighean samplaichte gann a chaidh a dheasbad ann an caibideil 3. Faic Higgins, Sävje, and Sekhon (2016) airson barrachd air cleachdadh nan dealbhaidhean sin ann an deuchainnean mòra. Faodaidh covariates ro-leigheis a bhith air an gabhail a-steach cuideachd anns an ìre sgrùdaidh. McKenzie (2012) sgrùdadh an dòigh eadar-dhealaichte eadar-dhealaichte a thaobh sgrùdadh deuchainnean raoin nas mionaidiche. Faic Carneiro, Lee, and Wilhelm (2016) airson barrachd air na malairt-malairt eadar diofar dhòighean gus meudachadh a mheudachadh ann an tuairmsean air buaidh leigheis. Mu dheireadh, nuair a tha thu a 'co-dhùnadh am bu chòir feuchainn ri cùlaidhean ro-leigheis a ghabhail a-steach aig ìre dealbhaidh no anailis (no an dà chuid), tha grunn nithean ann airson beachdachadh. Ann an suidheachadh far nach eil luchd-rannsachaidh a 'sealltainn nach eil iad "iasgach" (Humphreys, Sierra, and Windt 2013) , a' cleachdadh covariates ro-leigheis anns an ìre dealbhaidh a bhith cuideachail (Higgins, Sävje, and Sekhon 2016) . Ann an suidheachaidhean far a bheil com-pàirtichean a 'tighinn ann an ath cheum, gu h-àraid deuchainnean raoin air-loidhne, faodaidh gum bi e furasta do chleachdadh a bhith a' cleachdadh fiosrachadh ro-leigheis ann an ìre dealbhaidh; faic, mar eisimpleir, Xie and Aurisset (2016) .
Is fhiach a bhith a 'cur beagan earbsa mu dheidhinn carson a dh'fhaodas dòigh-obrach eadar-dhealaichte a bhith cho èifeachdach na eadar-dhealachadh-ann-aon. Tha mòran atharrachaidhean fìor àrd air toraidhean air-loidhne (faic me, RA Lewis and Rao (2015) agus Lamb et al. (2015) ) agus tha iad gu math seasmhach thar ùine. Anns a 'chùis seo, bidh atharrachadh mòr aig an sgòr atharrachadh nas lugha, a' meudachadh cumhachd an deuchainn staitistigeil. Is e aon adhbhar nach eil an dòigh-obrach seo air a chleachdadh nas trice na bha e ro thoiseach air an aois dhidseatach, cha robh e cumanta builean ro-leigheis fhaighinn. Is e dòigh nas cruaidhe a bhith a 'smaoineachadh mu dheidhinn seo gus dearbhadh a dhèanamh air deuchainnean gus tomhas a bheil gnàthachadh eacarsaich sònraichte ag adhbhrachadh call cuideam. Ma ghlacas tu eadar-dhealachadh-ann an dòigh-obrach ciallach, bidh eadar-dhealachadh aig an tuairmse agad air sgàth an eadar-dhealachalachd ann an cuideam san t-sluagh. Ma nì thu dòigh eadar-dhealachaidh eadar-dhealaichte, ge-tà, gu bheil eadar-dhealachadh nàdarra ann an cuideaman air a thoirt air falbh, agus is urrainn dhut eadar-dhealachadh nas motha a lorg leis an leigheas a lorg.
Mu dheireadh, smaoinich mi a 'cur ris an ceathramh R: "repurpose". Is e sin, ma bhios luchd-rannsachaidh a 'lorg iad fhèin le dàta nas deuchainne na a dh'fheumas iad gus dèiligeadh ris a' cheist rannsachaidh thùsail aca, bu chòir dhaibh an dàta ath-thogail gus ceistean ùra fhaighneachd. Mar eisimpleir, smaoinich gu robh Kramer agus co-obraichean air tomhas eadar-dhealachaidhean eadar-dhealaichte a chleachdadh agus a lorg iad le barrachd dàta na dh'fheumadh iad aghaidh a chur air a 'cheist rannsachaidh aca. An àite a bhith a 'cleachdadh an dàta chun na h-ìre as motha, dh' fhaodadh iad sgrùdadh a dhèanamh air meud a 'bhuaidh mar dhòigh air facal faireachail ro-leigheis. Dìreach mar Schultz et al. (2007) gun robh buaidh a 'leigheis eadar-dhealaichte airson luchd-cleachdaidh aotrom agus trom,' s dòcha gun robh buaidh na Feed News eadar-dhealaichte do dhaoine a bha mar-thà air teachdaireachdan toilichte (no brònach) a sgaoileadh. Dh'fhaodadh ath-chuairteachadh gu bhith a 'leantainn gu "iasgach" (Humphreys, Sierra, and Windt 2013) agus "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , ach tha iad seo gu ìre mhòr a' dèiligeadh ri measgachadh de aithris onarach (Simmons, Nelson, and Simonsohn 2011) , ro-chlàradh (Humphreys, Sierra, and Windt 2013) , agus dòighean ionnsachaidh innealan a tha a 'feuchainn ri seach-sheasamh a sheachnadh.
