Nas fhaide air aithris

Tha an earrann seo air a dhealbh gus a bhith air a chleachdadh mar iomradh, seach a bhith a 'leughadh mar narrative.

• Ro-ràdh (Earrann 4.1)

Ceistean mu causality ann an rannsachadh sòisealta a tha gu tric iom-fhillte agus eadar-fhighte. Airson foundational dòigh-obrach stèidhichte air causality adhbharach ghrafaichean, a 'faicinn Pearl (2009) , agus airson foundational dòigh-obrach stèidhichte air builean comas, fhaicinn Imbens and Rubin (2015) (agus an teicnigeach Pàipear-taice sa chaibideil seo). Airson coimeas a dhèanamh eadar na dà dhòigh-obrach, a 'faicinn Morgan and Winship (2014) . Airson dòigh-làimhseachaidh foirmeil gus mìneachadh a confounder, fhaicinn VanderWeele and Shpitser (2013) .

Anns a 'chaibideil, a chruthaich mi dè bha coltas mar soilleir loidhne eadar ar comas a dhèanamh adhbharach tuairmsean bho deuchainneach agus neo-deuchainn dàta. Ann an da-rìribh, tha mi a 'smaoineachadh gu bheil an eadar-dhealachadh a tha blurrier. Mar eisimpleir, tha h-uile duine a 'gabhail ris gu bheil smocadh ag adhbhrachadh aillse ged a tha sinn air a dhèanamh a-riamh randomized smachd deuchainn gu bheil feachdan daoine a' smocadh. Airson leabhar sàr-mhath dh'fhaid leigheasan air a bhith a 'dèanamh tuairmsean adhbharach bho neo-dàta deuchainneach fhaicinn Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , agus Dunning (2012) .

Tha caibideilean 1 agus 2 de Freedman, Pisani, and Purves (2007) a 'tabhann soilleir ro-ràdh a-steach don eadar-dhealachaidhean eadar deuchainnean, a' cumail smachd deuchainnean, agus randomized smachd deuchainnean.

Manzi (2012) a 'toirt inntinneach agus furasta a leughadh ro-ràdh a-steach feallsanachd agus staitistigeil underpinnings de randomized smachd deuchainnean. Tha e cuideachd a 'toirt fìor inntinneach-saoghal eisimpleirean de chumhachd deuchainneachd ann an gnothachas.

• Dè tha deuchainnean? (Earrann 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) a 'toirt deagh thoiseach tòiseachaidh gu staitistigeil thaobhan de Experimental Design agus mion-sgrùdadh. Nas fhaide air sin, tha sàr-mhath a thaobh na leigheasan a 'cleachdadh dheuchainnean ann an iomadh diofar achaidhean: eaconamachd (Bardsley et al. 2009) , soiseòlas (Willer and Walker 2007; Jackson and Cox 2013) , eòlas-inntinn (Aronson et al. 1989) , poileataigeach saidheans (Morton and Williams 2010) , sòisealta agus poileasaidh (Glennerster and Takavarasha 2013) .

Tha cudromachd com-pàirtiche fastadh (me, samplachadh) 'S tric fo-' cur luach ann an rannsachadh deuchainneach. Ach, ma tha buaidh a 'leigheas heterogeneous ann an àireamh-sluaigh, an uair sin tha e deatamach samplachaidh. Longford (1999) a' dèanamh a 'phuing seo gu soilleir nuair a bha e a' moladh airson luchd-rannsachaidh a 'smaoineachadh dheuchainnean mar sluagh suirbhidh le thuiteamach samplachaidh.

• Dà tomhasan de dheuchainnean: Lab-achadh agus Analog-digiteach (Earrann 4.3)

Tha dichotomy gu bheil mi seachad eadar-lann agus achadh deuchainnean a tha car sìmplidh. Gu dearbh, luchd-rannsachaidh eile air a mholadh nas mionaidiche typologies, gu h-àraidh an fheadhainn a tha a 'sgaradh na diofar seòrsaichean achadh deuchainnean (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Nas fhaide air sin, tha dà seòrsachan eile de dheuchainnean a 'cluich le luchd-saidheans sòisealta nach eil a' freagairt gu coileanta a-steach an obairlann agus achadh dichotomy: suirbhidh deuchainnean agus sòisealta nan deuchainnean. Suirbhidh deuchainnean a tha deuchainnean a 'cleachdadh a' bhun-structair a th 'ann an suirbhidhean is coimeas a dhèanamh eadar na freagairtean airson tionndaidhean eile de na aon cheistean (cuid sgrùdadh deuchainnean air an taisbeanadh ann an Caibideal 3); airson tuilleadh air sgrùdadh deuchainnean fhaicinn Mutz (2011) . Sòisealta deuchainnean tha deuchainnean far a bheil an leigheas a tha cuid de phoileasaidh sòisealta a dh'fhaodas a chur an gnìomh a-mhàin le riaghaltas. Sòisealta deuchainnean a tha co-cheangailte gu dlùth phrògramadh gus a mheasadh. Airson tuilleadh dheuchainnean air poileasaidh, a 'faicinn Orr (1998) , Glennerster and Takavarasha (2013) , agus Heckman and Smith (1995) .

Tha grunn de phàipearan air an coimeas Lab agus achadh deuchainnean ann an eas-chruthach (Falk and Heckman 2009; Cialdini 2009) agus a thaobh builean sònraichte deuchainnean ann poileataigeach saidheans (Coppock and Green 2015) , eaconamachd (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) agus eòlas-inntinn (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) a 'tabhann laghach rannsachadh dealbhadh airson dèanamh coimeas eadar na toraidhean bho dheuchainnean achadh agus lab.

Draghan mu chom-pàirtichean ag atharrachadh an cuid giùlain seach gu bheil iad fios iad gan dlùth aire Uaireannan canar iarrtas buaidhean, agus iad air a bhith a 'sgrùdadh ann an eòlas-inntinn (Orne 1962) agus eaconamachd (Zizzo 2009) . Ged a tha sa mhòr-chuid co-cheangailte ri deuchainnean deuchainnlann, na h-aon cheistean, faodaidh duilgheadasan airson achadh deuchainnean cho math. Gu dearbh, iarrtas bhuaidh a tha cuideachd ris an canar uaireannan Hawthorne buaidhean, facal a tha a 'tighinn bho mhachair deuchainn, gu sònraichte ainmeil Soillearachadh deuchainnean a thòisich ann an 1924 aig Obraichean Hawthorne an Iar Electric Company (Adair 1984; Levitt and List 2011) . Tha an dà iarrtas buaidhean agus Hawthorn bhuaidh càirdeach gu dlùth an smuain nan mheasaichte tomhas a dheasbad ann an Caibideil 2 (faic cuideachd Webb et al. (1966) ).

Tha eachdraidh achadh deuchainnean air a bhith air am mìneachadh ann an eaconamachd (Levitt and List 2009) , poileataigeach saidheans (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , eòlas-inntinn (Shadish 2002) , agus poileasaidhean poblach (Shadish and Cook 2009) . Aon sgìre de saidheans sòisealta far an achadh deuchainnean luath dh'fhàs e follaiseach leasachadh eadar-nàiseanta. Airson deagh lèirmheas air an obair sin taobh a-staigh eaconamachd fhaicinn Banerjee and Duflo (2009) , agus airson a mheasadh sgrùdail ga fhaicinn Deaton (2010) . Airson ath-sgrùdadh air an obair seo ann an poileataigeach saidheans fhaicinn Humphreys and Weinstein (2009) . Mu dheireadh, beusanta dùbhlan an lùib deuchainnean achadh air a bhith a 'rannsachadh ann an poileataigeach saidheans (Humphreys 2015; Desposato 2016b) agus leasachadh eaconamachd (Baele 2013) .

Anns a 'chaibideil, tha mi a' moladh gum bi ro-leigheas faodar am fiosrachadh a chleachdadh gus piseach a thoirt air fèin-fhiosrachadh den meas leigheas buaidhean, ach tha beagan deasbad mun dòigh seo: Freedman (2008) , Lin (2013) , agus Berk et al. (2013) ; fhaicinn Bloniarz et al. (2016) airson tuilleadh fiosrachaidh.

• A 'gluasad taobh a-muigh deuchainnean sìmplidh (Earrann 4.4)

Tha mi a thaghadh a 'cur cudrom air trì bun-bheachdan: dligheachas, iomadachd de leigheas buaidhean, agus meadhanan. Tha iad sin a tha bun-bheachdan eadar-dhealaichte ann an diofar ainmean-achaidhean. Mar eisimpleir, sìc-eòlaichean buailteach a bhith a 'gluasad taobh a-muigh deuchainnean sìmplidh le bhith ag amas air luchd-meadhanachaidh agus modaireatairean (Baron and Kenny 1986) . Tha a 'bheachd-meadhanachaidh ga ghlacadh le ciod a their mi ris uidheamachdan, agus beachd modaireatairean ga ghlacadh le ciod a their mi ris taobh a-muigh dligheachas (me, biodh toradh an deuchainn bhith eadar-dhealaichte ma bha e air a ruith ann an diofar shuidheachaidhean) agus iomadachd de leigheas buaidhean ( me, tha a 'bhuaidh nas motha airson cuid do dhaoine na daoine eile).

Tha an deuchainn Schultz et al. (2007) a 'sealltainn mar a sòisealta teòiridhean faodar a cleachdadh gus a dhealbhadh èifeachdach eadar-theachdan. Airson tuilleadh coitcheann argamaid mun phàirt de teòiridh ann an dealbhadh èifeachdach eadar-theachdan, fhaicinn Walton (2014) .

• Dligheachas (Earrann 4.4.1)

Tha na bun-bheachdan taobh a-staigh agus taobh a-muigh dligheachas an toiseach ann Campbell (1957) . Faic Shadish, Cook, and Campbell (2001) airson fiosrachadh nas mionaidiche mu eachdraidh agus cùramach dòigh staitistigeach co-dhùnadh a thaobh dligheachas, taobh a-staigh dligheachas, a thogail a thaobh dligheachas, agus taobh a-muigh dligheachas.

Airson tar-shealladh air cùisean co-cheangailte ri co-dhùnadh staitistigeil dligheachas ann an deuchainnean fhaicinn Gerber and Green (2012) (airson saidheans sòisealta sealladh) agus Imbens and Rubin (2015) (airson staitistigeil shealladh). Tha cuid de chùisean staitistigeach co-dhùnadh a thaobh dligheachas a dh'èireas gu sònraichte ann an loidhne achadh deuchainnean gabhail a-steach cùisean mar computationally dòighean èifeachdach airson cruthachadh le misneachd grianach crochadh dàta (Bakshy and Eckles 2013) .

In-dligheachas faodaidh e bhith doirbh dèanamh cinnteach iom-fhillte ann an achadh deuchainnean. Faic, mar eisimpleir, Gerber and Green (2000) , Imai (2005) , agus Gerber and Green (2005) airson deasbad mu dheidhinn cur an gnìomh toinnte achadh deuchainn mu dheidhinn bhòtadh. Kohavi et al. (2012) agus Kohavi et al. (2013) 'toirt a-steach na dùbhlain ceada dligheachas ann an loidhne achadh deuchainnean.

Aon adhbhar dragh mòr le staigh dligheachas bheil trioblaidean ann leis randomization. Aon dòigh a dh'fhaodadh a bhith a 'lorg dhuilgheadasan leis an randomization e gus coimeas a dhèanamh na leigheas agus smachd buidhnean air amharc traits. Tha an seòrsa coimeas Canar cothromachadh seic. Faic Hansen and Bowers (2008) airson a dòigh-obrach staitistigeil a chothromachadh seicichean, agus faicibh Mutz and Pemantle (2015) airson draghan mu cothromachadh sgrùdaidhean. Mar eisimpleir, a 'cleachdadh cothromachadh sùil Allcott (2011) lorg gu bheil beagan fianais ann gu bheil a' randomization nach robh a chur an gnìomh gu ceart ann an trì de na deuchainnean ann an cuid de na OPower deuchainnean (faic Clàr 2; làraichean 2, 6, agus 8). Airson dòighean-obrach eile, faic Imbens and Rubin (2015) , Caibideil 21.

Eile draghan mòra co-cheangailte ri in-dligheachas tha: 1) aon-taobhach neo-ghèilleadh, far nach eil na h-uile ann an leigheas buidheann dha-rìribh a fhuair an leigheas, 2) dà taobh neo-ghèilleadh, far nach eil na h-uile ann an leigheas a 'bhuidheann a' faighinn leigheas agus cuid daoine ann an smachd buidheann a 'faighinn leigheas, 3) attrition, far a bheil builean chan eil thomhas airson cuid de chom-pàirtichean, agus 4) bhacadh sam bith, far a bheil an leigheas dòrtadh thairis bho dhaoine anns an staid leigheas a thoirt do dhaoine ann an staid smachd. Faic Gerber and Green (2012) Caibideilean 5, 6, 7, 8 agus airson tuilleadh air gach aon de na cùisean sin.

Airson tuilleadh air dligheachas a thogail, fhaicinn Westen and Rosenthal (2003) , agus airson tuilleadh air dligheachas a thogail ann mòr tobraichean dàta, Lazer (2015) agus an Caibideil 2 den leabhar seo.

Mar phàirt den taobh a-muigh dligheachas 'S e suidheachadh far a bheil an eadar-theachd ga dheuchainn. Allcott (2015) a' toirt cùramach teòiridheach agus deuchainneach a leigheas taghadh làraich leiteachas. A 'chùis seo a dheasbad cuideachd ann an Deaton (2010) . A thuilleadh air a bhith ann an iomadh dhiubh a làraichean, an Cumhachd Dachaidh Aithisg theachd cuideachd air a bhith neo-eisimeileach sgrùdadh le ioma-rannsachaidh buidhnean (me, Ayres, Raseman, and Shih (2013) ).

• Iomadachd de leigheas buaidhean (Earrann 4.4.2)

Airson sàr-shealladh de iomadachd de leigheas buaidhean ann an achadh deuchainnean, faic Caibideil 12 den Gerber and Green (2012) . Airson steach gu iomadachd de leigheas buaidhean ann an deuchainnean meidigeach, fhaicinn Kent and Hayward (2007) , Longford (1999) , agus Kravitz, Duan, and Braslow (2004) . Iomadachd de leigheas buaidhean as trice a 'cur cudrom air eadar-dhealachaidhean stèidhichte air ro-leigheas feartan. Ma tha ùidh agad ann an iomadachd stèidhichte air post-leigheas builean, an uair sin approachs nas iom-fhillte a tha a dhìth mar phrìomh stratification (Frangakis and Rubin 2002) ; fhaicinn Page et al. (2015) airson ath-bhreithneachadh.

Tha mòran luchd-rannsachaidh tuairmse a dhèanamh air iomadachd de leigheas bhuaidh cleachdadh sreathach regression, ach nas ùire dòighean crochadh air inneal ionnsachaidh, mar eisimpleir Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , agus Athey and Imbens (2016a) .

Tha cuid dh'aindheoin cheistean-dearbhaidh mu cho-dhùnaidhean na iomadachd de bhuaidh air sgàth ioma-coimeas duilgheadasan agus "iasgach." Tha measgachadh de staitistigeil dòighean-obrach as urrainn cuideachadh seòladh draghan mu iomadh coimeas (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Aon dòigh ri draghan mu dheidhinn "iasgach" 'S e ro-chlàraidh, a tha a' sìor fhàs cumanta ann an eòlas-inntinn (Nosek and Lakens 2014) , poileataigeach saidheans (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , agus eaconamachd (Olken 2015) .

Ann an sgrùdadh air Costa and Kahn (2013) ach mu leth de na taighean ann an deuchainn b 'urrainn a bhith ceangailte ri fiosrachadh deamografach. Readers a bheil ùidh ann am mion-fhiosrachadh sa ghabhas agus trioblaidean le anailis seo bu chòir iomradh a thoirt air a 'chiad phàipear.

• Uidheamachdan (Earrann 4.4.3)

Tha innleachdan air leth cudthromach, ach tha iad a 'tionndadh a-mach a bhith gu math duilich a rannsachadh. Rannsachadh mu uidheamachdan co-cheangailte gu dlùth ri sgrùdadh na meadhanachaidh ann an eòlas-inntinn (ach faic cuideachd VanderWeele (2009) airson a mionaideach coimeas eadar an dà beachdan). Statistical dòighean-obrach a 'lorg dhòighean, mar an dòigh-obrach a leasachadh ann an Baron and Kenny (1986) , a tha gu math cumanta. Gu mì-fhortanach, tha e a 'tionndadh a-mach gu bheil iadsan a modhan-obrach an crochadh air an cuid de làidir barailean (Bullock, Green, and Ha 2010) agus a' fulang nuair a tha ioma-uidheaman, mar a shaoileadh duine gum biodh ann am mòran suidheachaidhean (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) agus Imai and Yamamoto (2013) a 'tabhann cuid de dhòighean nas fheàrr staitistigeil. Nas fhaide, VanderWeele (2015) a 'tabhann leabhar-dh'fhaid leigheas le grunn toraidhean cudromach, nam measg dòigh choileanta gus cugallachd mion-sgrùdadh.

Tha dòigh-obrach fa leth a 'cur cudrom air deuchainnean sin a' feuchainn ri atharrachadh an dòigh gu dìreach (me, a 'toirt seòladairean bhiotamain C). Gu mì-fhortanach, ann an iomadh saidheans sòisealta suidheachaidhean gu math tric tha ioma-uidheaman agus tha e doirbh a dhealbhadh leigheasan gun atharrachadh aon Atharraich eile. Nithean modhan airson deuchainnean atharrachadh uidheamachdan tha air am mìneachadh ann an Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , agus Pirlott and MacKinnon (2016) .

Mu dheireadh, uidheamachdan cuideachd tha eachdraidh fhada ann an fheallsanachd saidheans mar a chaidh a mhìneachadh le Hedström and Ylikoski (2010) .

• A 'cleachdadh a th' ann an àrainneachdan (Earrann 4.5.1.1)

Airson tuilleadh air an cleachdadh litrichean-eòlas agus sgrùdadh sgrùdaidhean a thomhas lethbhreith fhaicinn Pager (2007) .

• Tog agad fhèin deuchainn (Earrann 4.5.1.2)

Tha an t-slighe as cumanta a bhith a 'fastadh chom-pàirtichean gus deuchainnean gu bheil sibh a' togail a tha Amazon Meacanaigeach Turk (MTurk). Seach MTurk mimics roinnean traidiseanta lab deuchainnean-'pàigheadh ​​dhaoine gus gnìomhan a chrìochnachadh nach biodh iad a dhèanamh airson saor-mòran rannsachaidh air tòiseachadh mar-thà a' cleachdadh Turkers (an luchd-obrach air MTurk) mar chom-pàirtichean ann an daonna cuspairean deuchainnean thoradh ann na bu luaithe agus na bu shaoire cruinneachadh dàta nas traidiseanta air àrainn-lann deuchainnean (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Tha an neart as motha de dheuchainnean le com-pàirtichean fhastadh bho MTurk tha solarachd: tha iad a 'leigeil le luchd-rannsachaidh fhastadh gu luath agus com-pàirtichean mar a dhìth. Do bhrìgh 's an deuchainnlann deuchainnean a ghabhail seachdainean a' ruith agus faodaidh deuchainnean achaidh a ghabhail mìosan a chur a-suas, deuchainnean le com-pàirtichean fhastadh bho MTurk Faodar ruith ann an làithean. Mar eisimpleir, Berinsky, Huber, and Lenz (2012) b 'urrainn do' fastadh 400 chuspairean ann an aon latha pàirt a ghabhail ann an 8 mionaid deuchainn. Nas fhaide, na com-pàirtichean Faodar fhastadh airson cha mhòr adhbhar sam bith (nam measg an suirbhidhean is tomad co-obrachadh, mar a dheasbad ann an Caibideilean 3 is 5). Seo a dhèanamh nas fhasa fastadh luchd-rannsachaidh a 'ciallachadh gun urrainn ruith sreathan co-cheangailte ri deuchainnean ann an luath-sheilbh.

Mus fastadh com-pàirtichean bho MTurk airson deuchainnean agad fhèin, tha ceithir rudan cudromach fios a bhith agad. An toiseach, tha mòran luchd-rannsachaidh neo-shònraichte a dh'aindheoin cheistean-dearbhaidh de dheuchainnean gabhail a-steach Turkers. Air sgàth seo chan eil dh'aindheoin cheistean-dearbhaidh sònraichte, tha e doirbh gus an seasadh le fianais. Ach, an dèidh iomadh bliadhna de eòlas cleachdadh Turkers, 's urrainn dhuinn a-nis air co-dhùnadh gum seo dh'aindheoin cheistean-dearbhaidh nach eil gu h-àraidh riatanach. Tha mòran air a bhith a 'dèanamh coimeas Eòlais na deamografaigs na Turkers eile àireamhan-sluaigh agus mòran rannsachaidhean' dèanamh coimeas eadar toraidhean dheuchainnean le Turkers ri na toraidhean bho sluaghan eile. Leis a h-uile obair seo, tha mi a 'smaoineachadh gu bheil an dòigh as fheàrr airson thu a' smaointinn mu dhčidhinn gu bheil Turkers tha reusanta goireasachd shampall, mòran mar oileanaich ach beagan nas eadar-mheasgte (Berinsky, Huber, and Lenz 2012) . Mar sin, dìreach mar oileanaich a tha reusanta àireamh-sluaigh airson cuid ach chan eil a h-uile rannsachadh deuchainneach, Turkers tha reusanta àireamh-sluaigh airson cuid ach chan eil a h-uile rannsachadh. Ma tha thu a 'dol a bhith ag obair le Turkers, an uair sin tha e a' dèanamh ciall a leughadh mòran de na sgrùdaidhean coimeasach agus a 'tuigsinn an nuances.

San dàrna àite, luchd-rannsachaidh a leasachadh as cleachdaidhean airson meudachadh air taobh a-staigh dligheachas Turk deuchainnean, agus bu chòir dhuibh ionnsachadh mu dheidhinn, agus lean sin as cleachdaidhean (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Mar eisimpleir, luchd-rannsachaidh a 'cleachdadh Turkers gam brosnachadh gus cleachdadh screeners a thoirt air falbh inattentive com-pàirtichean (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (ach faic cuideachd DJ Hauser and Schwarz (2015b) agus DJ Hauser and Schwarz (2015a) ). Mur eil thu air falbh inattentive com-pàirtichean, an uair sin buaidh sam bith de na faodar leigheas a sguabadh a-mach le fuaim thoirt a-steach bho inattentive com-pàirtichean, agus ann an cleachdadh air an àireamh de chom-pàirtichean inattentive urrainn a bhith tàbhachdach. Anns an deuchainn Huber agus co-oibrichean (2012) mu 30% de chom-pàirtichean bunaiteach Dh'fhàillig aire screeners. Trioblaid eile cumanta le Turkers tha neo-naive com-pàirtichean (Chandler et al. 2015) .

Treas, an coimeas ri cuid de sheòrsaichean eile didseatach deuchainnean, MTurk deuchainnean nach urrainn sgèile; Stewart et al. (2015) 'dèanamh tuairmse gum aig àm sam bith, chan eil ach mu 7,000 daoine air MTurk.

Mu dheireadh, bu chòir dhuibh fios agam gu bheil MTurk 'S e coimhearsnachd aca fhèin le riaghailtean agus atharrachadh cudthromach (Mason and Suri 2012) . Anns an aon dòigh sin bhiodh tu a 'feuchainn ri faighinn a-mach mu chultar na dùthaich far a bheil thu a' dol a 'ruith deuchainnean agad, bu chòir dhut feuchainn ri faighinn a-mach barrachd mun a' chultar agus atharrachadh cudthromach de Turkers (Salehi et al. 2015) . Agus, bu chòir dhuibh fios agam gu bheil an Turkers Thèid bruidhinn mu dheidhinn deuchainn agad ma nì thu rudeigin mì-iomchaidh no mì-bheusail (Gray et al. 2016) .

MTurk e uabhasach goireasaiche gus fastadh chom-pàirtichean gus ur deuchainnean, co-dhiù a tha iad an deuchainnlann coltach, leithid Huber, Hill, and Lenz (2012) , no barrachd achadh coltach, leithid Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , agus Mao et al. (2016) .

• Tog agad fhèin bathar (Earrann 4.5.1.3)

Ma tha thu a 'smaoineachadh a' feuchainn ri a chruthachadh agad fhèin bathar, tha mi a 'moladh gun leugh sibh an comhairle a thairgse leis a' bhuidhinn ann an MovieLens Harper and Konstan (2015) . Tha prìomh sealladh bhon eòlas aca gu bheil airson gach pròiseact shoirbheachail a tha mòran, mòran fàilligidhean. Mar eisimpleir, a 'bhuidheann a chur air bhog MovieLens bathar eile leithid GopherAnswers a bha deiseil fàilligidhean (Harper and Konstan 2015) . Mar eisimpleir eile de rannsaiche fàilligeadh fhad 'sa' feuchainn ri togail a th 'Eideard Castronova a' feuchainn ri togail air-loidhne ghèam ris an canar Arden. A dh'aindeoin $ 250,000 ann an taic-airgid, bha am pròiseact air Flop (Baker 2008) . Pròiseactan mar GopherAnswers Arden agus gu mì-fhortanach tha tòrr nas cumanta na pròiseactan mar MovieLens. Mu dheireadh, nuair a thuirt mi gun robh mi cha robh fios sam bith eile rannsachaidh a bha soirbheachail ann a chaidh a thogail bathar airson repeated deuchainneachd seo tha mo shlatan-tomhais: 1) com-pàirtichean a 'cleachdadh a' bhathair air sgàth dè tha e a 'toirt seachad orra (me, chan eil iad a' pàigheadh ​​agus nach eil iad saor-thoileach a 'cuideachadh saidheans) is 2) bhathar a chaidh a chleachdadh airson barrachd air aon eadar-dhealaichte fheuchainn (ie, chan eil an aon deuchainn ioma amannan eadar-dhealaichte le com-pàirtiche amaran). Ma tha thu eòlach air eisimpleirean eile, leigibh fios dhomh.

• Com-pàirtiche leis na cumhachdach (Earrann 4.5.2)

Chuala mi an smuain nan Pasteur a 'Cheàrn deasbad tric aig companaidhean tech, agus e a' cuideachadh a chur air dòigh rannsachadh oidhirpean aig Google (Spector, Norvig, and Petrov 2012) .

Bond agus co-oibrichean 'sgrùdadh (2012) cuideachd a' feuchainn ri lorg fhaighinn air buaidh nan leigheasan air an caraidean nan daoine ud a fhuair iad. Air sgàth a 'dealbhadh an deuchainn, spillovers sin tha e duilich a lorgadh cleanly; Bu chòir luchd-leughaidh aig a bheil ùidh fhaicinn Bond et al. (2012) airson deasbad nas mionaidiche. Deuchainn seo mar phàirt de traidisean fada de dheuchainnean ann poileataigeach saidheans air oidhirpean gus brosnachadh bhòtadh (Green and Gerber 2015) . Tha iad sin a 'faighinn a-mach an--bhòt deuchainnean a tha cumanta ann am pàirt air sgàth gu bheil iad ann an Pasteur aig Cheàrn. 'S e sin, tha mòran dhaoine a tha dèidheil air a mheudachadh agus bhòtaidh bhòtadh urrainn inntinneach a bhith ann giùlan gus deuchainn a dhèanamh nas fharsainge bheachdan ann mu dheidhinn giùlan atharrachadh agus sòisealta buaidh.

Rannsachaidh eile a 'toirt comhairle mu bhith a' ruith achadh deuchainnean le buidhnean com-pàirteachais leithid pàrtaidhean poilitigeach, NGOan, agus gnothachasan (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Tha feadhainn eile air a 'tabhann comhairle mu mar a com-pàirteachasan le buidhnean a' toirt buaidh rannsachadh dealbhaidhean (Green, Calfano, and Aronow 2014; King et al. 2007) . Com-pàirteachas urrainn cuideachd a 'ciallachadh gu beusanta ceistean (Humphreys 2015; Nickerson and Hyde 2016) .

• Dealbhadh comhairle (Earrann 4.6)

Ma tha thu a 'dol a chruthachadh mion-sgrùdadh a' phlana mus do ruith deuchainn, tha mi a 'moladh gu bheil thu tòiseachadh le bhith a' leughadh stiùiridhean aithris. Tha an Consort (Cruinnichte Ìre Aithris na Deuchainnean) an stiùireadh a leasachadh anns an leigheasachd (Schulz et al. 2010) agus mhùthadh airson rannsachadh sòisealta (Mayo-Wilson et al. 2013) . Tha co-cheangailte seata de riaghailtean-treòrachaidh air a leasachadh le luchd-deasachaidh den 'Journal of Experimental poileataigeach Saidheans (Gerber et al. 2014) (faic cuideachd Mutz and Pemantle (2015) agus Gerber et al. (2015) ). Mu dheireadh, aithris stiùireadh air a bhith air a leasachadh ann an eòlas-inntinn (Group 2008) , agus faic cuideachd Simmons, Nelson, and Simonsohn (2011) .

Ma tha thu a chruthachadh mion-sgrùdadh plana bu chòir dhut beachdachadh air ro-chlàradh a chionn ro-chlàraidh Meudaichidh misneachd gu bheil daoine eile ann a bhith toraidhean agaibh. Nas fhaide air, ma tha thu ag obair còmhla ri com-pàirtiche, bidh e agad a chuingealachadh Com-pàirtichean comas atharrachadh mion-sgrùdadh às dèidh a 'faicinn na toraidhean. Ro-clàraidh a 'fàs nas cumanta ann an eòlas-inntinn (Nosek and Lakens 2014) , poileataigeach saidheans (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , agus eaconamachd (Olken 2015) .

Ged a bhith a 'cruthachadh do ro-anailis plana bu chòir dhuibh a bhith mothachail gu bheil cuid de luchd-rannsachaidh cuideachd a' cleachdadh regression agus co-cheangailte ri dòighean-obrach gus piseach a thoirt air fèin-fhiosrachadh den tuairmse leigheas bhuaidh, agus tha cuid deasbad mun dòigh seo: Freedman (2008) , Lin (2013) , agus Berk et al. (2013) ; fhaicinn Bloniarz et al. (2016) airson tuilleadh fiosrachaidh.

Dealbhadh comhairle sònraichte airson loidhne achadh deuchainnean a tha cuideachd a thaisbeanadh ann an Konstan and Chen (2007) agus Chen and Konstan (2015) .

• Cruthaich neoni caochlaideach dàta chosgaisean (Earrann 4.6.1)

Airson tuilleadh air an MusicLab deuchainnean, fhaicinn Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , agus Salganik (2007) . Airson tuilleadh air buannaiche-ghabhail-uile margaidhean, fhaicinn Frank and Cook (1996) . Airson tuilleadh air untangling fhortan agus sgil san fharsaingeachd, chì Mauboussin (2012) , Watts (2012) , agus Frank (2016) .

Tha dòigh eile gus cur às do com-pàirtiche pàighidhean gum bu chòir luchd-rannsachaidh a 'cleachdadh faiceallach: gairm-airm reachdail. Ann an iomadh achadh air-loidhne deuchainnean com-pàirtichean a tha fìrinn, a chaidh a sgrìobhadh a-steach gu deuchainnean agus cha airgead-dìolaidh. Eisimpleirean de dòigh-obrach seo gabhail a-steach Restivo agus van de Rijt aig (2012) deuchainn air duaisean ann an Wikipedia agus Bond agus co-obraiche (2012) deuchainn air a bhith a 'brosnachadh dhaoine gus bhòtadh. Nam deuchainnean Chan eil neoni caochlaideach cosgais, tha iad neoni caochlaideach cosgais do luchd-rannsachaidh. Fiù 's ged an cosgais mòran de na deuchainnean a tha uabhasach beag do gach com-pàirtiche, beag cosgaisean sparradh mhòr àireamh de chom-pàirtichean urrainn ris suas gu luath. Tha luchd-rannsachaidh a 'ruith deuchainnean mòra air-loidhne gu tric a dhìon cho cudromach' sa beag thuairmse leigheas bhuaidh le bhith ag ràdh gu bheil na buaidhean beaga a bhith cudromach nuair a chur ri mòran dhaoine. Tha dearbh aon smaoineachadh a 'buntainn ri cosgaisean a' sparradh air luchd-rannsachaidh com-pàirtichean. Ma tha ur deuchainnean ag adhbhrachadh aon millean neach ana-caitheamh aon mhionaid, an deuchainn nach eil fìor cronail do neach sam bith gu h-àraidh, ach ann an iomlan tha e air caitheamh cha mhòr dà bhliadhna bho àm.

Dòigh eile a bhith a 'cruthachadh neoni caochlaideach cosgaisean am pàigheadh ​​gu com-pàirtichean a tha a' cleachdadh crannchur, an dòigh-obrach a tha cuideachd air a chleachdadh ann an suirbhidh an rannsachaidh (Halpern et al. 2011) . Mu dheireadh, airson tuilleadh mu dealbhadh tlachdmhor cleachdaiche-eòlasan fhaicinn Toomim et al. (2011) .

• Àite, a 'cur loinn, agus Lùghdaich (Earrann 4.6.2)

Seo a 'chiad mìneachaidhean de na trì R, bho Russell and Burch (1959) :

"A 'ciallachadh àite na ionadachadh airson mothachail fuireach nas àirde de bheathaichean insentient stuth. Lùghdachadh a 'ciallachadh lùghdachadh anns an àireamh de bheathaichean a chleachdadh gus fiosrachadh fhaighinn de thoirt seachad suim agus mionaideachd. Mion-ghrinneas a 'ciallachadh lùghdachadh sam bith ann an tricead no cho dona' sa inhumane modhan a chur an gnìomh ris an fheadhainn beathaichean a tha fhathast a bhith air a chleachdadh. "

Tha trì R aig a bheil mi a 'moladh Chan eil Sàraich Riaghailt na prionnsabalan eiticeil a mhìneachadh ann an Caibideil 6. An àite sin, tha iad nas elaborated dreach aon den fheadhainn prionnsabalan-beneficence-sònraichte airson a' suidheachadh daonna deuchainnean.

Nuair a thathar a 'beachdachadh Emotional Contagion, tha trì neo-cùisean beusanta a chumail an cuimhne nuair eadar-mhìneachaidh deuchainn seo. An toiseach, chan eil e soilleir mar an dearbh-fhiosrachadh mun deuchainn ceangal ris an teòiridheach tagraidhean; Ann am briathran eile, tha ceistean mu thogail dligheachas. Chan eil e soilleir gu bheil an adhartach is àicheil facal a 'cunntadh a tha dha-rìribh math comharra air faireachail staid com-pàirtichean chionn 1) nach eil e soilleir gu bheil na faclan gu bheil daoine a phostadh, a tha math comharra nam faireachdainnean aca agus 2) chan eil e soilleir gu bheil a 'faireachdainn sònraichte mion-sgrùdadh air modh gu bheil an luchd-rannsachaidh a chleachdadh a tha comasach air earbsach infer faireachdainnean (Beasley and Mason 2015; Panger 2016) . Ann am briathran eile, gum biodh droch tomhas de leiteachas chomharran. San dàrna àite, a 'dealbhadh agus mion-sgrùdadh air an deuchainn ag innse dhuinn mu dheidhinn càil a bha a' chuid as motha buaidh (ie, chan eil mion-sgrùdadh air iomadachd de leigheas bhuaidh) agus dè an dòigh a dh'fhaodadh a bhith. Sa chùis seo, tha an luchd-rannsachaidh Bha tòrr fiosrachaidh mu na com-pàirtichean, ach bha iad an ìre mhath a 'dèiligeadh riutha mar widgets ann am mion-sgrùdadh. Treas, a 'bhuaidh meud ann an deuchainn seo a bha glè bheag; an eadar-dhealachadh eadar an leigheas agus na h-smachd a tha mu 1,000 ann an 1 faclan. Anns a 'phàipear aca, Kramer agus co-oibrichean a' dèanamh na cùise gu bheil a 'bhuaidh seo meud cudromach oir tha na ceudan de mhilleanan de dhaoine cothrom aca News Feed gach latha. Ann am briathran eile, tha iad ag argamaid gun robh fiù 'bhuaidh a tha beag airson gach neach a tha iad mòr gu h-iomlan. Fiù 's ma bha thu a' gabhail ri argamaid seo, tha e fhathast nach eil soilleir ma buaidh den mheudachd seo a tha cudromach a thaobh tuilleadh coitcheann saidheansail ceist mu faireachail contagion. Airson tuilleadh air an suidheachaidhean far a bheil beag buaidhean a tha cudromach fhaicinn Prentice and Miller (1992) .

A thaobh a 'chiad R (ùr),' dèanamh coimeas eadar an Emotional Contagion deuchainn (Kramer, Guillory, and Hancock 2014) agus faireachail contagion nàdarra deuchainn (Coviello et al. 2014) a 'tabhann cuid coitcheann leasain mu mhalairt-cheangailte sàs le bhith a' gluasad bho deuchainnean gu nàdarra deuchainnean (agus dòighean-obrach eile mar a fhreagras air an oidhirp sin airson a bhith faisg air deuchainnean ann an neo-dàta deuchainneach, faic Caibideal 2). A thuilleadh air na buannachdan beusanta, ma ghluaisear o deuchainneach gu neo-deuchainneach Eòlais cuideachd a 'toirt cothrom do luchd-rannsachaidh a' sgrùdadh a thaobh na leigheasan a thaobh àireamhan gu bheil iad comasach air cur gu feum. Nam bheusanta agus solarachd buannachdan a thig aig cosgais, ge-tà. Le nàdarra deuchainnean rannsachaidh nas lugha smachd air rudan mar trusadh de chom-pàirtichean, randomization, agus nàdar an leigheas. Mar eisimpleir, aon cunbhalachadh sileadh mar leigheas gu bheil e an dà chuid a 'meudachadh adhartas agus a' lughdachadh àicheileachd. Ann an sgrùdadh deuchainneach, ge-tà, Kramer agus co-oibrichean a bha comasach air atharrachadh adhartas agus àicheileachd neo-eisimeileach.

Tha an dòigh-obrach sònraichte a chleachdadh le Coviello et al. (2014) Chaidh tuilleadh elaborated ann Coviello, Fowler, and Franceschetti (2014) . Airson an ro-ràdh don ionnsramaid caochladairean fhaicinn Angrist and Pischke (2009) (nach eil cho foirmeil) no Angrist, Imbens, and Rubin (1996) (nas foirmeile). Airson saorsa measadh de dh'ionnsramaidean caochladairean fhaicinn Deaton (2010) , agus airson toirt a-steach gu ionnsramaid caochladairean le lag ionnstramaidean (-uisge 'S e lag ionnsramaid), fhaicinn Murray (2006) .

Tuilleadh fharsaingeachd, deagh toirt a-steach gu nàdarra deuchainnean tha Dunning (2012) , agus Rosenbaum (2002) , Rosenbaum (2009) , agus Shadish, Cook, and Campbell (2001) a 'tabhann deagh bheachdan mu tuairmse adhbharach gun bhuaidh deuchainnean.

A thaobh an dàrna R (urram), tha saidheansail agus solarachd malairt cur-às nuair a 'beachdachadh air atharrachadh a thoirt air dealbhadh faireachail Contagion bho bacadh dreuchdan a' meudachadh dreuchdan. Mar eisimpleir, dh'fhaodadh gum biodh e na cùise gu bheil an teicnigeach buileachadh a 'News Feed' dèanamh tha e gu mòr nas fhasa a bhith a 'dèanamh deuchainn le bacadh dreuchdan seach an deuchainn ri meudachadh dreuchdan (fa-near gu bheil an deuchainn ri bacadh dreuchdan a dh'fhaodadh a bhith air an cur an gnìomh mar filleadh air mullach na News Feed siostam gun feum sam bith airson atharrachaidhean air am bun-siostam). Saidheans, ge-tà, an teòiridh dèiligeadh leis an deuchainn nach robh gu soilleir a 'moladh aon dealbhachadh thairis air an taobh eile.

Gu mì-fhortanach, chan eil mi mothachail air susbainteach mus rannsachadh mu buntainneach airidheachd 'bacadh agus a' meudachadh ann an susbaint News Feed. Cuideachd, chan fhaca mise mòran rannsachaidh mu 'leasachadh a thaobh na leigheasan a dhèanamh orra cho millteach; Ach tha Jones and Feamster (2015) , a tha a 'beachdachadh air a' chùis tomhas de Internet caisgireachd (cuspair mi a 'bruidhinn ann an Caibideal 6 ann an dàimh ris a' Encore sgrùdadh (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

A thaobh an treas R (Lùghdachadh), a 'toirt a-steach gu math traidiseanta cumhachd mion-sgrùdadh a th' Cohen (1988) . Ro-leigheas covariates Faodar gabhail a-steach ann an dealbhadh an àrd-ùrlar agus an anailis ìre dheuchainnean; Caibideil 4 dhen Gerber and Green (2012) a 'toirt deagh toirt a-steach an dà chuid ri dòighean-obrach, agus Casella (2008) a' toirt barrachd ann an doimhneachd-leigheas. Dòighean-obrach a 'cleachdadh seo ro-leigheas fiosrachadh anns a' randomization ris an canar mar as trice an dàrna cuid dùinte deuchainneach dealbhaidhean no stratified deuchainneach dealbhaidhean (an briathrachas nach eil air a chleachdadh gu cunbhalach thar choimhearsnachdan); na dòighean-obrach a tha co-cheangailte gu mòr ris a 'stratified samplachaidh dòighean a dheasbad ann an Caibideil 3. Faicibh Higgins, Sävje, and Sekhon (2016) airson barrachd air a bhith a' cleachdadh nan dealbhaidhean sin ann an deuchainnean mòra. Ro-leigheas covariates Faodar cuideachd gabhail a-steach anns a 'mion-sgrùdadh air an àrd-ùrlar. McKenzie (2012) a' rannsachadh nan eadar-dhealachadh ann an--eadar-dhealachaidhean dòigh-obrach a 'dèanamh anailis air achadh deuchainnean ann am barrachd mionaideachd. Faic Carneiro, Lee, and Wilhelm (2016) airson tuilleadh air an cur-às-mhalairt eadar diofar mhodhan a mheudachadh mionaideachd ann tuairmsean de leigheas bhuaidh. Mu dheireadh, nuair an co-dhùnadh co-dhiù gus feuchainn ri gabhail a-steach ro-leigheas covariates aig dealbhadh no mion-sgrùdadh air an àrd-ùrlar (no an dà chuid), tha beagan nithean gus beachdachadh. Ann an suidheachadh far a bheil luchd-rannsachaidh ag iarraidh sealltainn nach eil iad "iasgach" (Humphreys, Sierra, and Windt 2013) , a 'cleachdadh ro-leigheas covariates ann an dealbhachadh ìre urrainn a bhith cuideachail (Higgins, Sävje, and Sekhon 2016) . Ann an suidheachaidhean far a bheil com-pàirtichean a 'tighinn òrdugh, gu h-àraid air-loidhne achadh dheuchainnean, a' cleachdadh ro-leigheas fiosrachadh ann an ìre dealbhaidh a dh'fhaodadh a bhith doirbh a thaobh àireamhan, faic mar eisimpleir Xie and Aurisset (2016) .

Is fhiach e a 'cur beagan mu dheidhinn carson a Intuition-eadar-dhealachadh ann an-eadar-dhealachaidhean urrainn gum biodh uimhir nas eadar-dhealachadh ann an--dhòigh. Tha mòran air-loidhne builean glè àrd toireadh (faic me, Lewis and Rao (2015) agus Lamb et al. (2015) ) agus tha iad an ìre mhath seasmhach thairis air ùine. Sa chùis seo, an t-atharrachadh sgòr bi nas lugha gu mòr toireadh, a 'meudachadh cumhachd staitistigeil deuchainn. Aon adhbhar seo a ruigear chan eilear ga chleachdadh nas trice gu bheil ron didseatach aois cha robh e cumanta gu bheil ro-leigheas builean. A tuilleadh concrait dòigh gus smaoineachadh mu na tha e air smaoineachadh an deuchainn a thomhas co-dhiù sònraichte eacarsaich àbhaisteach adhbharachadh call cuideam. Ma tha thu a 'dèanamh eadar-dhealachadh ann an--dhòigh dòigh-obrach, do tuairmse bi eadar-dhealachadh sin a' tighinn bho caochlaideachd ann cuideaman ann an àireamh-sluaigh. Ma tha thu a 'dèanamh eadar-dhealachadh ann an--eadar-dhealachadh dòigh-obrach, ge-tà, gu bheil nàdarra eadar-dhealachadh ann cuideaman gam thoirt air falbh agus faodaidh sibh tuilleadh a lorg gu furasta eadar-dhealachadh a dh'adhbhraich an leigheas.

Aon dòigh cudromach a bhith a 'lùghdachadh an àireamh de chom-pàirtichean ann an deuchainn a tha agad ri dhèanamh cumhachd mion-sgrùdadh, a Kramer agus co-oibrichean dh'fhaodadh a bhith air a dhèanamh stèidhichte air a' bhuaidh mheudan bho fa'near nàdarra deuchainn leis Coviello et al. (2014) no nas tràithe neo-rannsachadh deuchainneach le Kramer (2012) (gu dearbh tha iad sin cur-seachadan aig deireadh a 'chaibideil seo). Mothaich gu bheil seo a 'cleachdadh cumhachd anailis a tha beagan eadar-dhealaichte seach àbhaisteach. Ann an Analog aois, luchd-rannsachaidh san fharsaingeachd rinn cumhachd mion-sgrùdadh gus dèanamh cinnteach gu bheil an sgrùdadh aca nach robh ro bheag (ie, fo cumhachd). A-nis, ge-tà, bu chòir do luchd-rannsachaidh a 'dèanamh mion-sgrùdadh air cumhachd gus dèanamh cinnteach gu bheil an rannsachadh aca air nach eil e ro mhòr (ie, thairis air cumhachd).

Mu dheireadh, tha mi a 'beachdachadh air cur an ceathramh R: Repurpose. 'S e sin, ma-rannsachaidh a lorg iad fhèin le barrachd dàta deuchainneach na dh'fheumas iad gus dèiligeadh ri ceist an rannsachadh tùsail, bu chòir dhaibh repurpose an dàta gus faighneachd ceistean ùra. Mar eisimpleir, smaoineachadh gu bheil Kramer agus co-oibrichean a bha a 'cleachdadh eadar-dhealachadh ann an--eadar-dhealachaidhean estimator agus fhuair iad fhèin le barrachd na dàta a dh'fheumar gus aghaidh a chur air an rannsachadh aca a' cheist. Seach nach eil a 'cleachdadh an dàta gu làn-ìre, dh'fhaodadh iad sgrùdadh air meud na buaidh mar dhleastanas ro-leigheas faireachail a chur an cèill. Dìreach mar Schultz et al. (2007) gun robh a 'bhuaidh a bha aig an leigheas a bha eadar-dhealaichte airson luchd-cleachdaidh solas agus trom,' s dòcha a 'bhuaidh a bha aig News Feed bha eadar-dhealaichte do dhaoine a tha mar-thà buailteach a phostadh toilichte (no duilich) teachdaireachdan. Repurposing dh'fhaodadh sin an stiùireadh gu "iasgach" (Humphreys, Sierra, and Windt 2013) agus "p-Hacking" (Simmons, Nelson, and Simonsohn 2011) , ach tha iad seo gu ìre mhòr addressable le measgachadh de onarach aithris (Simmons, Nelson, and Simonsohn 2011) , ro-chlàraidh (Humphreys, Sierra, and Windt 2013) , agus inneal-ionnsachaidh dòighean sin a 'feuchainn ri sheachnadh thar-iomchaidh.