Cad atá le léamh seo chugainn

• Réamhrá (roinn 4.1)

Is minic go bhfuil ceisteanna faoi chúisiúlacht i dtaighde sóisialta casta agus intricate. I gcás cur chuige bunaidh maidir le cúiseacht atá bunaithe ar ghraif chúiseacha, féach Pearl (2009) , agus chun cur chuige bunaidh bunaithe ar thorthaí féideartha, féach Imbens and Rubin (2015) . Chun comparáid idir an dá chur chuige seo, féach Morgan and Winship (2014) . Chun cur chuige foirmiúil a dhéanamh maidir le sainmhíniú a dhéanamh, féach VanderWeele and Shpitser (2013) .

Sa chaibidil seo, chruthaigh mé an chuma ar líne geal idir ár gcumas meastacháin chúiseacha a dhéanamh ó shonraí turgnamhacha agus neamhthionscnaimh. Mar sin féin, is dóigh liom go bhfuil an t-idirdhealú níos déine i ndáiríre. Mar shampla, glacann gach duine leis go n-éireoidh tobac a ailse, cé nach ndearnadh riamh turgnamh rialaithe randamach a chuireann ar chumas daoine tobac a chaitheamh. Le haghaidh cóireálacha leabhar-fhad den scoth maidir le meastacháin chúiseacha a dhéanamh ó shonraí neamhthuirgiúla féach Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , agus Dunning (2012) .

Tugann Caibidlí 1 agus 2 de Freedman, Pisani, and Purves (2007) réamhrá soiléir ar na difríochtaí idir turgnaimh, turgnaimh rialaithe agus turgnaimh faoi rialú rialaithe randamach.

Soláthraíonn Manzi (2012) réamhrá suimiúil agus inléite maidir le tacaíochtaí fealsúnachta agus staitistiúla de thurgnaimh faoi rialú rialaithe randamach. Chomh maith leis sin soláthraíonn sé samplaí spéisiúla fíor-domhain de chumhacht an turgnaimh i ngnó. Issenberg (2012) cur isteach iontach ar úsáid turgnamh i bhfeachtais pholaitiúla.

• Cad iad na turgnaimh? (roinn 4.2)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, agus Athey and Imbens (2016b) cur isteach maith ar ghnéithe staitistiúla de dhearadh agus anailís turgnamhach. Ina theannta sin, tá cóireálacha den scoth ar úsáid turgnaimh i réimsí éagsúla: eacnamaíocht (Bardsley et al. 2009) , socheolaíocht (Willer and Walker 2007; Jackson and Cox 2013) , síceolaíocht (Aronson et al. 1989) , eolaíocht pholaitiúil (Morton and Williams 2010) , agus beartas sóisialta (Glennerster and Takavarasha 2013) .

Is minic nach bhfuil tábhacht ag baint le earcú rannpháirtithe (eg sampláil) i dtaighde turgnamhach. Mar sin féin, má tá éifeacht an chóireáil ilchineálach sa daonra, tá an sampláil ríthábhachtach ansin. Longford (1999) an pointe seo go soiléir nuair a mhol sé do thaighdeoirí smaoineamh ar thurgnaimh mar shuirbhé daonra le sampláil haphazard.

• Dhá thoiseach turgnaimh: réimse saotharlainne agus aschur digiteach (roinn 4.3)

Mhol mé go bhfuil leanúnachas ann idir turgnaimh saotharlainne agus réimse, agus tá taitneamhachtaí níos mionsonraithe molta ag taighdeoirí eile, go háirithe cinn a (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) na cineálacha éagsúla turgnaimh allamuigh (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

Tá roinnt páipéar curtha i gcomparáid le turgnaimh saotharlainne agus réimse sa teibí (Falk and Heckman 2009; Cialdini 2009) agus i dtéarmaí thorthaí turgnaimh shonracha san eolaíocht pholaitiúil (Coppock and Green 2015) , eacnamaíocht (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , agus síceolaíocht (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) dea-thaighde taighde chun comparáid a dhéanamh idir thorthaí saotharlainne agus turgnaimh. Parigi, Santana, and Cook (2017) cur síos ar conas is féidir le turgnaimh réimse ar líne roinnt de na saintréithe saotharlainne agus turgnaimh allamuigh a chur le chéile.

Tugann imní faoi rannpháirtithe a n-iompar a athrú mar go bhfuil a fhios acu go bhfuiltear ag breathnú go dlúth orthu ar a dtugtar iarmhairtí ar éilimh , agus rinneadh staidéar orthu sa síceolaíocht (Orne 1962) agus eacnamaíocht (Zizzo 2010) . Cé go bhfuil baint acu le turgnaimh saotharlainne den chuid is mó, is féidir leis na saincheisteanna céanna fadhbanna a chur faoi deara le haghaidh turgnaimh allamuigh chomh maith. Go deimhin, is éifeachtaí éifeachtaí Hawthorne a dtugtar éifeachtaí éilimh , téarma a fhaigheann na turgnaimh soilsithe cáiliúla a thosaigh i 1924 ag Oibreacha Hawthorne de chuid Electric Electric Company (Adair 1984; Levitt and List 2011) . Tá dlúthbhaint ag éifeachtaí an dá éilimh agus éifeachtaí Hawthorne leis an smaoineamh ar thomhas imoibríoch a pléadh i gcaibidil 2 (féach freisin Webb et al. (1966) ).

Tá stair fhada ag eachtraí i dturgnaimh i réimse na heacnamaíochta (Levitt and List 2009) , eolaíocht pholaitiúil (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , síceolaíocht (Shadish 2002) , agus beartas poiblí (Shadish and Cook 2009) . Limistéar amháin de eolaíocht shóisialta nuair a tháinig turgnamh réimse le feiceáil go tapa ná forbairt idirnáisiúnta. Le haghaidh athbhreithniú dearfach ar an obair sin laistigh den eacnamaíocht féach Banerjee and Duflo (2009) , agus le haghaidh measúnú criticiúil féach Deaton (2010) . Le haghaidh athbhreithnithe ar an obair seo san eolaíocht pholaitiúil, féach Humphreys and Weinstein (2009) . Ar deireadh, rinneadh na dúshláin eiticiúla a eascraíonn as turgnaimh allamuigh a iniúchadh i gcomhthéacs na heolaíochta polaitíochta (Humphreys 2015; Desposato 2016b) agus eacnamaíocht forbartha (Baele 2013) .

San alt seo, mhol mé go bhféadfaí faisnéis réamhchóireála a úsáid chun cruinneas na n-éifeachtaí cóireála measta a fheabhsú, ach tá roinnt díospóireachta ann faoin gcur chuige seo; féach Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , agus Bloniarz et al. (2016) le haghaidh tuilleadh eolais.

Mar fhocal scoir, tá dhá chineál eile turgnaimh ann a dhéanann eolaithe sóisialta nach n-oiriúnach go síochánta ar an ngné saotharlainne: turgnaimh suirbhéireachta agus turgnaimh shóisialta. Tá turgnaimh suirbhé ag turgnamh ag baint úsáide as bonneagar na suirbhéanna atá ann cheana féin agus comparáid a dhéanamh idir na freagraí ar leaganacha eile de na ceisteanna céanna (cuirtear roinnt turgnaimh suirbhé i láthair i gCaibidil 3); le haghaidh níos mó ar thurgnaimh shuirbhé féach Mutz (2011) . Is turgnaimh iad turgnaimh shóisialta ina bhfuil an chóireáil mar chuid de bheartas sóisialta nach féidir le rialtas a chur i bhfeidhm ach amháin. Tá dlúthbhaint ag turgnaimh shóisialta le meastóireacht chláir. Chun tuilleadh eolais a fháil ar thurgnaimh pholasaí, féach Heckman and Smith (1995) , Orr (1998) , agus @ glennerster_running_2013.

• Ag bogadh thar turgnaimh shimplí (roinn 4.4)

Roghnaigh mé díriú ar thrí choincheap: bailíocht, ilchineálacht na n-éifeachtaí cóireála, agus na meicníochtaí. Tá ainmneacha difriúla ag na coincheapa seo i réimsí éagsúla. Mar shampla, bíonn síceolaithe ag dul thar turgnaimh shimplí trí dhíriú ar idirghabhálaithe agus ar mhodhnóirí (Baron and Kenny 1986) . Déantar smaoineamh idirghabhálaithe a ghabháil leis na meicníochtaí a ghlaonn mé, agus glactar leis an smaoineamh ar mhodhnóirí leis an gcaidreamh a thugann mé ar bhailíocht sheachtrach (m.sh., bheadh ​​torthaí an turgnaimh difriúil más rud é go reáchtáladh sé i gcásanna difriúla) agus ilchineálacht na n-éifeachtaí cóireála ( m.sh., na héifeachtaí níos mó do dhaoine áirithe ná do dhaoine eile).

An turgnamh ag Schultz et al. (2007) conas is féidir teoiricí sóisialta a úsáid chun idirghabhálacha éifeachtacha a dhearadh. Le haghaidh argóint níos ginearálta maidir le ról na teoirice maidir le hidirghabhálacha éifeachtacha a dhearadh, féach Walton (2014) .

• Bailíocht (roinn 4.4.1)

Chuir Campbell (1957) coincheapa na bailíochta inmheánacha agus seachtracha isteach i dtosach. Féach Shadish, Cook, and Campbell (2001) le haghaidh stair níos mionsonraithe agus Shadish, Cook, and Campbell (2001) cúramach staidrimh, bailíocht inmheánach, bailíocht a thógáil agus bailíocht sheachtrach.

Le haghaidh forbhreathnú ar shaincheisteanna a bhaineann le bailíocht na Imbens and Rubin (2015) staidrimh i dturgnaimh féach Gerber and Green (2012) (ó thaobh eolaíochta sóisialta) agus Imbens and Rubin (2015) (ó thaobh staidrimh). I measc roinnt saincheisteanna a bhaineann le bailíocht i gcrích staidrimh a eascraíonn go sonrach i dturgnamh réimse ar líne tá saincheisteanna mar mhodhanna éifeachtacha ríomhairí chun eatraimh muiníne a chruthú le sonraí cleithiúnacha (Bakshy and Eckles 2013) .

Is féidir a bheith deacair bailíocht inmheánach a chinntiú i dturgnaimh chasta casta. Féach, mar shampla, Gerber and Green (2000) , Imai (2005) , agus Gerber and Green (2005) le díospóireacht faoi chur i bhfeidhm turgnamh réimse casta faoi vótáil. Kohavi et al. (2012) agus Kohavi et al. (2013) tabhairt isteach na dúshláin a bhaineann le bailíocht eatramh i dturgnaimh ar líne.

Bagairt mhór ar bhailíocht inmheánach é an fhéidearthacht go ndéanfaí randamú teipthe. Is é bealach amháin a d'fhéadfadh fadhbanna a aimsiú leis an randamú ná na grúpaí cóireála agus rialaithe a chur i gcomparáid le tréithe inbhraite. Tugtar seiceáil cothromaíochta ar an gcineál comparáide seo. Féach Hansen and Bowers (2008) le haghaidh cur chuige staitistiúil maidir le seiceálacha cothromaíochta agus Mutz and Pemantle (2015) le haghaidh imní faoi sheiceálacha cothromaíochta. Mar shampla, ag baint úsáide as seiceáil cothromaíochta, Allcott (2011) roinnt fianaise nach ndearnadh randomization i bhfeidhm i gceart i dtrí cinn de na turgnaimh Opower (féach tábla 2; suíomhanna 2, 6, agus 8). Le haghaidh cur chuige eile, féach caibidil 21 Imbens and Rubin (2015) .

Is iad imní móra eile a bhaineann le bailíocht inmheánach ná: (1) neamhchomhlíonadh aon-thaobhach, i gcás nach bhfuair gach duine sa ghrúpa cóireála an chóireáil i ndáiríre, (2) neamhchomhlíonadh dhá thaobh, i gcás nach bhfaighidh gach duine sa ghrúpa cóireála an chóireáil agus daoine áirithe i faigheann an grúpa rialaithe an cóireáil, (3) díothú, i gcás nach dtomhaistear torthaí do roinnt rannpháirtithe, agus (4) cur isteach, i gcás ina ndíoltar an chóireáil ó dhaoine sa riocht cóireála do dhaoine atá i riocht rialaithe. Féach caibidlí 5, 6, 7, agus 8 de Gerber and Green (2012) le haghaidh níos mó ar gach ceann de na saincheisteanna seo.

Chun tuilleadh eolais a fháil maidir le bailíocht a thógáil, féach Westen and Rosenthal (2003) , agus le haghaidh níos mó maidir le bailíocht a thógáil i bhfoinsí sonraí mór, Lazer (2015) agus caibidil 2 den leabhar seo.

Gné amháin de bhailíocht sheachtrach ná an suíomh ina ndéantar tástáil ar idirghabháil. Allcott (2015) cóireáil theoiriciúil agus eimpíreach cúramach ar chlaonadh roghnú láithreáin. Pléann Deaton (2010) an cheist seo freisin. Gné eile de bhailíocht sheachtrach ná an mbeidh éifeachtaí comhchosúla ag oibríochtaí malartacha an idirghabhála céanna. Sa chás seo, tá comparáid idir Schultz et al. (2007) agus Allcott (2011) go raibh éifeacht chóireáilte measta níos lú ag na turgnaimh Opower ná na turgnaimh bhunaidh ag Schultz agus comhghleacaithe (1.7% i gcoinne 5%). Allcott (2011) go raibh tionchar níos lú ag na turgnaimh leanúnacha mar gheall ar na bealaí a raibh an chóireáil difriúil: emoticon lámhscríofa mar chuid de staidéar arna urramú ag ollscoil, i gcomparáid le mothúchán priontáilte mar chuid de ollmhór tuairisc ó chuideachta chumhachta.

• Étréimeacht na n-éifeachtaí cóireála (roinn 4.4.2)

Le haghaidh forbhreathnú den scoth ar ilchineálacht na n-éifeachtaí cóireála i dturgnaimh réimse, féach caibidil 12 de Gerber and Green (2012) . Le haghaidh cur isteach ar ilchineálacht na n-éifeachtaí cóireála i dtrialacha leighis, féach Kent and Hayward (2007) , Longford (1999) , agus Kravitz, Duan, and Braslow (2004) . De ghnáth, díríonn breithniú ar ilchineálacht na n-éifeachtaí cóireála ar dhifríochtaí bunaithe ar shaintréithe réamhchóireála. Má tá suim agat i ilchineálacht bunaithe ar thorthaí iarchóireála, tá gá le cur chuige níos casta, mar shampla an phríomhshrádú (Frangakis and Rubin 2002) ; féach Page et al. (2015) le haghaidh athbhreithnithe.

Meastachán a dhéanamh ar go leor taighdeoirí uathchineacht na n-éifeachtaí cóireála ag baint úsáide as aischéimniú líneach, ach tá modhanna níos nuaí ag brath ar fhoghlaim meaisín; féach, mar shampla, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , agus Athey and Imbens (2016a) .

Tá roinnt amhras ann faoi thorthaí ilchineálacht na n-éifeachtaí mar gheall ar fhadhbanna comparáideacha ilghnéitheacha agus "iascaireacht." Tá éagsúlacht cur chuige staitistiúil ann a d'fhéadfadh cabhrú le dul i ngleic le hábhair imní maidir le comparáid il (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Tá cur chuige amháin maidir le hábhair imní faoi "iascaireacht" réamhchlárúcháin, atá ag éirí níos coitianta i síceolaíocht (Nosek and Lakens 2014) , eolaíocht pholaitiúil (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , agus eacnamaíocht (Olken 2015) .

Sa staidéar ag Costa and Kahn (2013) níorbh fhéidir ach thart ar leath de na teaghlaigh sa turgnamh a nascadh leis an eolas déimeagrafach. Ba chóir do léitheoirí a bhfuil suim acu sna sonraí seo tagairt a dhéanamh don pháipéar bunaidh.

• Meicníochtaí (roinn 4.4.3)

Tá meicníochtaí thar a bheith tábhachtach, ach is deacair iad staidéar a dhéanamh orthu. Tá dlúthbhaint ag taighde maidir le meicníochtaí le staidéar a dhéanamh ar idirghabhálaithe sa síceolaíocht (ach féach VanderWeele (2009) le haghaidh comparáid cheart idir an dá smaointe). Tá cur chuige staitistiúil maidir le meicníochtaí a aimsiú, amhail an cur chuige a forbraíodh i Baron and Kenny (1986) , coitianta go leor. Ar an drochuair, léiríonn sé go bhfuil na nósanna imeachta sin ag brath ar roinnt tuisceana láidir (Bullock, Green, and Ha 2010) agus tá siad ag fulaingt nuair a bhíonn (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) ann, mar a d'fhéadfadh a bheith ag súil le go leor cásanna (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) agus Imai and Yamamoto (2013) roinnt modhanna staidrimh feabhsaithe. Thairis sin, VanderWeele (2015) le roinnt torthaí tábhachtacha, lena n-áirítear cur chuige cuimsitheach maidir le hanailís íogaireachta.

Díríonn cur chuige ar leith ar thurgnaimh a dhéantar iarracht an mheicníocht a ionramháil go díreach (m.sh., ag tabhairt mairnéalaithe vitimín C). Ar an drochuair, i go leor suíomhanna eolaíochta sóisialta, is minic go bhfuil meicníochtaí éagsúla ann agus tá sé deacair cóireálacha a dhearadh a athraíonn ceann gan athrú a dhéanamh ar na daoine eile. Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , agus Pirlott and MacKinnon (2016) a thuairiscíonn roinnt bealaí chun meicníochtaí a athrú go turgnamhach.

Caithfidh imscrúdaitheoirí a bheidh ag reáchtáil turgnaimh iomlán fachtóirí a bheith buartha faoi thástáil il-hipitéis; féach Fink, McConnell, and Vollmer (2014) agus List, Shaikh, and Xu (2016) le haghaidh tuilleadh eolais.

Mar fhocal scoir, tá stair fhada ag meicníochtaí i bhfealsúnacht na heolaíochta mar a thuairiscigh Hedström and Ylikoski (2010) .

• Ag baint úsáide as timpeallachtaí atá ann cheana (roinn 4.5.1)

Chun níos mó a bhaint as staidéar comhfhreagrais agus staidéir iniúchta a úsáid chun idirdhealú a thomhas, féach Pager (2007) .

• Tóg do thurgnamh féin (roinn 4.5.2)

Is é an Amazon Mechanical Turk (MTurk) an bealach is coitianta rannpháirtithe a earcú chun turgnaimh a thógann tú. Mar gheall ar mhaithe le MTurk gnéithe de thrialacha saotharlainne traidisiúnta a íocann daoine chun tascanna a dhéanamh nach ndéanfadh siad saor in aisce - tá go leor taighdeoirí tar éis tosú ag baint úsáide as Turkers (na hoibrithe ar MTurk) mar rannpháirtithe turgnamhacha, agus mar thoradh ar bhailiú sonraí níos tapúla ná níos saoire ná mar is féidir a bhaint amach i dturgnaimh thraidisiúnta saotharlainne ar an gcampas (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Go ginearálta, is iad na buntáistí is mó a bhaineann le rannpháirtithe a earcú ó MTurk a bheith lóistíochta. De bharr gur féidir le turgnaimh saotharlainne seachtaine a ghlacadh le reáchtáil agus is féidir le turgnaimh a dhéanamh míonna a chur ar bun le chéile, is féidir turgnaimh le rannpháirtithe a earcaíodh ó MTurk a reáchtáil i laethanta. Mar shampla, bhí Berinsky, Huber, and Lenz (2012) in ann 400 ábhar a earcú i lá amháin chun páirt a ghlacadh i dturgnamh 8 nóiméad. Ina theannta sin, is féidir na rannpháirtithe seo a earcú le haghaidh aon chríche ar bith (lena n-áirítear suirbhéanna agus comhoibriú mais, mar a pléadh i gcaibidlí 3 agus i gceann 5). Ciallaíonn an éascaíocht earcaíochta seo gur féidir le taighdeoirí seicheamh de thurgnaimh a bhaineann le hiarmhairt a reáchtáil.

Sula earcófar rannpháirtithe ó MTurk as do chuid turgnaimh féin, tá ceithre rud tábhachtach ann a theastaíonn uait. Ar an gcéad dul síos, tá go leor de na taighdeoirí a bhfuil gan amhras ar thurgnaimh a bhaineann le Turcairí. Ós rud é nach bhfuil an amhras seo ar leith, tá sé deacair dul i ngleic le fianaise. Mar sin féin, tar éis roinnt blianta staidéir ag baint úsáide as Turcairí, is féidir linn a thabhairt i gcrích anois nach bhfuil údar maith leis an amhras seo. Tá go leor staidéir déanta i gcomparáid le déimeagrafaíocht na dTúrcóirí agus iad siúd i measc na ndaonraí eile agus is minic a dhéanann comparáid idir thorthaí turgnaimh le Turcair agus iad siúd ó dhaonraí eile. Mar gheall ar an obair seo go léir, is dóigh liom gurb é an bealach is fearr duit smaoineamh air ná go bhfuil samplaí áise réasúnta ag Turkers, cosúil le mic léinn ach beagán níos éagsúla (Berinsky, Huber, and Lenz 2012) . Dá bhrí sin, de réir mar a bhfuil daltaí ina dhaonra réasúnta do roinnt taighde, ach nach bhfuil go léir, tá Turkers ina dhaonra réasúnta do roinnt taighde, ach ní léir, a dhéanamh. Má tá tú ag obair le Turóirí, bíonn sé ciallmhar go leor de na staidéir chomparáideacha seo a léamh agus a dtuiscintí a thuiscint.

Sa dara háit, d'fhorbair taighdeoirí na cleachtais is fearr chun bailíocht inmheánach turgnaimh MTurk a mhéadú, agus ba chóir duit na cleachtais is fearr a fhoghlaim agus a leanúint (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Mar shampla, spreagtar do thaighdeoirí atá ag baint úsáide as Turcairí scáileáin a úsáid chun rannpháirtithe (Berinsky, Margolis, and Sances 2014, 2016) a bhaint (Berinsky, Margolis, and Sances 2014, 2016) (ach féach freisin DJ Hauser and Schwarz (2015b) agus DJ Hauser and Schwarz (2015a) ). Mura gcuireann tú rannpháirtithe inattentive ar fáil, is féidir an torann a thugann siad isteach i bhfeidhm ar aon éifeacht an chóireála agus, i gcleachtas, is féidir go mbeidh líon na rannpháirtithe inattentive substaintiúil. Sa turgnamh a rinne Huber agus comhghleacaithe (2012) , theip ar thimpeallóirí faoi bhun tuairim is 30% de na rannpháirtithe. Is iad na fadhbanna eile a thagann chun cinn nuair a úsáidtear Turkers ná rannpháirtithe neamh-naive (Chandler et al. 2015) agus díothú (Zhou and Fishbach 2016) .

Tríú, i gcomparáid le cineálacha eile de thurgnaimh dhigiteacha, ní féidir le turgnaimh MTurk scála; Stewart et al. (2015) meastachán nach bhfuil ach thart ar 7,000 duine ar MTurk ag am ar bith.

Mar fhocal scoir, ba chóir a fhios agat gur pobal é MTurk lena rialacha agus a noirm féin (Mason and Suri 2012) . Ar an gcaoi chéanna gur mhaith leat iarracht a fháil amach faoi chultúr tíre ina raibh tú ag déanamh do chuid turgnaimh, ba chóir duit iarracht a dhéanamh tuilleadh eolais a fháil faoi chultúr agus ar ghnáthbhealaí na dTúrcóirí (Salehi et al. 2015) . Agus ba chóir a fhios agat go mbeidh na Turcairí ag caint faoi do thurgnamh má dhéanann tú rud éigin mí-oiriúnach nó mí-eiticiúil (Gray et al. 2016) .

Is bealach iontach áisiúil é MTurk rannpháirtithe a earcú le do thurgnaimh, cibé acu is saothar saotharlainne iad, mar shampla Huber, Hill, and Lenz (2012) , nó níos mó cosúil le hábhair cosúil le hábhair Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , agus Mao et al. (2016) .

• Tóg do tháirge féin (roinn 4.5.3)

Má tá tú ag smaoineamh ar do tháirge féin a chruthú, molaim duit an chomhairle a thairgeann an grúpa MovieLens a léamh i Harper and Konstan (2015) . Is eochair-léargas dá dtaithí ná go bhfuil go leor teipeanna ann do gach tionscadal rathúil. Mar shampla, sheol an grúpa MovieLens táirgí eile, mar shampla GopherAnswers, go raibh teipeanna iomlána (Harper and Konstan 2015) . Sampla eile de thaighdeoir a theipeann agus é ag iarraidh táirge a thógáil ná iarracht Edward Castronova chun cluiche ar líne a dtugtar Arden a thógáil. In ainneoin $ 250,000 i maoiniú, bhí an tionscadal flop (Baker 2008) . Ar an drochuair, tá tionscadail cosúil le GopherAnswers agus Arden i bhfad níos coitianta ná tionscadail cosúil le MovieLens.

• Comhpháirtí leis an chumhachtach (alt 4.5.4)

Chuala mé an smaoineamh a bhí ag Quadrant Pasteur a pléadh go minic ag cuideachtaí ardteicneolaíochta, agus cabhraíonn sé le hiarrachtaí taighde a eagrú ag Google (Spector, Norvig, and Petrov 2012) .

Déanann staidéar bannaí agus comhghleacaithe (2012) iarracht éifeacht na gcóireálacha seo a bhrath ar chairde na ndaoine a fuair siad. Mar gheall ar dhearadh an turgnaimh, is deacair iad seo a bhrath go glan; ba cheart do léitheoirí leasmhara Bond et al. (2012) le haghaidh plé níos críochnúla. Rinne Jones agus comhghleacaithe (2017) triail chomhchosúil i rith toghcháin 2012 freisin. Tá na turgnaimh seo mar chuid de thraidisiún fada turgnaimh san eolaíocht pholaitiúil maidir le hiarrachtaí chun vótáil a spreagadh (Green and Gerber 2015) . Is coitianta iad na turgnaimh a théann amach as an vótáil, go páirteach toisc go bhfuil siad i gCeadrán Pasteur. Is é sin, tá go leor daoine atá spreagtha chun vótáil a mhéadú agus is féidir le vótáil iompar suimiúil chun teoiricí níos ginearálta a thástáil maidir le hathrú iompair agus tionchar sóisialta.

Le haghaidh comhairle faoi thurgnaimh Loewen, Rubenson, and Wantchekon (2010) reáchtáil le heagraíochtaí comhpháirtíochta ar nós páirtithe polaitiúla, eagraíochtaí neamhrialtasacha agus gnóthaí, féach Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , agus Gueron (2002) . Maidir le smaointe faoi conas is féidir le comhpháirtíochtaí le heagraíochtaí tionchar a imirt ar dhearaí taighde, féach King et al. (2007) agus Green, Calfano, and Aronow (2014) . Is féidir ceisteanna eiticeacha a bheith mar thoradh ar chomhpháirtíocht freisin, mar a phléigh Humphreys (2015) agus Nickerson and Hyde (2016) .

• Comhairle dearaidh (roinn 4.6)

Má tá tú ag déanamh plean anailíse sula ndéanann tú do thurgnamh a reáchtáil, molaim duit tosú trí threoirlínte tuairiscithe a léamh. Forbraíodh treoirlínte CONSORT (Trialacha Tuairiscithe Caighdeánaithe Comhdhlúite) i míochaine (Schulz et al. 2010) agus a mhodhnú le haghaidh taighde sóisialta (Mayo-Wilson et al. 2013) . Forbraíodh sraith treoirlínte gaolmhar ag eagarthóirí Journal of Experimental Political Science (Gerber et al. 2014) (féach freisin Mutz and Pemantle (2015) agus Gerber et al. (2015) ). Ar deireadh, forbraíodh treoirlínte tuairiscithe i síceolaíocht (APA Working Group 2008) , agus féach Simmons, Nelson, and Simonsohn (2011) .

Má chruthaíonn tú plean anailíse, ba cheart duit a mheas roimh é a chlárú mar go gcuirfidh réamhchlárú leis an muinín atá ag daoine eile i do thorthaí. Ina theannta sin, má tá tú ag obair le comhpháirtí, cuirfidh sé teorainn ar chumas do pháirtí an anailís a athrú tar éis na torthaí a fheiceáil. Tá réamhchlárú ag éirí níos coitianta i síceolaíocht (Nosek and Lakens 2014) , eolaíocht pholaitiúil (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , agus eacnamaíocht (Olken 2015) .

Cuirtear comhairle deartha go sonrach le haghaidh turgnaimh ar líne i Konstan and Chen (2007) agus Chen and Konstan (2015) .

Is minic a dtugtar taighde cláir ar a dtugtar ar an straitéis armada; féach Wilson, Aronson, and Carlsmith (2010) .

• Cruthaigh sonraí costais athraitheach náid (roinn 4.6.1)

Chun tuilleadh eolais a fháil ar thurgnaimh MusicLab, féach Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , agus Salganik (2007) . Chun tuilleadh eolais a fháil ar mhargaí buaiteoirí, féach Frank and Cook (1996) . Chun tuilleadh eolais a fháil maidir le hábhair agus dea-cháilíocht a dhéanamh níos ginearálta, féach Mauboussin (2012) , Watts (2012) , agus Frank (2016) .

Tá cur chuige eile ann chun deireadh a chur leis na híocaíochtaí rannpháirtithe ba cheart do thaighdeoirí a úsáid le rabhadh: coimisiúnú. I go leor turgnaimh réimse ar líne déantar rannpháirtithe dréachtaithe go bunúsach i dturgnaimh agus ní dhéantar cúiteamh orthu riamh. I measc samplaí den chur chuige seo tá turgnamh Restivo agus van de Rijt (2012) ar luach saothair i dturgnamh Vicipéid agus Banna agus comhghleacaí (2012) ar dhaoine a spreagadh chun vóta a chaitheamh. Níl costais athraitheach ar bith ag na turgnaimh seo, ach níl aon chostas athraitheach acu le taighdeoirí . I dturgnaimh den sórt sin, fiú má tá an costas do gach rannpháirtí thar a bheith beag, is féidir an costas comhiomlán a bheith go leor mór. Is minic a thugann taighdeoirí i mbun turgnaimh ollmhór ar líne an tábhacht a bhaineann le héifeachtaí beaga cóireála measta trína rá gur féidir na héifeachtaí beaga seo a bheith tábhachtach nuair a chuirtear i bhfeidhm ar go leor daoine. Baineann an smaoineamh céanna leis na costais a chuireann taighdeoirí ar rannpháirtithe. Má thugann do turgnamh aon mhilliún duine dramhaíl ar aon nóiméad amháin, níl an turgnamh an-díobhálach d'aon duine ar leith, ach go hiomlán tá sé ag teastáil beagnach dhá bhliain ama.

Is é an cur chuige eile maidir le híocaíocht chostais neamhróg athraitheach a chruthú do rannpháirtithe ná crannchur a úsáid, cur chuige a úsáideadh freisin i dtaighde suirbhé (Halpern et al. 2011) . Chun tuilleadh eolais a fháil faoi thaithí taitneamhach úsáideora, féach Toomim et al. (2011) . Chun tuilleadh eolais a fháil faoi bhotáin a úsáid chun turgnaimh chostais náid athraitheach a chruthú féach ( ??? ) .

• In ionad, Athraigh agus Laghdú (roinn 4.6.2)

Is iad seo a leanas na trí cinn atá molta ag Russell and Burch (1959) ar dtús:

ciallaíonn "Replacement a chur in ionad ainmhithe beo comhfhiosach airde d'ábhar insentient. Ciallaíonn Laghdú laghdú ar líon na n-ainmhithe a úsáidtear chun eolas ar méid áirithe agus le cruinneas a fháil. Ciallaíonn refinement aon laghdú ar an minicíocht nó ar dhéine na nósanna imeachta mídhaonna i bhfeidhm ar na hainmhithe sin a bhfuil fós a bheidh le húsáid. "

Ní dhéanann na tríú R a mholtar ná na prionsabail eiticiúla a thuairiscítear i gcaibidil 6. a mhaolú. Ina ionad sin, is leagan níos forleithne iad ceann de na prionsabail-tairbhe sin-go sonrach i dtreo turgnaimh dhaonna.

I dtéarmaí an chéad R ("athsholáthar"), cuireann an t-turgnamh mothúchánach (Kramer, Guillory, and Hancock 2014) agus an turgnamh nádúrtha imbhuailtí mothúchánach (Lorenzo Coviello et al. 2014) cuireann sé roinnt ceachtanna ginearálta faoi na díchumanna atá i gceist ag gluaiseacht ó thurgnaimh chuig turgnaimh nádúrtha (agus cur chuige eile cosúil le meaitseáil a dhéanann iarracht turgnaimh a dhéanamh i sonraí neamhthuirgiúla, féach caibidil 2). De bhreis ar na sochair eiticiúla, cuireann aistriú ó thurgnamhach chuig staidéir neamhthuirgiúla ar chumas taighdeoirí cóir leighis a staidéar nach féidir leo a úsáid go loighciúil. Tá costas áfach ag na sochair eitice agus lóistíochta seo. Le taighdeoirí nádúrtha ní bhíonn níos lú smacht ag taighdeoirí ar rudaí cosúil le earcaíocht rannpháirtithe, randamach, agus nádúr an chóireála. Mar shampla, is é teorainn amháin de bháisteach mar chóireáil ná go n-éireoidh sé an bheartacht agus laghdaíonn sé an droch-íogair. Sa staidéar turgnamhach, áfach, bhí Kramer agus comhghleacaithe in ann seasamh agus neamhghníomhaíocht a choigeartú go neamhspleách. An cur chuige ar leith a úsáideann Lorenzo Coviello et al. (2014) ag L. Coviello, Fowler, and Franceschetti (2014) . Chun tabhairt isteach d'athróga ionstraimí, is é an cur chuige a úsáideann Lorenzo Coviello et al. (2014) , féach Angrist and Pischke (2009) (níos foirmiúla) nó Angrist, Imbens, and Rubin (1996) (níos foirmiúla). Le haghaidh measúnú skeptical ar athróga ionstraimí, féach Deaton (2010) , agus chun réamhrága ionstraimí a thabhairt isteach le hionstraimí laga (is uirlis lag é báisteach), féach Murray (2006) . Go ginearálta, tugann Dunning (2012) réamhrá maith do thurgnaimh nádúrtha, agus tugann Rosenbaum (2002) , ( ??? ) , agus Shadish, Cook, and Campbell (2001) smaointe maithe maidir le héifeachtaí cúiseacha a mheas gan turgnaimh.

I dtéarmaí an dara R ("meastachán"), tá trádálaí eolaíocha agus lóistíochta i gceist nuair atáthar ag smaoineamh ar athrú dearadh Mothúchán Mothúchánach ó phoist a bhacadh chun poist a threisiú. Mar shampla, b'fhéidir gurb é atá i gceist le cur i bhfeidhm theicniúil an News Feed go bhfuil sé níos éasca ná turgnamh a dhéanamh ina ndéantar bac ar phoist seachas ceann amháin ina n-ardófar iad (tabhair faoi deara gur féidir turgnamh a bhaineann le blocáil poist a chur chun feidhme mar shraith ar bharr an chórais News Feed gan aon athruithe ar an gcóras bunúsach). Go heolaíoch, áfach, níor léirigh an teoiric a thug an turgnamh a thug an t-turgnamh go soiléir go ndearnadh dearadh amháin ar an taobh eile. Ar an drochuair, níl a fhios agam faoi thaighde suntasach roimh ré maidir leis na tuillteanais choibhneasta a bhaineann le bac a chur le hábhar sa Nuacht Feed. Chomh maith leis sin, ní fhaca mé go leor taighde faoi chóireálacha scagtha chun iad a dhéanamh níos lú díobhálach; Is é B. Jones and Feamster (2015) eisceacht amháin, a mheasann an cás a thomhas ar chinsireacht Idirlín (ábhar a phléim i gcaibidil 6 i ndáil leis an staidéar Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

I dtéarmaí an tríú R ("laghdú"), tugann Cohen (1988) (leabhar) agus Cohen (1992) (airteagal) dea-thorthaí don anailís chumhachta traidisiúnta, agus tá dearcadh beagán difriúil ag Gelman and Carlin (2014) . Is féidir covariates réamhchóireála a chur san áireamh i gcéim dheartha agus anailíse na dturgnaimh; Tugann caibidil 4 de Gerber and Green (2012) réamhrá maith don dá chur chuige, agus soláthraíonn Casella (2008) cóireáil níos doimhne. De ghnáth déantar teicnící a úsáideann an t-eolas réamhchóireála seo sa randamú, dearthaí turgnamhacha nó dearaí turgnamhacha srathaithe (ní úsáidtear an téarmaíocht go comhsheasmhach ar fud na bpobal); tá dlúthbhaint ag na teicnící seo leis na teicnící samplála srathaithe a pléadh i gcaibidil 3. Féach Higgins, Sävje, and Sekhon (2016) le haghaidh níos mó maidir leis na dearaí seo a úsáid i dturgnaimh ollmhór. Is féidir covariates réamhchóireála a chur san áireamh sa chéim anailíse freisin. McKenzie (2012) iniúchadh ar an gcur chuige difríochta i difríochtaí chun anailís a dhéanamh ar thurgnaimh réimse níos mionsonraithe. Féach Carneiro, Lee, and Wilhelm (2016) le haghaidh níos mó ar na dícheadanna idir cur chuige éagsúla chun cruinneas a mhéadú i meastacháin ar éifeachtaí cóireála. Mar fhocal scoir, nuair a chinneann tú iarracht a dhéanamh covariates réamhchóireála a chur san áireamh sa chéim dearaidh nó anailíse (nó iad araon), tá roinnt fachtóirí ann le breithniú a dhéanamh orthu. I suíomh inar mian le taighdeoirí a thaispeáint nach "iascaireacht" iad (Humphreys, Sierra, and Windt 2013) , is féidir cuidiú le covariates réamhchóireála sa chéim dhearaidh a bheith cabhrach (Higgins, Sävje, and Sekhon 2016) . I gcásanna ina dtarlaíonn rannpháirtithe go seicheamhach, go háirithe go bhfuil sé deacair go logistiúil úsáid a bhaint as turgnaimh réimse ar líne, ag baint úsáide as eolas réamhchóireála sa chéim dhearaidh; féach, mar shampla, Xie and Aurisset (2016) .

Is fiú a chur le beagán intuition faoi cén fáth gur féidir le cur chuige difríocht-i-difríochtaí a bheith i bhfad níos éifeachtaí ná difríocht-i-ceann amháin. Tá éagsúlacht an-ard ag go leor torthaí ar líne (féach eg, RA Lewis and Rao (2015) agus Lamb et al. (2015) ) agus tá siad sách seasmhach le himeacht ama. Sa chás seo, beidh éagsúlacht níos lú ar an scór athraithe, ag méadú cumhacht na tástála staidrimh. Ar chúis amháin nach n-úsáidtear an cur chuige seo níos minice ná sin roimh an aois dhigiteach, ní raibh sé coitianta go mbeadh torthaí réamhchóireála ann. Is bealach níos coincréite smaoineamh ar seo ná turgnamh a shamhlú chun a thomhas an bhfuil gnáthamh cleachtadh sonrach ina chúis le meáchain caillteanas. Má ghlacann tú le cur chuige difríochta-i-acmhainn, beidh éagsúlacht ag do mheastachán a eascraíonn as an éagsúlacht i meáchain sa daonra. Má dhéanann tú cur chuige difríocht-i-difríochtaí, áfach, go ndéantar éagsúlacht a tharlaíonn go nádúrtha i meáchain a bhaint, agus is féidir leat difríocht níos fearr a aimsiú mar thoradh ar an gcóireáil.

Mar fhocal scoir, mheas mé an ceathrú R a chur leis: "repurpose". Is é sin, má fhaigheann taighdeoirí sonraí níos mó turgnamhacha ná mar a theastaíonn uathu aghaidh a thabhairt ar a gceist taighde bunaidh, ba cheart dóibh na sonraí a athdhíolú chun ceisteanna nua a iarraidh. Mar shampla, a shamhlú gur bhain Kramer agus comhghleacaithe meastóir difríochtaí i difríochtaí agus go bhfuair siad sonraí níos mó ná mar a theastaíonn uathu chun aghaidh a thabhairt ar a gceist taighde. Seachas nach mbainfí úsáid as na sonraí ar a mhéid is féidir, d'fhéadfadh siad méid na héifeachta a staidéar mar fheidhm a bhaineann le léiriú mhothúchánach réamhchóireála. Díreach mar Schultz et al. (2007) go raibh éifeacht na cóireála difriúil d'úsáideoirí éadroma agus tromchúiseacha, b'fhéidir go raibh éifeachtaí na Feed Feed difriúil do dhaoine a bhí i dteagmháil le teachtaireachtaí a bhí sásta (nó brónach) cheana féin. D'fhéadfadh "iascaireacht" (Humphreys, Sierra, and Windt 2013) "pianáil" (Simmons, Nelson, and Simonsohn 2011) , ach is minic a bhaineann siad seo le meascán de thuairisciú macánta (Simmons, Nelson, and Simonsohn 2011) , réamhchlárú (Humphreys, Sierra, and Windt 2013) , agus modhanna foghlama meaisín a dhéanann iarracht ró-fheistiú a sheachaint.