tuilleadh tráchtaireacht

Cuireadh aistriúchán seo cruthaithe ag ríomhaire. ×

You are reading the Open Review Edition of Bit by Bit. Click here to read the 1st Edition.

tuilleadh tráchtaireacht

Tá an chuid seo deartha chun a úsáid mar thagairt, seachas a léamh mar scéal.

Réamhrá (Alt 4.1)

Tá Ceisteanna faoi cúisíochta i dtaighde sóisialta casta agus intricate go minic. Do chur chuige foundational le cúisíochta bunaithe ar graif cúiseach a lua, féach Pearl (2009) , agus le cur chuige foundational atá bunaithe ar thorthaí féideartha, féach Imbens and Rubin (2015) (agus an aguisín theicniúil sa chaibidil seo). I gcás comparáid idir an dá chur chuige, féach Morgan and Winship (2014) . Mar cur chuige foirmiúil a shainmhíniú confounder, féach VanderWeele and Shpitser (2013) .

Sa chaibidil, chruthaigh mé cén chuma cosúil le líne geal idir ár gcumas a dhéanamh meastacháin cúisíoch ó shonraí turgnamhacha agus neamh-turgnamh. I ndáiríre, is dóigh liom go bhfuil an t-idirdhealú blurrier. Mar shampla, glacann gach duine go n-eascraíonn caitheamh tobac ailse cé nach bhfuil déanta againn turgnamh rialaithe randamach go fórsaí daoine ag caitheamh tobac. Maidir le cóireálacha fhad leabhar den scoth ar dhéanamh mheastacháin chúise ó shonraí neamh-turgnamhacha féach Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , agus Dunning (2012) .

Caibidlí 1 agus 2 de Freedman, Pisani, and Purves (2007) a thairiscint a thabhairt isteach soiléir isteach na difríochtaí idir turgnaimh, turgnaimh rialaithe, agus randomized turgnaimh rialaithe.

Manzi (2012) Soláthraíonn réamhrá suimiúil agus inléite isteach an underpinnings fealsúnacha agus staidrimh turgnamh rialaithe randamach. Soláthraíonn sé freisin samplaí fíor-domhan suimiúil ar an chumhacht de turgnamh i gcúrsaí gnó.

Cad iad turgnaimh? (Roinn 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) aithne maith a chur ar fáil do na gnéithe staidrimh de dhearadh turgnamhach agus anailís. Thairis sin, tá cóireálacha den scoth ar úsáid na turgnaimh i go leor réimsí éagsúla: eacnamaíocht (Bardsley et al. 2009) , Socheolaíocht (Willer and Walker 2007; Jackson and Cox 2013) , síceolaíocht (Aronson et al. 1989) , Eolaíocht pholaitiúil (Morton and Williams 2010) , agus beartas sóisialta (Glennerster and Takavarasha 2013) .

Is é an tábhacht a bhaineann le hearcaíocht rannpháirtí (m.sh., sampláil) go minic faoi-bhuíoch i dtaighde turgnamhach. Mar sin féin, má tá an éifeacht na cóireála ilchineálach sa daonra, ansin tá sampláil criticiúil. Longford (1999) a dhéanann an bpointe seo go soiléir nuair a molann sé do thaighdeoirí ag smaoineamh ar turgnaimh mar shuirbhé daonra le sampláil haphazard.

Dhá ghné de na turgnaimh: saotharlainne-allamuigh agus aschur-digiteach (Alt 4.3)

Is é an dichotomy go chuir mé idir saotharlann agus turgnaimh le beagán simplithe. Go deimhin, tá taighdeoirí eile atá beartaithe tíopeolaíocht níos mionsonraithe, go háirithe tionscadail go leith na gcineálacha éagsúla turgnaimh réimse (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Thairis sin, tá dhá chineál eile de turgnaimh a rinne eolaithe sóisialta nach bhfuil oiriúnach go néata isteach sa saotharlann agus réimse dichotomy:. Turgnaimh suirbhé agus tástálacha sóisialta turgnaimh Suirbhé iad turgnaimh ag baint úsáide as an mbonneagar suirbhéanna reatha agus freagraí leaganacha eile an comparáid ceisteanna céanna (roinnt turgnaimh tsuirbhé i láthair i gCaibidil 3); le haghaidh níos mó ar thurgnaimh suirbhé féach Mutz (2011) . Tá turgnaimh sóisialta turgnaimh ina bhfuil an chóireáil éigin beartas sóisialta is féidir a chur i bhfeidhm ach amháin ag an rialtas. tástálacha sóisialta a bhaineann go dlúth measúnú le clár. Chun níos mó ar thurgnaimh beartais, féach Orr (1998) , Glennerster and Takavarasha (2013) , agus Heckman and Smith (1995) .

Roinnt páipéar a bheith i gcomparáid saotharlainne agus turgnaimh sa teibí (Falk and Heckman 2009; Cialdini 2009) agus i dtéarmaí torthaí turgnamh ar leith san eolaíocht pholaitiúil (Coppock and Green 2015) , eacnamaíocht (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) agus síceolaíocht (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) Tairgeann dearadh taighde deas le haghaidh na dtorthaí ó saotharlainne agus turgnaimh a chur i gcomparáid.

Imní faoi rannpháirtithe a athrú a n-iompar mar a fhios acu go bhfuil siad á gcomhlíonadh go dlúth a dtugtar uaireanta éifeachtaí éileamh, agus bhí siad staidéar déanta i síceolaíocht (Orne 1962) agus eacnamaíocht (Zizzo 2009) . Cé is mó a bhaineann leis an turgnaimh saotharlainne, is féidir leis na ceisteanna céanna a chur faoi deara fadhbanna le haghaidh turgnamh réimse chomh maith. Go deimhin, tá éifeachtaí an éileamh freisin ar a dtugtar uaireanta éifeachtaí Hawthorne, téarma a eascraíonn as turgnamh réimse, go háirithe na turgnaimh soilsiú cáiliúil a thosaigh i 1924 ag an Oibreacha Hawthorne an Iarthair Electric Company (Adair 1984; Levitt and List 2011) . An dá héifeachtaí éileamh agus na héifeachtaí Hawthorn a bhaineann go dlúth leis an smaoineamh tomhais imoibríoch a pléadh i gCaibidil 2 (féach freisin Webb et al. (1966) ).

Tá Stair na turgnaimh réimse cuireadh síos air san eacnamaíocht (Levitt and List 2009) , eolaíocht pholaitiúil (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , síceolaíocht (Shadish 2002) , agus beartas poiblí (Shadish and Cook 2009) . Réimse amháin de eolaíocht shóisialta áit a raibh turgnaimh réimse tapa feiceálach forbartha idirnáisiúnta. I gcás athbhreithniú dearfach ar an obair sin sna ranganna eacnamaíocht féach Banerjee and Duflo (2009) , agus le measúnú criticiúil a fheiceáil Deaton (2010) . Ar athbhreithniú ar an obair seo san eolaíocht pholaitiúil a fheiceáil Humphreys and Weinstein (2009) . Ar deireadh, tá na dúshláin eiticiúla a bhfuil baint le turgnaimh réimse curtha iniúchadh san eolaíocht pholaitiúil (Humphreys 2015; Desposato 2016b) agus eacnamaíocht forbartha (Baele 2013) .

Sa chaibidil, mhol mé gur féidir faisnéis réamhchóireála a úsáid chun feabhas a chur ar an cruinneas na n-éifeachtaí cóireála measta, ach tá roinnt díospóireacht faoin gcur chuige seo: Freedman (2008) , Lin (2013) , agus Berk et al. (2013) ; féach Bloniarz et al. (2016) le haghaidh tuilleadh eolais.

Ag bogadh níos faide ná turgnaimh shimplí (Alt 4.4)

Tá mé a roghnaíodh chun díriú ar thrí choincheapa: bailíocht, ilchineálacht na n-éifeachtaí cóireála, agus meicníochtaí. Tá na coincheapa ainmneacha éagsúla i réimsí éagsúla. Mar shampla, claonadh a bhíonn síceolaithe dul thar turgnaimh shimplí trí dhíriú ar idirghabhálaithe agus moderators (Baron and Kenny 1986) . Tá smaoineamh idirghabhálaithe gabhadh ag an méid a meicníochtaí Iarraim, agus tá an smaoineamh moderators gabhadh ag an méid a ghlaoch mé bailíocht sheachtrach (m.sh., níorbh fhéidir torthaí an turgnaimh a bheith difriúil má bhí sé ar siúl i staideanna éagsúla) agus ilchineálacht na n-éifeachtaí cóireála ( m.sh. is iad na héifeachtaí níos mó do roinnt daoine ná daoine eile).

An turgnamh de Schultz et al. (2007) léiríonn conas teoiricí sóisialta a úsáid chun idirghabhálacha éifeachtacha a dhearadh. Le haghaidh argóint níos ginearálta faoi ról an teoiric i ndearadh idirghabhálacha éifeachtacha, féach Walton (2014) .

Bailíocht (Alt 4.4.1)

Na coincheapa na bailíochta inmheánacha agus seachtracha tugadh isteach den chéad uair i Campbell (1957) . Féach Shadish, Cook, and Campbell (2001) le haghaidh stair níos mionsonraithe agus a mhionsaothrú cúramach bailíochta i gcrích staidrimh, bailíocht inmheánach, bailíocht, agus bailíocht sheachtrach a thógáil.

I gcás forbhreathnú ar cheisteanna maidir le bailíocht i gcrích staitistiúil i dturgnaimh a fheiceáil Gerber and Green (2012) (le haghaidh dearcadh eolaíochta sóisialta) agus Imbens and Rubin (2015) (le haghaidh dearcadh staitistiúil). I measc roinnt ceisteanna bailíochta chonclúid staidrimh a thagann chun cinn go sonrach i dturgnaimh réimse ar líne ceisteanna ar nós modhanna computationally éifeachtach a chruthú le haghaidh eatraimh muinín le sonraí cleithiúnacha (Bakshy and Eckles 2013) .

Is féidir bailíocht inmheánach dheacair é a áirithiú i dturgnaimh réimse casta. Féach, mar shampla, Gerber and Green (2000) , Imai (2005) , agus Gerber and Green (2005) le díospóireacht faoi chur chun feidhme turgnamh réimse casta faoi vótáil. Kohavi et al. (2012) agus Kohavi et al. (2013) a chur ar fáil ar thabhairt isteach na dúshláin a bhaineann le bailíocht eatramh i dturgnaimh réimse ar líne.

Is é ceann imní mhór a bhfuil bailíocht inmheánach fadhbanna le randomization. Is bealach amháin a bhrath d'fhéadfadh fadhbanna leis an randomization a chur i gcomparáid leis na grúpaí cóireála agus rialú ar tréithe inbhraite. Tá an cineál comparáide a dtugtar seiceáil cothromaíocht. Féach Hansen and Bowers (2008) le cur chuige staidrimh seiceálacha chothromú, agus féach Mutz and Pemantle (2015) do imní faoi seiceálacha comhardú. Mar shampla, ag baint úsáide as cothromaíocht seiceáil Allcott (2011) fuarthas amach go bhfuil roinnt fianaise ann nach raibh an randomization feidhme i gceart i dtrí cinn de na turgnaimh i gcuid de na turgnaimh OPower ann (féach Tábla 2 = láithreacha 2, 6, agus 8). Maidir le cur chuige eile, féach Imbens and Rubin (2015) , Caibidil 21.

Tá imní móra eile a bhaineann le bailíocht inmheánach: 1) aon-Thaobh neamhchomhlíonadh, áit a fuair nach bhfuil gach duine sa ghrúpa cóireála iarbhír an chóireáil, 2) dhá Thaobh neamhchomhlíonadh, i gcás go bhfaighidh gach duine sa ghrúpa cóireála chóireáil agus roinnt Faigheann daoine sa ghrúpa rialú an chóireáil, 3) tnáite, i gcás nach bhfuil na torthaí a thomhas le haghaidh roinnt rannpháirtithe, agus 4) trasnaíocht, i gcás ina doirteadh an chóireáil ar aghaidh ó dhaoine sa riocht cóireáil do dhaoine sa riocht a rialú. Féach Gerber and Green (2012) Caibidlí 5, 6, 7, agus 8 le haghaidh níos mó ar gach ceann de na saincheisteanna seo.

Chun níos mó ar bhailíocht thógáil, féach Westen and Rosenthal (2003) , agus le haghaidh níos mó ar bhailíocht thógáil i bhfoinsí sonraí mór, Lazer (2015) agus i gCaibidil 2 den leabhar seo.

Gné amháin bailíochta seachtrach an tsuímh ina bhfuil hidirghabháil thástáil. Allcott (2015) Soláthraíonn cóireáil cúramach teoiriciúil agus eimpíreach an comhalta sin claonta roghnú suímh. Tá an cheist seo a phlé chomh maith i Deaton (2010) . Chomh maith le bheith mhacasamhlú i láithreáin go leor, tá an idirghabháil Tuairisc Fuinnimh Baile staidéar déanta go neamhspleách freisin ag grúpaí taighde il (m.sh., Ayres, Raseman, and Shih (2013) ).

Ilchineálacht na n-éifeachtaí cóireála (Alt 4.4.2)

Chun léargas iontach ar ilchineálacht na n-éifeachtaí cóireála i dturgnaimh réimse, féach Caibidil 12 de Gerber and Green (2012) . Maidir le cur i láthair do ilchineálacht na n-éifeachtaí cóireála i dtrialacha leighis, féach Kent and Hayward (2007) , Longford (1999) , agus Kravitz, Duan, and Braslow (2004) . Ilchineálacht na n-éifeachtaí cóireála díriú go ginearálta ar dhifríochtaí bunaithe ar thréithe réamhchóireála. Má tá suim agat i ilchineálacht atá bunaithe ar thorthaí iar-chóireáil tú, ansin tá approachs níos casta de dhíth ar nós phríomh srathú (Frangakis and Rubin 2002) ; féach Page et al. (2015) ar athbhreithniú.

Meastachán a lán taighdeoirí an ilchineálacht na n-éifeachtaí cóireála ag baint úsáide as aischéimnithí líneach, ach tá modhanna níos nuaí ag brath ar fhoghlaim meaisín, mar shampla Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , agus Athey and Imbens (2016a) .

Tá roinnt amhras faoi thorthaí ilchineálacht éifeachtaí mar gheall ar fhadhbanna comparáide iolrach agus "iascaireachta." Tá éagsúlacht de chur chuige staidrimh féidir cabhrú imní seoladh faoi comparáid il (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Cur chuige amháin imní faoi "iascaireacht" réamhchlárúcháin, atá ag éirí níos coitianta i síceolaíocht (Nosek and Lakens 2014) , eolaíocht pholaitiúil (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , agus eacnamaíocht (Olken 2015) .

Sa staidéar ar Costa and Kahn (2013) ní raibh ach thart ar leath de na teaghlaigh sa turgnamh in ann a bheith nasctha leis an eolas déimeagrafach. Ba cheart do léitheoirí a bhfuil suim acu sna sonraí agus fadhbanna is féidir le anailís seo a tharchur chuig an bpáipéar bunaidh.

Meicníochtaí (Alt 4.4.3)

meicníochtaí thar a bheith tábhachtach, ach téann siad amach a bheith an-deacair chun staidéar a dhéanamh. Taighde faoi meicníochtaí a bhaineann go dlúth leis an staidéar na n-idirghabhálaithe i síceolaíocht (ach féach freisin VanderWeele (2009) le haghaidh comparáid beacht idir an dá tuairimí). Chuige staidrimh meicníochtaí aimsiú, mar shampla an cur chuige a forbraíodh i Baron and Kenny (1986) , atá coitianta go leor. Ar an drochuair, tharlaíonn sé go raibh bhraitheann na nósanna imeachta maidir le roinnt toimhdí láidre (Bullock, Green, and Ha 2010) agus ag fulaingt nuair a tá meicníochtaí il, mar aon ní amháin a d'fhéadfadh a bheith ag súil i gcásanna go leor (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) agus Imai and Yamamoto (2013) ar fáil ar roinnt modhanna staidrimh feabhsaithe. Thairis sin, VanderWeele (2015) Tairgeann chóireáil leabhar-fhad le roinnt torthaí tábhachtacha, lena n-áirítear cur chuige cuimsitheach anailís íogaireachta.

Díríonn cur chuige ar leith ar thurgnaimh a iarracht a ionramháil an mheicníocht go díreach (m.sh., ag tabhairt mairnéalach vitimín C). Ar an drochuair, i gcuid mhaith suíomh eolaíochta sóisialta tá go minic meicníochtaí éagsúla agus tá sé deacair a chóireáil a athraíonn ceann gan athrú na daoine eile a dhearadh. Roinnt cur chuige i leith turgnamhach Déantar cur síos meicníochtaí athrú i Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , agus Pirlott and MacKinnon (2016) .

Ar deireadh, ní mór meicníochtaí chomh maith le stair fhada sa fhealsúnacht na heolaíochta mar atá sonraithe ag Hedström and Ylikoski (2010) .

Ag baint úsáide as timpeallachtaí atá ann cheana (Alt 4.5.1.1)

Chun níos mó ar úsáid na staidéir comhfhreagrais agus staidéir iniúchta idirdhealú a thomhas fheiceáil Pager (2007) .

Tóg do thurgnamh féin (Alt 4.5.1.2)

Is é an bealach is coitianta do rannpháirtithe a earcú turgnaimh a thógáil leat Amazon Mheicniúil Toirc (MTurk). Toisc mimics MTurk gnéithe de saotharlainne turgnaimh-íoc le daoine traidisiúnta chun tascanna nach mbeadh siad a dhéanamh do thaighdeoirí in aisce-leor i gcrích tá tús curtha cheana féin a úsáid Turkers (na hoibrithe ar MTurk) mar rannpháirtithe in ábhair daonna turgnaimh mar thoradh tapúla agus bailiú sonraí níos saoire ná traidisiúnta turgnaimh saotharlainne ar an gcampas (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Is iad an neart is mó de turgnaimh le rannpháirtithe a earcaíodh ó MTurk lóistíochta: cheadaíonn siad do thaighdeoirí rannpháirtithe a earcú go tapa agus mar is gá. De bharr an méid is féidir turgnaimh saotharlainne seachtainí a reáchtáil agus is féidir turgnaimh réimse mí ghlacadh a chur ar bun, is féidir turgnaimh le rannpháirtithe a earcaíodh ó MTurk a reáchtáil i laethanta. Mar shampla, Berinsky, Huber, and Lenz (2012) bhí siad in ann 400 ábhar a earcú i lá amháin a bheith rannpháirteach i dturgnamh 8 nóiméad. Thairis sin, is féidir leis na rannpháirtithe a earcú do na críche sin beagnach aon (lena n-áirítear suirbhéanna agus comhoibriú mais, mar a pléadh i gCaibidlí 3 agus 5). Ciallaíonn sé seo éasca le hearcaíocht gur féidir le taighdeoirí sraitheanna turgnaimh a bhaineann reáchtáil i ndiaidh a tapa.

Sula rannpháirtithe earcú ó MTurk do do thurgnaimh féin, tá ceithre rudaí tábhachtacha a fhios. Gcéad dul síos, ní mór go leor taighdeoirí a amhras nach sonracha turgnaimh a bhaineann Turkers. Toisc nach bhfuil sé seo amhras ar leith, tá sé deacair chun dul i ngleic le fianaise. Mar sin féin, tar éis roinnt blianta de staidéar ag baint úsáide Turkers, is féidir linn a thabhairt i gcrích anois nach bhfuil an amhras go háirithe riachtanach. Go raibh go leor staidéir i gcomparáid leis an déimeagrafaic na Turkers le daonraí eile agus tá go leor staidéir torthaí turgnamh i gcomparáid le Turkers leis na torthaí ó dhaonraí eile. Mar gheall ar an obair seo go léir, is dóigh liom go bhfuil an bealach is fearr chun tú a smaoineamh air go bhfuil Turkers sampla áise réasúnta, i bhfad cosúil le mic léinn ach beagán níos éagsúla (Berinsky, Huber, and Lenz 2012) . Dá bhrí sin, díreach mar go bhfuil mic léinn daonra réasúnta do roinnt, ach ní léir taighde turgnamhach, tá Turkers daonra réasúnta do roinnt, ach ní léir an taighde. Má tá tú ag dul a bheith ag obair le Turkers, ansin déanann sé ciall a léamh go leor de na staidéir chomparáideacha agus a n-nuances thuiscint.

Dara, tá taighdeoirí a fhorbairt is fearr-chleachtais chun cur bailíocht inmheánach turgnaimh Turk, agus ba chóir duit a fhoghlaim faoi agus lean na fearr-chleachtais (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Mar shampla, taighdeoirí ag baint úsáide Turkers spreagtar screeners úsáid a bhaint rannpháirtithe inattentive (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (ach féach freisin DJ Hauser and Schwarz (2015b) agus DJ Hauser and Schwarz (2015a) ). Mura bhfuil tú a bhaint rannpháirtithe inattentive, ansin is féidir aon éifeacht na cóireála a nite amach torann isteach ó rannpháirtithe inattentive, agus i gcleachtas is féidir líon na rannpháirtithe inattentive a bheith suntasach. Sa turgnamh an Huber agus comhghleacaithe (2012) theip ar thart ar 30% de na rannpháirtithe screeners aird bhunúsach. Is ea an fhadhb coitianta le Turkers rannpháirtithe neamh-naive (Chandler et al. 2015) .

Sa tríú háit, i gcomparáid le roinnt cineálacha eile turgnaimh digiteacha, turgnaimh MTurk ní féidir scála; Stewart et al. (2015) Measann go bhfuil ag aon am ar leith ach thart ar 7,000 duine ar MTurk.

Mar fhocal scoir, ba chóir a fhios go bhfuil MTurk pobal lena rialacha féin agus noirm (Mason and Suri 2012) . Ar an mbealach céanna go mbeadh tú iarracht a dhéanamh teacht amach faoi chultúr na tíre ina raibh tú ag dul a reáchtáil do thurgnaimh, ba chóir duit iarracht a fháil amach faoi chultúr agus noirm na Turkers (Salehi et al. 2015) . Agus, ba chóir duit a fhios go mbeidh an Turkers bheith ag caint faoi do thurgnamh má dhéanann tú rud éigin mí-oiriúnach nó mí-eiticiúil (Gray et al. 2016) .

Is MTurk bhealach incredibly áisiúil do rannpháirtithe a earcú le do thurgnaimh, cibé an bhfuil siad saotharlainne-mhaith, cosúil le Huber, Hill, and Lenz (2012) , nó níos réimse-mhaith, cosúil le Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , agus Mao et al. (2016) .

Tóg do tháirge féin (Alt 4.5.1.3)

Má tá tú ag smaoineamh ag iarraidh a chruthú do tháirge féin, molaim go léann tú an chomhairle ar fáil ag an ngrúpa MovieLens i Harper and Konstan (2015) . Is léargas tábhachtach óna dtaithí gur le haghaidh gach tionscadal rathúil, tá go leor, go leor teipeanna. Mar shampla, sheol an grúpa MovieLens táirgí eile amhail GopherAnswers a bhí teipeanna chomhlánú (Harper and Konstan 2015) . Sampla eile de taighdeoir ag teip le linn iarracht a thógáil a táirge iarracht Edward CASTRONOVA a thógáil cluiche ar líne ar a dtugtar Arden. In ainneoin $ 250,000 i maoiniú, bhí an tionscadal flop (Baker 2008) . Tionscadail cosúil GopherAnswers agus Arden drochuair i bhfad níos coitianta ná thionscadail cosúil MovieLens. Ar deireadh, nuair a dúirt mé nach raibh a fhios agam ar aon taighdeoirí eile a bhí tógtha go rathúil táirgí le haghaidh turgnamh arís agus arís eile anseo mo chritéir: 1) rannpháirtithe a bhaint as an táirge mar gheall ar cad a chuireann sé orthu (m.sh., ní íoctar iad agus nach bhfuil siad oibrithe deonacha ag cabhrú eolaíocht) agus 2) tá an táirge a úsáid le haghaidh turgnamh ar leith níos mó ná aon (is é sin, nach bhfuil an turgnamh céanna amanna éagsúla le linnte rannpháirtí difriúil). Má tá a fhios agat ar shamplaí eile, cuir in iúl dom.

Comhpháirtí leis an cumhachtach (Alt 4.5.2)

Chuala mé an smaoineamh Quadrant Pasteur phlé go minic ag cuideachtaí ardteicneolaíochta, agus cuidíonn sé iarrachtaí taighde a eagrú ag Google (Spector, Norvig, and Petrov 2012) .

Banna agus staidéar comhghleacaithe ' (2012) iarracht freisin a bhrath an éifeacht na cóireálacha ar cairde na ndaoine a fuair siad. Mar gheall ar an dearadh ar an turgnaimh, tá na iarmhairtí deacair a bhrath cleanly; Ba chóir do léitheoirí leasmhara a fheiceáil Bond et al. (2012) le haghaidh plé níos críochnúla. Tá an turgnamh mar chuid de thraidisiún fada turgnaimh san eolaíocht pholaitiúil ar iarrachtaí chun vótáil a spreagadh (Green and Gerber 2015) . Tá na turgnaimh a fháil-amach-an-vóta coitianta i bpáirt mar go bhfuil siad i Cheathrú Pasteur. Is é sin, tá go leor daoine atá spreagtha vótála agus a vótálfaidh a mhéadú féidir a bheith ina iompar suimiúil a thástáil teoiricí níos ginearálta i dtaobh athrú iompraíochta agus tionchar sóisialta.

Taighdeoirí eile curtha ar fáil comhairle maidir le reáchtáil turgnaimh réimse le heagraíochtaí comhpháirtíochta cosúil le páirtithe polaitiúla, eagraíochtaí neamhrialtasacha, agus gnólachtaí (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Tá daoine eile comhairle faoi conas is féidir le comhpháirtíochtaí le heagraíochtaí tionchar dearaí taighde ar fáil (Green, Calfano, and Aronow 2014; King et al. 2007) . Is féidir le Comhpháirtíocht thoradh ar chomh maith le ceisteanna eiticiúla (Humphreys 2015; Nickerson and Hyde 2016) .

Comhairle Dearadh (Roinn 4.6)

Má tá tú ag dul le plean anailíse roimh rith do thurgnamh a chruthú, le fios agam go dtosaíonn tú ag treoirlínte tuairiscithe léamh. Forbraíodh an consort (Chomhdhlúite Caighdeán Tuairiscithe Trialacha) treoirlínte i leigheas (Schulz et al. 2010) agus a mhodhnú do thaighde sóisialta (Mayo-Wilson et al. 2013) . Tá tacar gaolmhar treoirlínte forbartha ag an eagarthóirí an Journal of Thurgnamhach hEolaíochta Polaitiúla (Gerber et al. 2014) (féach freisin Mutz and Pemantle (2015) agus Gerber et al. (2015) ). Ar deireadh, tá na treoirlínte tuairiscithe a forbraíodh i síceolaíocht (Group 2008) , agus féach freisin Simmons, Nelson, and Simonsohn (2011) .

Má chruthaíonn tú plean anailíse ba cheart duit smaoineamh roimh chlárú air mar go mbeidh réamhchlárúcháin cur leis an muinín go bhfuil daoine eile i do chuid torthaí. Thairis sin, má tá tú ag obair le páirtí, beidh sé teorainn ar chumas do pháirtí a athrú ar an anailís tar éis féachaint ar na torthaí. Tá Réamh-chlárú éirí níos coitianta i síceolaíocht (Nosek and Lakens 2014) , eolaíocht pholaitiúil (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , agus eacnamaíocht (Olken 2015) .

Agus a chruthú do phlean réamh-anailís ba chóir duit a bheith ar an eolas go bhfuil roinnt taighdeoirí a úsáid freisin aischéimniú agus cur chuige a bhaineann le feabhas a chur ar an cruinneas an éifeacht a chóireáil mheasta, agus tá roinnt díospóireacht faoin gcur chuige seo: Freedman (2008) , Lin (2013) , agus Berk et al. (2013) ; féach Bloniarz et al. (2016) le haghaidh tuilleadh eolais.

Tá comhairle Dearadh sonrach le haghaidh turgnamh réimse ar líne i láthair i Konstan and Chen (2007) agus Chen and Konstan (2015) .

Cruthaigh náid sonraí costais athraitheach (Alt 4.6.1)

Le haghaidh níos mó ar na turgnaimh MusicLab, féach Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , agus Salganik (2007) . Chun níos mó ar buaiteoir-éirí go léir margaí, féach Frank and Cook (1996) . Chun níos mó ar ádh untangling agus scil níos ginearálta, féach Mauboussin (2012) , Watts (2012) , agus Frank (2016) .

Tá cur chuige eile chun deireadh a chur le híocaíochtaí rannpháirtí gur cheart do thaighdeoirí a úsáid le rabhadh: coinscríobh. I go leor turgnaimh réimse ar líne rannpháirtithe dréachtaithe go bunúsach i turgnaimh agus ní chúiteamh. I measc samplaí den chur chuige Restivo agus van de Rijt ar (2012) turgnamh ar luach saothair i Vicipéid agus Banna agus chomhghleacaí (2012) turgnamh ar dhaoine vótáil spreagadh. Ní chuireann na turgnaimh i ndáiríre náid costas athróg, tá siad náid costas athróg do thaighdeoirí. Cé go bhfuil an costas a lán de na turgnaimh an-bheag do gach rannpháirtí, a fhorchuirtear costais beag is féidir líon ollmhór na rannpháirtithe a chur suas go tapa. Taighdeoirí ag rith turgnaimh ar líne ollmhór údar go minic ar an tábhacht a bhaineann le héifeachtaí cóireála beag measta ag rá gur féidir na héifeachtaí beag bheith tábhachtach nuair a chuirtear ar go leor daoine. Tá feidhm ag an smaoineamh ceannann céanna le costais a lucht taighde a fhorchur ar rannpháirtithe. Má ghlactar le d'turgnaimh cúiseanna milliún duine le dramhaíl nóiméad amháin, nach bhfuil an turgnamh an-dochar a dhéanamh d'aon duine áirithe, ach san iomlán tá sé amú beagnach dhá bhliain d'am.

Tá cur chuige eile a chruthú náid íocaíocht costas athróg rannpháirtithe a úsáid crannchur, cur chuige atá in úsáid freisin i dtaighde suirbhé (Halpern et al. 2011) . Ar deireadh, ar feadh níos mó faoi dhearadh taitneamhach so-eispéiris fheiceáil Toomim et al. (2011) .

In ionad, Caolaigh, agus laghdú (Alt 4.6.2)

Seo iad na sainmhínithe bunaidh de na trí R, ó Russell and Burch (1959) :

ciallaíonn "Replacement a chur in ionad ainmhithe beo comhfhiosach airde d'ábhar insentient. Ciallaíonn Laghdú laghdú ar líon na n-ainmhithe a úsáidtear chun eolas ar méid áirithe agus le cruinneas a fháil. Ciallaíonn refinement aon laghdú ar an minicíocht nó ar dhéine na nósanna imeachta mídhaonna i bhfeidhm ar na hainmhithe sin a bhfuil fós a bheidh le húsáid. "

Na trí R go molfaidh mé ná shárú ar na prionsabail eiticiúla cur síos orthu i gCaibidil 6. Ina ionad sin, tá siad ar leagan níos dtarraingt suas ar cheann de na prionsabail sin-beneficence-sonrach le haghaidh a shocrú turgnaimh daonna.

Nuair Contagion mhothúchánach bhreithniú, tá trí cheisteanna nach eiticiúla a choinneáil i gcuimhne nuair a léirmhíniú an turgnamh seo. Gcéad dul síos, nach bhfuil sé soiléir conas na sonraí iarbhír na turgnaimh nascadh leis na héilimh teoiriciúil; i bhfocail eile, tá ceisteanna faoi bhailíocht thógáil. Níl sé soiléir go bhfuil an comhaireamh focal dearfacha agus diúltacha i ndáiríre táscaire maith ar an staid mhothúchánach na rannpháirtithe toisc 1) nach bhfuil sé soiléir go bhfuil na focail go bhfuil daoine phost táscaire maith ar a gcuid mothúchán agus 2) nach bhfuil sé soiléir go Is é an teicníc anailís sentiment leith a úsáidtear na taighdeoirí in ann tátal a bhaint astu go hiontaofa mothúcháin (Beasley and Mason 2015; Panger 2016) . I bhfocail eile, d'fhéadfadh go mbeadh beart droch comhartha claonta. Dara, insíonn an dearadh agus anailís ar an turgnamh dúinn rud ar bith faoi a bhí an chuid is mó tionchar (ie, níl aon anailís ilchineálacht éifeachtaí cóireála) agus cad a d'fhéadfadh an mheicníocht a bheith. Sa chás seo, bhí go leor eolais faoi na rannpháirtithe na taighdeoirí, ach caitheadh go bunúsach mar giuirléidí san anailís. Sa tríú háit, ba é an méid éifeacht turgnamh seo an-bheag; is é an difríocht idir na coinníollacha cóireála agus rialú thart ar 1 in 1,000 focal. I gcuid páipéar, Kramer agus comhghleacaithe a dhéanamh ar an cás go bhfuil éifeacht an mhéid tábhachtach mar rochtain céadta milliún duine a News Feed gach lá. I bhfocail eile, déanann siad an argóint go fiú éifeachtaí atá beag do gach duine go bhfuil siad mór san iomlán. Fiú amháin má bhí tú a glacadh leis an argóint seo, tá sé fós soiléir má tá éifeacht an mhéid thábhachtach maidir leis an cheist eolaíoch níos ginearálta faoi contagion mhothúchánach. Le haghaidh níos mó ar na cásanna ina bhfuil éifeachtaí beaga tábhachtacha féach Prentice and Miller (1992) .

Maidir leis an gcéad R (Replacement), i gcomparáid leis an mhothúchánach Contagion turgnamh (Kramer, Guillory, and Hancock 2014) agus an turgnamh nádúrtha contagion mhothúchánach (Coviello et al. 2014) Tairgeann roinnt ceachtanna ginearálta faoin trádáil-dícheangail a bhfuil baint le gluaiseacht ó turgnaimh turgnaimh nádúrtha (agus cur chuige eile ar nós mheaitseáil go iarracht chun turgnaimh i sonraí neamh-turgnamhacha thart, féach Caibidil 2). Chomh maith leis na buntáistí eiticiúla, athrú ó turgnamhach le staidéir neamh-turgnamhach freisin ar chumas taighdeoirí chun staidéar cóireálacha go bhfuil siad logistically ann a imscaradh. Tá na buntáistí eiticiúla agus lóistíochúla a thagann ar chostas, áfach. Le turgnaimh nádúrtha bhfuil taighdeoirí beag smacht ag rudaí cosúil earcú rannpháirtithe, randomization, agus cineál an chóireáil. Mar shampla, tá teorainn ar cheann de báistí mar chóireáil go méadaíonn sé an dá positivity agus laghduithe negativity. Sa staidéar turgnamhach, áfach, Kramer agus comhghleacaithe bhí siad in ann positivity agus diúltachas a choigeartú go neamhspleách.

An cur chuige ar leith a úsáideann Coviello et al. (2014) bhí ag níos mó san Coviello, Fowler, and Franceschetti (2014) . I gcás a thabhairt isteach chun athróga uirlise fheiceáil Angrist and Pischke (2009) (nach bhfuil chomh foirmiúil) nó Angrist, Imbens, and Rubin (1996) (níos foirmiúla). Le haghaidh breithmheas skeptical na n-athróg uirlise féach Deaton (2010) , agus le haghaidh a thabhairt isteach chun athróga uirlise le hionstraimí lag (Is báisteach ionstraim lag), féach Murray (2006) .

Níos ginearálta, tá a thabhairt isteach go maith le turgnaimh nádúrtha Dunning (2012) , agus Rosenbaum (2002) , Rosenbaum (2009) , agus Shadish, Cook, and Campbell (2001) a thairiscint smaointe maithe maidir meastachán éifeachtaí chúise gan turgnaimh.

Maidir leis an dara R (Mínghlanadh), tá eolaíoch agus lóistíochta trádáil-dícheangail ag athrú an dearadh Contagion mhothúchánach ó phoist blocála chuig poist a threisiú nuair a bhreithniú. Mar shampla, d'fhéadfadh sé a bheith ar an cás a dhéanann cur chun feidhme teicniúil an Feed Nuacht is substaintiúil níos éasca a dhéanamh ar thurgnamh le poist blocála ionad turgnamh le poist a threisiú (faoi deara go bhféadfadh thurgnamh le poist blocála bhfeidhm mar shraith ar bairr den chóras Nuacht Feed gan aon ghá le athruithe ar an gcóras bunúsacha). Heolaíoch, áfach, an teoiric a dtugann an turgnamh raibh fios go soiléir dearadh amháin thar an gceann eile.

Ar an drochuair, ní heol dom taighde substaintiúil roimh faoi na buntáistí coibhneasta blocála agus ábhar sa Feed Nuacht dlús. Ina theannta sin, nach bhfuil feicthe agam taighde i bhfad faoi chóireálacha chun iad a dhéanamh níos lú díobhálach scagadh; Tá eisceacht amháin Jones and Feamster (2015) , a mheasfaidh an gcás thomhas chinsireacht Idirlíon (ábhar a phlé mé i gCaibidil 6 i gcaidreamh leis an staidéar Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Maidir leis an tríú R (Laghdú), tá a thabhairt isteach go maith le hanailís cumhachta traidisiúnta Cohen (1988) . Is féidir le covariates réamhchóireála a chur san áireamh sa staid deartha agus an chéim anailíse turgnaimh; Caibidil 4 de Gerber and Green (2012) Soláthraíonn réamhrá maith dá chur chuige, agus Casella (2008) Soláthraíonn cóireáil níos doimhne. Teicnící a úsáideann an t-eolas réamhchóireála san randomization Tugtar de ghnáth bac ceachtar dearaí turgnamhach nó dearadh turgnamhach srathaithe (nach bhfuil an téarmaíocht a úsáidtear go comhsheasmhach ar fud na bpobal); na teicníochtaí seo a bhaineann go domhain leis na teicníochtaí samplála srathaithe i gCaibidil 3. Féach Higgins, Sävje, and Sekhon (2016) le haghaidh níos mó ar úsáid na dearaí i dturgnaimh ollmhór. Is féidir le covariates a réamhchóireáil san áireamh freisin sa chéim anailíse. McKenzie (2012) Scrúdaíonn an gcur chuige difríocht-i-difríochtaí le anailís a dhéanamh ar turgnaimh réimse níos mine. Féach Carneiro, Lee, and Wilhelm (2016) le haghaidh níos mó ar an comhbhabhtálacha idir cuir chuige éagsúla cruinneas i meastacháin na n-éifeachtaí cóireála a mhéadú. Ar deireadh, agus cinneadh á dhéanamh cé acu chun iarracht a chur san áireamh covariates réamhchóireála ag an dearadh nó anailíse céim (nó iad araon), tá roinnt fachtóirí a bhreithniú. I suíomh áit ar mhaith taighdeoirí chun a thaispeáint nach bhfuil siad "iascaireacht" (Humphreys, Sierra, and Windt 2013) , ag baint úsáide covariates réamhchóireála sa staid deartha a bheith cabhrach (Higgins, Sävje, and Sekhon 2016) . I gcásanna ina thagann rannpháirtithe seicheamhach, turgnaimh réimse go háirithe ar líne, ag úsáid eolais réamhchóireála sa staid deartha a bheith deacair logistically, féach mar shampla Xie and Aurisset (2016) .

Is fiú a chur le beagán de intuition faoi cén fáth ar féidir difríocht-i-difríochtaí a bheith i bhfad níos éifeachtaí ná an difríocht-i-acmhainn. Tá go leor torthaí ar líne athraitheas an-ard (féach m.sh., Lewis and Rao (2015) agus an Lamb et al. (2015) ) agus go bhfuil siad réasúnta seasmhach thar thréimhse ama. Sa chás seo, beidh an scór athraithe bhfuil athraitheas i bhfad níos lú, ag méadú an cumhacht ag an triail staidrimh. Cúis amháin chuaigh sé seo nach n-úsáidtear níos minice go roimh an aois dhigiteach nach raibh sé coitianta go mbeadh torthaí réamhchóireála. Is bealach níos nithiúla chun smaoineamh air a shamhlú dturgnamh chun dtaobh an ndéanann cleachtadh ghnáthamh sonrach meáchain caillteanas. Má dhéanann tú cur chuige an difríocht-i-acmhainn, beidh do mheastachán mbeadh éagsúlacht a thagann as éagsúlacht meáchain sa phobal. Má dhéanann tú cur chuige an difríocht-i-difríocht, áfach, go bhfuil athrú a fhaightear go nádúrtha i meáchain faigheann bhaint amach agus is féidir leat a bhrath níos éasca difríocht ba chúis leis an chóireáil.

Is é ceann bhealach tábhachtach chun laghdú ar líon na rannpháirtithe i do turgnamh a sheoladh anailís cumhachta, a d'fhéadfadh Kramer agus comhghleacaithe a dhéanamh bunaithe ar na méideanna i bhfeidhm faoi deara ó turgnamh nádúrtha ag Coviello et al. (2014) nó taighde neamh-turgnamhach níos luaithe ag Kramer (2012) (i ndáiríre tá na gníomhaíochtaí ag deireadh na caibidle seo). Tabhair faoi deara go bhfuil an úsáid a bhaint as anailís cumhachta beagán difriúil ná tipiciúil. I aois aschur, rinne taighdeoirí go ginearálta anailís chumhacht chun a chinntiú nach raibh a gcuid staidéir ró-bheag (ie, faoi gcumhachtú). Anois, áfach, ba cheart do thaighdeoirí a dhéanamh anailís chumhacht chun a chinntiú nach bhfuil a gcuid staidéir ró-mhór (ie, ró-thiomáint).

Mar fhocal scoir, mheas mé ag cur an ceathrú R: repurpose. Is é sin, má fhaigheann taighdeoirí féin le sonraí níos turgnamhacha ná mar is gá iad chun aghaidh a thabhairt ar cheist taighde bunaidh, ba chóir dóibh repurpose na sonraí a iarraidh ar cheisteanna nua. Mar shampla, a shamhlú go raibh úsáid Kramer agus comhghleacaithe difríocht-i-difríochtaí Meastóir agus fuair iad féin le sonraí níos ná mar is gá chun aghaidh a thabhairt ar cheist taighde. In áit a bheith nach n-úsáideann na sonraí chuig an mhéid is mó, d'fhéadfadh siad a bhfuil staidéar déanta ar an méid de na éifeacht mar fheidhm ar an réamhchóireáil iúl mhothúchánach. Díreach mar Schultz et al. (2007) fuarthas amach go raibh an éifeacht an láimhseáil dhifriúil d'úsáideoirí éadrom agus trom, b'fhéidir go raibh éifeachtaí an Feed Nuacht éagsúla do dhaoine a claonadh cheana go dtí an iar teachtaireachtaí sona (nó brónach). Repurposing mar thoradh ar "iascaireacht" (Humphreys, Sierra, and Windt 2013) agus "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , ach tá siad seo Addressable den chuid is mó le meascán de thuairisciú macánta (Simmons, Nelson, and Simonsohn 2011) , réamhchlárúcháin (Humphreys, Sierra, and Windt 2013) , agus na modhanna foghlama meaisín go iarracht a sheachaint ró-fheistiú.