ufafanuzi zaidi

Sehemu hii ni iliyoundwa kutumiwa kama rejea, badala ya kusomwa kama hadithi.

• Kuanzishwa (Sehemu ya 4.1)

Maswali kuhusu causality katika utafiti wa kijamii ni mara nyingi tata na nje. Kwa mbinu ya msingi kwa causality msingi grafu causal, angalia Pearl (2009) , na kwa njia ya msingi kwa kuzingatia matokeo ya uwezo, angalia Imbens and Rubin (2015) (na appendix kiufundi katika sura hii). Kwa kulinganisha kati ya njia hizi mbili, kuona Morgan and Winship (2014) . Kwa mbinu rasmi ili kufafanua confounder, angalia VanderWeele and Shpitser (2013) .

Katika sura, mimi umba kile ilionekana kama mstari mkali kati ya uwezo wetu wa kufanya makadirio causal kutoka data ya majaribio na mashirika yasiyo ya majaribio. Katika hali halisi, nadhani kwamba tofauti ni blurrier. Kwa mfano, kila mtu anakubali kuwa sigara husababisha kansa ingawa hatujawahi kufanya randomized kudhibitiwa majaribio kwamba vikosi vya watu moshi. Kwa bora matibabu kitabu urefu juu ya kufanya makadirio causal kutoka data zisizo majaribio angalia Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , na Dunning (2012) .

Sura ya 1 na 2 ya Freedman, Pisani, and Purves (2007) kutoa utangulizi wazi katika tofauti kati ya majaribio, majaribio kudhibitiwa, na randomized majaribio kudhibitiwa.

Manzi (2012) hutoa kuvutia na someka kuanzishwa katika nguzo ya falsafa na takwimu za randomized majaribio kudhibitiwa. Pia hutoa kuvutia mifano halisi ya dunia ya madaraka ya majaribio katika biashara.

• Je, ni majaribio? (Sehemu ya 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) kutoa utambulisho mzuri wa masuala ya takwimu ya kubuni majaribio na uchambuzi. Zaidi ya hayo, kuna matibabu bora ya matumizi ya majaribio katika nyanja mbalimbali: uchumi (Bardsley et al. 2009) , Sosholojia (Willer and Walker 2007; Jackson and Cox 2013) , saikolojia (Aronson et al. 1989) , Sayansi ya siasa (Morton and Williams 2010) , na sera za kijamii (Glennerster and Takavarasha 2013) .

umuhimu wa mshiriki kuajiri (kwa mfano, sampuli) ni mara nyingi chini ya kukubaliwa katika utafiti wa majaribio. Hata hivyo, kama athari za matibabu ni tofauti nyingi katika idadi ya watu, basi sampuli ni muhimu. Longford (1999) hufanya hatua hii ni wazi kuwa wakati yeye inatetea watafiti kufikiri ya majaribio kama utafiti idadi ya watu na sampuli isiyokuwa na mpangilio.

• Mbili vipimo ya majaribio: maabara-shamba na Analog-digital (Sehemu ya 4.3)

dichotomy kwamba mimi aliwasilisha kati ya maabara na shamba majaribio ni kidogo rahisi. Kwa kweli, wengine watafiti wamependekeza typologies kina zaidi, katika wale hasa kuwa tofauti aina mbalimbali ya majaribio shamba (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Zaidi ya hayo, kuna aina nyingine mbili za majaribio kazi kwa wanasayansi ya jamii ambayo si fit uzuri kuwa maabara na shamba dichotomy:. Majaribio ya utafiti na majaribio ya kijamii Survey majaribio ni majaribio kutumia miundombinu ya tafiti zilizopo na kulinganisha majibu ya matoleo mbadala ya maswali (baadhi ya majaribio ya utafiti ni iliyotolewa katika Sura ya 3); kwa zaidi juu ya majaribio ya utafiti angalia Mutz (2011) . majaribio ya kijamii ni majaribio ambapo matibabu ni baadhi sera za kijamii tu ambayo inaweza kutekelezwa na serikali. majaribio ya kijamii ni karibu kuhusiana na mpango wa tathmini. Kwa zaidi juu ya majaribio ya sera, angalia Orr (1998) , Glennerster and Takavarasha (2013) , na Heckman and Smith (1995) .

Idadi ya karatasi za kuwa ikilinganishwa maabara na shamba majaribio katika abstract (Falk and Heckman 2009; Cialdini 2009) na katika suala la matokeo ya majaribio maalum katika sayansi ya siasa (Coppock and Green 2015) , uchumi (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) na saikolojia (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) inatoa nzuri utafiti wa kubuni kwa kulinganisha matokeo kutoka maabara na shamba majaribio.

Wasiwasi kuhusu washiriki kubadili tabia zao kwa sababu wanajua wao ni kuwa karibu aliona ni wakati mwingine aitwaye mahitaji madhara, na wao wamekuwa alisoma katika saikolojia (Orne 1962) na uchumi (Zizzo 2009) . Ingawa wengi wao wakiwa kuhusishwa na majaribio ya maabara, masuala haya huo unaweza kusababisha matatizo kwa ajili ya majaribio shamba pia. Kwa kweli, mahitaji madhara ni pia wakati mwingine aitwaye madhara Hawthorne, mrefu ambayo hupata kutoka majaribio uwanja, hasa maarufu majaribio illumination ambayo ilianza mwaka 1924 katika Hawthorne Kazi ya Magharibi Electric Company (Adair 1984; Levitt and List 2011) . Wote madhara mahitaji na madhara Hawthorn ni karibu kuhusiana na wazo la upimaji tendaji kujadiliwa katika sura ya 2 (tazama pia Webb et al. (1966) ).

Historia ya majaribio shamba imekuwa kama ilivyoelezwa katika uchumi (Levitt and List 2009) , sayansi ya siasa (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , saikolojia (Shadish 2002) , na sera za umma (Shadish and Cook 2009) . Eneo moja la sayansi ya jamii ambapo majaribio uwanja haraka akawa maarufu ni maendeleo ya kimataifa. Kwa ajili ya mapitio chanya ya kuwa kazi ndani ya uchumi angalia Banerjee and Duflo (2009) , na kwa ajili ya tathmini muhimu angalia Deaton (2010) . Kwa ajili ya mapitio ya kazi hii katika sayansi ya siasa angalia Humphreys and Weinstein (2009) . Hatimaye, changamoto ya kimaadili wanaohusika na majaribio uwanja wamekuwa Kugundua katika sayansi ya siasa (Humphreys 2015; Desposato 2016b) na uchumi wa maendeleo (Baele 2013) .

Katika sura, mimi alipendekeza kuwa kabla ya matibabu habari inaweza kutumika kuboresha usahihi wa madhara inakadiriwa matibabu, lakini kuna baadhi ya mjadala kuhusu mbinu hii: Freedman (2008) , Lin (2013) , na Berk et al. (2013) ; angalia Bloniarz et al. (2016) kwa habari zaidi.

• Kusonga zaidi majaribio rahisi (Sehemu ya 4.4)

Nimekuwa waliochaguliwa kwa kuzingatia dhana tatu: uhalali, heterogeneity ya madhara ya matibabu, na taratibu. Dhana hizi na majina tofauti katika nyanja mbalimbali. Kwa mfano, wanasaikolojia huwa na hoja zaidi ya majaribio rahisi kwa kulenga wapatanishi na wasimamizi (Baron and Kenny 1986) . wazo la wapatanishi ni alitekwa na kile wito taratibu, na wazo la wasimamizi ni alitekwa na kile wito nje uhalali (kwa mfano, itakuwa matokeo ya majaribio kuwa tofauti kama ilikuwa kukimbia katika hali tofauti) na heterogeneity ya madhara ya matibabu ( kwa mfano, ni madhara makubwa kwa baadhi ya watu kuliko watu wengine).

Majaribio ya Schultz et al. (2007) inaonyesha jinsi nadharia kijamii yanaweza kutumika kubuni mikakati madhubuti. Kwa hoja zaidi kuhusu wajibu wa nadharia katika kubuni mikakati madhubuti, angalia Walton (2014) .

• Uhalali (Sehemu ya 4.4.1)

Dhana ya uhalali wa ndani na nje walikuwa kwanza kuletwa katika Campbell (1957) . Angalia Shadish, Cook, and Campbell (2001) kwa ajili ya historia ya kina zaidi na ufafanuzi wa makini wa takwimu hitimisho uhalali, uhalali wa ndani, kujenga uhalali, na uhalali wa nje.

Kwa maelezo ya jumla ya masuala yanayohusiana na takwimu hitimisho uhalali katika majaribio angalia Gerber and Green (2012) (kwa mtazamo wa sayansi ya jamii) na Imbens and Rubin (2015) (kwa mtazamo wa takwimu). Baadhi ya masuala ya takwimu hitimisho uhalali yanayotokea hasa katika online majaribio uwanja ni pamoja na masuala kama vile mbinu za computationally ufanisi kwa ajili ya kujenga vipindi vya kujiamini na data tegemezi (Bakshy and Eckles 2013) .

Ndani uhalali inaweza kuwa vigumu kuhakikisha katika majaribio tata shamba. Angalia, kwa mfano, Gerber and Green (2000) , Imai (2005) , na Gerber and Green (2005) kwa mjadala kuhusu utekelezaji wa tata uwanja majaribio kuhusu upigaji kura. Kohavi et al. (2012) na Kohavi et al. (2013) kutoa kuanzishwa katika changamoto za muda uhalali katika online majaribio uwanja.

wasiwasi moja kubwa na uhalali wa ndani ni matatizo na Ubahatishaji. Moja ya njia ya uwezekano wa kuchunguza matatizo na Ubahatishaji ni kulinganisha makundi matibabu na udhibiti juu ya sifa zinazoonekana. Aina hii ya kulinganisha inaitwa usawa kuangalia. Angalia Hansen and Bowers (2008) kwa mbinu takwimu kusawazisha hundi, na kuona Mutz and Pemantle (2015) kwa wasiwasi juu ya hundi mizani. Kwa mfano, kwa kutumia mizani kuangalia Allcott (2011) iligundua kuwa kuna baadhi ya ushahidi kwamba Ubahatishaji hakuwa kutekelezwa kwa usahihi katika tatu ya majaribio katika baadhi ya majaribio OPower (tazama Jedwali 2; maeneo ya 2, 6, na 8). Kwa mbinu nyingine, kuona Imbens and Rubin (2015) , Sura ya 21.

matatizo mengine makubwa kuhusiana na uhalali wa ndani ni: 1) upande mmoja kutofuata, ambapo si kila mtu katika kundi matibabu kweli kupokea matibabu, 2) mbili upande mmoja kutofuata, ambapo si kila mtu katika kundi matibabu anapata matibabu na baadhi watu katika kundi la kudhibiti kupokea matibabu, 3) msuguano, ambapo matokeo havipimwi kwa baadhi ya washiriki, na 4) kuingiliwa, ambapo matibabu spills juu kutoka kwa watu katika hali tiba kwa watu katika hali ya udhibiti. Angalia Gerber and Green (2012) Sura ya 5, 6, 7, na 8 kwa zaidi juu ya kila ya mambo haya.

Kwa zaidi juu ya kujenga uhalali, angalia Westen and Rosenthal (2003) , na kwa zaidi juu ya kujenga uhalali katika vyanzo big data, Lazer (2015) na Sura ya 2 ya kitabu hiki.

Moja ya sehemu ya uhalali wa nje ni kuweka ambapo kuingilia ni kipimo. Allcott (2015) hutoa makini nadharia na empirical matibabu ya uteuzi tovuti upendeleo. Suala hili pia ni kujadiliwa katika Deaton (2010) . Mbali na kuwa kuigwa katika maeneo mengi, kuingilia Home Nishati Ripoti pia imekuwa kujitegemea alisoma kwa makundi mbalimbali ya utafiti (kwa mfano, Ayres, Raseman, and Shih (2013) ).

• Heterogeneity ya madhara ya matibabu (Sehemu ya 4.4.2)

Kwa maelezo bora wa utofauti wa madhara ya matibabu katika majaribio uwanja, angalia sura ya 12 ya Gerber and Green (2012) . Kwa utambulisho kwa heterogeneity ya madhara ya matibabu katika majaribio ya matibabu, angalia Kent and Hayward (2007) , Longford (1999) , na Kravitz, Duan, and Braslow (2004) . Heterogeneity ya madhara ya matibabu kwa ujumla kuzingatia tofauti kulingana na tabia kabla ya matibabu. Kama una nia ya utofauti kwa kuzingatia matokeo baada ya matibabu, basi approachs ngumu zaidi zinahitajika kama vile mkuu stratification (Frangakis and Rubin 2002) ; angalia Page et al. (2015) kwa ajili ya mapitio.

Watafiti wengi makisio heterogeneity ya madhara ya matibabu kwa kutumia linear regression, lakini mbinu karibu zaidi kutegemea kujifunza mashine, kwa mfano Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , na Athey and Imbens (2016a) .

Kuna baadhi ya wasiwasi kuhusu matokeo ya heterogeneity ya madhara kwa sababu ya matatizo mbalimbali kulinganisha na "uvuvi." Kuna aina ya mbinu takwimu ambayo inaweza kusaidia kushughulikia malalamiko kuhusu kulinganisha nyingi (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Njia moja ya wasiwasi kuhusu "uvuvi" ni kabla ya usajili, ambayo ni kuwa inazidi kawaida katika saikolojia (Nosek and Lakens 2014) , sayansi ya siasa (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , na uchumi (Olken 2015) .

Katika utafiti wa Costa and Kahn (2013) nusu tu ya kaya katika majaribio walikuwa na uwezo wa kuhusishwa na idadi ya watu habari. Wasomaji nia maelezo na kutokea matatizo na uchambuzi huu lazima kutaja karatasi ya awali.

• Taratibu (Sehemu ya 4.4.3)

Taratibu ni incredibly muhimu, lakini wao kugeuka kutoka kuwa vigumu sana kujifunza. Utafiti kuhusu taratibu karibu kuhusiana na utafiti wa wapatanishi katika saikolojia (lakini tazama pia VanderWeele (2009) kwa ajili ya kulinganisha sahihi kati ya mawazo mawili). Mbinu takwimu taratibu kutafuta, kama vile mbinu ya maendeleo katika Baron and Kenny (1986) , ni kawaida kabisa. Kwa bahati mbaya, ni zamu nje kwamba taratibu hizo wanategemea baadhi ya mawazo imara (Bullock, Green, and Ha 2010) na kuteseka wakati kuna utaratibu mbalimbali, kama mtu anaweza kutarajia katika hali nyingi (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) na Imai and Yamamoto (2013) kutoa baadhi kuboresha mbinu za takwimu. Zaidi ya hayo, VanderWeele (2015) inatoa kitabu-urefu matibabu na idadi ya matokeo muhimu, ikiwa ni pamoja mbinu pana ya uchambuzi unyeti.

mbinu tofauti inalenga katika majaribio kwamba jaribio la kuendesha utaratibu moja kwa moja (kwa mfano, kutoa mabaharia vitamini C). Kwa bahati mbaya, katika mazingira ya wengi wa sayansi ya jamii mara nyingi kuna taratibu nyingi na ni vigumu kubuni matibabu ambayo mabadiliko moja bila kubadilisha wengine. Baadhi ya mbinu na experimentally taratibu kubadilisha ni ilivyoelezwa katika Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , na Pirlott and MacKinnon (2016) .

Hatimaye, taratibu pia wana historia ndefu katika falsafa ya sayansi kama ilivyoelezwa na Hedström and Ylikoski (2010) .

• Kwa kutumia mazingira yaliyopo (Sehemu ya 4.5.1.1)

Kwa zaidi juu ya matumizi ya tafiti mawasiliano na masomo ukaguzi wa kupima ubaguzi angalia Pager (2007) .

• Kujenga majaribio yako mwenyewe (Sehemu ya 4.5.1.2)

Njia ya kawaida ya kuajiri washiriki majaribio kwamba kujenga ni Amazon Mitambo Turk (MTurk). Kwa sababu MTurk mimics masuala ya majaribio-kulipa jadi maabara watu kukamilisha kazi kwamba wasingeweza kufanya kwa watafiti bure-wengi tayari wameanza kutumia Turkers (wafanyakazi juu ya MTurk) kama washiriki katika masomo ya binadamu majaribio kusababisha kasi na mkusanyiko nafuu data kuliko jadi juu-ya chuo maabara ya majaribio (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

nguvu kubwa ya majaribio na washiriki kuajiri kutoka MTurk ni vifaa: wao kuruhusu watafiti kuajiri washiriki haraka na kama inahitajika. Wakati majaribio ya maabara inaweza kuchukua wiki kukimbia na majaribio shamba inaweza kuchukua miezi kuweka-up, majaribio na washiriki kuajiri kutoka MTurk inaweza kuwa na kukimbia katika siku. Kwa mfano, Berinsky, Huber, and Lenz (2012) walikuwa na uwezo wa kuwaajiri masomo 400 kwa siku moja kushiriki katika majaribio 8 dakika. Zaidi ya hayo, washiriki hizi zinaweza kuajiri kwa lengo karibu yoyote (ikiwa ni pamoja tafiti na ushirikiano wa habari, kama kujadiliwa katika sura ya 3 na 5). urahisi huu wa ajira ina maana kwamba watafiti wanaweza kukimbia Utaratibu wa majaribio kuhusiana katika mfululizo wa haraka.

Kabla ya kuajiri washiriki kutoka MTurk kwa ajili ya majaribio yako mwenyewe, kuna mambo manne muhimu kujua. Kwanza, watafiti wengi wana wasiwasi zisizo maalum ya majaribio ya kuwashirikisha Turkers. Kwa sababu wasiwasi hii si maalum, ni vigumu kukabiliana na kwa ushahidi. Hata hivyo, baada ya miaka kadhaa ya masomo kwa kutumia Turkers, sasa tunaweza kuhitimisha kwamba wasiwasi hii si muhimu hasa. Kumekuwa na tafiti nyingi kulinganisha idadi ya watu ya Turkers kwa wakazi wengine na tafiti nyingi kulinganisha matokeo ya majaribio na Turkers na matokeo kutoka kwa watu wengine. Kutokana na kazi hii yote, nadhani kwamba njia bora ya wewe kufikiri juu yake ni kwamba Turkers ni busara urahisi sampuli, kiasi kama wanafunzi lakini kidogo zaidi tofauti (Berinsky, Huber, and Lenz 2012) . Hivyo, kama wanafunzi ni idadi busara kwa baadhi lakini si wote utafiti wa majaribio, Turkers ni idadi busara kwa baadhi lakini si wote utafiti. Kama wewe ni kwenda kufanya kazi na Turkers, basi ni mantiki ya kusoma mengi ya masomo haya kulinganisha na kuelewa nuances yao.

Pili, watafiti na maendeleo bora mazoea kwa ajili ya kuongeza uhalali wa ndani ya Turk majaribio, na unapaswa kujifunza kuhusu na kufuata haya bora mazoea (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Kwa mfano, watafiti kutumia Turkers wanahimizwa kutumia screeners kuondoa washiriki kughafilika (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (lakini tazama pia DJ Hauser and Schwarz (2015b) na DJ Hauser and Schwarz (2015a) ). Kama huna kuondoa washiriki kughafilika, basi athari yoyote ya matibabu inaweza kuwa nikanawa nje na kelele kuletwa kutoka kwa washiriki kughafilika, na katika mazoezi idadi ya washiriki kughafilika inaweza kuwa kubwa. Katika majaribio ya Huber na wenzake (2012) juu ya 30% ya washiriki alishindwa makini screeners msingi. Tatizo jingine kawaida na Turkers ni mashirika yasiyo ya wasiojua washiriki (Chandler et al. 2015) .

Tatu, jamaa na baadhi aina nyingine ya majaribio digital, MTurk majaribio hawezi wadogo; Stewart et al. (2015) inakadiria kuwa wakati wowote kuna tu juu ya 7,000 watu juu ya MTurk.

Hatimaye, unapaswa kujua kwamba MTurk ni jamii na sheria yake mwenyewe na kanuni (Mason and Suri 2012) . Katika njia sawa kwamba ungependa kujaribu kujua kuhusu utamaduni wa nchi ambapo walikuwa wanakwenda kukimbia majaribio yako, unapaswa kujaribu kujua zaidi kuhusu utamaduni na desturi za Turkers (Salehi et al. 2015) . Na, unapaswa kujua kwamba Turkers itakuwa kuzungumza juu majaribio yako kama wewe kufanya kitu muafaka au unethical (Gray et al. 2016) .

MTurk ni njia incredibly rahisi kuwaajiri washiriki majaribio yako, iwe ni maabara-kama, kama vile Huber, Hill, and Lenz (2012) , au zaidi uwanja-kama, kama vile Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , na Mao et al. (2016) .

• Kujenga bidhaa yako mwenyewe (Sehemu ya 4.5.1.3)

Kama wewe ni kufikiri ya kujaribu kutengeneza bidhaa yako mwenyewe, mimi kupendekeza kwamba kusoma ushauri inayotolewa na MovieLens kundi katika Harper and Konstan (2015) . ufahamu muhimu kutokana na uzoefu wao ni kwamba kwa kila mradi mafanikio kuna watu wengi, makosa mengi. Kwa mfano, MovieLens kundi ilizindua bidhaa nyingine kama vile GopherAnswers waliokuwa kamili kushindwa (Harper and Konstan 2015) . Mfano mwingine wa mtafiti kushindwa wakati wa kujaribu kujenga bidhaa ni jaribio Edward CASTRONOVA ya kujenga mchezo online inayoitwa Arden. Licha ya $ 250,000 katika fedha, mradi huo ulikuwa flop (Baker 2008) . Miradi kama GopherAnswers na Arden ni bahati mbaya ya kawaida zaidi kuliko miradi kama MovieLens. Hatimaye, wakati mimi alisema kuwa sikujua ya watafiti wengine yoyote kwamba alikuwa mafanikio kujengwa bidhaa kwa ajili ya majaribio ya mara kwa mara hapa ni vigezo yangu: 1) washiriki kutumia bidhaa kwa sababu ya kile hutoa yao (kwa mfano, wao si kulipwa na wao si kujitolea kusaidia sayansi) na 2) bidhaa imekuwa kutumika kwa ajili ya majaribio zaidi ya moja tofauti (yaani, si majaribio huo mara nyingi pamoja na mabwawa mbalimbali mshiriki). Kama unajua ya mifano nyingine, tafadhali basi mimi kujua.

• Kushirikiana na nguvu (Sehemu ya 4.5.2)

Nimesikia wazo la Quadrant Pasteur ya kujadiliwa mara kwa mara katika makampuni tech, na inasaidia kuandaa juhudi za utafiti katika Google (Spector, Norvig, and Petrov 2012) .

Bond na utafiti wenzake ' (2012) pia majaribio ya kuchunguza athari za matibabu haya juu ya marafiki wa wale ambao kupokea yao. Kwa sababu ya muundo wa majaribio, spillovers hizi ni vigumu kugundua cleanly; wasomaji nia unapaswa kuona Bond et al. (2012) kwa ajili ya majadiliano ya kina zaidi. Jaribio hili ni sehemu ya utamaduni wa muda mrefu wa majaribio katika sayansi ya siasa katika jitihada za kuhamasisha kupiga kura (Green and Gerber 2015) . Hizi majaribio get-out--kura ni ya kawaida katika sehemu kwa sababu wao ni katika Pasteur ya Quadrant. Hiyo ni, kuna watu wengi ambao ni motisha kwa kuongeza kupiga kura na kupiga kura anaweza kuwa tabia ya kuvutia kupima nadharia zaidi ya jumla kuhusu mabadiliko ya tabia na athari za kijamii.

Wengine watafiti wametoa ushauri kuhusu mbio majaribio uwanja na mashirika mpenzi kama vile vyama vya siasa, NGOs, na wafanyabiashara (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Wengine wametoa ushauri kuhusu jinsi ushirikiano na mashirika inaweza kuathiri miundo utafiti (Green, Calfano, and Aronow 2014; King et al. 2007) . Ushirikiano pia unaweza kusababisha maswali kimaadili (Humphreys 2015; Nickerson and Hyde 2016) .

• Design ushauri (Sehemu ya 4.6)

Kama wewe ni kwenda kuunda mpango uchambuzi kabla ya mbio majaribio yako, mimi zinaonyesha kwamba wewe kuanza kwa kusoma miongozo kutoa taarifa. Consort (Mkuu Standard Taarifa ya Trials) miongozo walikuwa maendeleo katika dawa (Schulz et al. 2010) na iliyopita kwa ajili ya utafiti wa kijamii (Mayo-Wilson et al. 2013) . Seti kuhusiana na miongozo imekuwa maendeleo na wahariri wa jarida la Experimental Sayansi ya Siasa (Gerber et al. 2014) (angalia pia Mutz and Pemantle (2015) na Gerber et al. (2015) ). Hatimaye, kuripoti miongozo kuwa maendeleo katika saikolojia (Group 2008) , na kuona pia Simmons, Nelson, and Simonsohn (2011) .

Kama wewe kuunda mpango uchambuzi unapaswa kufikiria kabla ya kusajili hivyo kwa sababu kabla ya usajili itaongeza kujiamini kwamba wengine wana katika matokeo yako. Zaidi ya hayo, kama wewe ni kufanya kazi na mpenzi, itakuwa kupunguza uwezo mpenzi wako kubadili uchambuzi baada ya kuona matokeo. Kabla ya usajili ni inazidi kuwa ya kawaida katika saikolojia (Nosek and Lakens 2014) , sayansi ya siasa (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , na uchumi (Olken 2015) .

Wakati kujenga kabla ya uchambuzi mpango wako unapaswa kuwa na ufahamu kwamba baadhi ya watafiti pia kutumia regression na mbinu kuhusiana na kuboresha usahihi wa makadirio ya athari matibabu, na kuna baadhi ya mjadala kuhusu mbinu hii: Freedman (2008) , Lin (2013) , na Berk et al. (2013) ; angalia Bloniarz et al. (2016) kwa habari zaidi.

Design ushauri mahsusi kwa ajili ya online majaribio uwanja pia ni iliyotolewa katika Konstan and Chen (2007) na Chen and Konstan (2015) .

• Kujenga zero data kutofautiana gharama (Sehemu ya 4.6.1)

Kwa zaidi juu ya majaribio MusicLab, angalia Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , na Salganik (2007) . Kwa zaidi juu ya mshindi-kuchukua-yote masoko, angalia Frank and Cook (1996) . Kwa zaidi juu ya bahati untangling na ujuzi kwa ujumla zaidi, angalia Mauboussin (2012) , Watts (2012) , na Frank (2016) .

Kuna mbinu nyingine ya kuondoa malipo mshiriki kwamba watafiti wanapaswa kutumia kwa tahadhari: alihusika. Katika wengi online majaribio uwanja washiriki ni kimsingi aliandaa katika majaribio na kamwe fidia. Mifano ya mbinu hii ni pamoja na Restivo na van de Rijt ya (2012) majaribio juu ya tuzo katika Wikipedia na Bond na mwenzake (2012) majaribio juu ya kuhamasisha watu kupiga kura. majaribio haya si kweli kuwa zero gharama variable, wana zero variable gharama na watafiti. Japokuwa gharama ya wengi wa majaribio haya ni ndogo sana kwa kila mshiriki, gharama ndogo zilizowekwa idadi kubwa ya washiriki wanaweza kuongeza hadi haraka. Watafiti mbio mkubwa online majaribio mara nyingi kuhalalisha umuhimu wa ndogo madhara inakadiriwa matibabu kwa kusema kwamba hizi madhara ndogo inaweza kuwa muhimu wakati kutumika kwa watu wengi. halisi kufikiri hiyo inatumika kwa gharama kwamba watafiti kulazimisha washiriki. Kama majaribio yako inasababisha watu milioni moja kupoteza dakika moja, majaribio ni si hatari sana kwa mtu fulani, lakini katika jumla ya mabao yake ina kupita karibu miaka miwili ya wakati huo.

Njia nyingine ya kujenga zero variable gharama ya malipo kwa washiriki ni kutumia bahati nasibu, mbinu ambayo pia imekuwa kutumika katika utafiti utafiti (Halpern et al. 2011) . Hatimaye, kwa zaidi juu ya kubuni kufurahisha user-uzoefu angalia Toomim et al. (2011) .

• Nafasi, Refine, na Kupunguza (Sehemu ya 4.6.2)

Hapa ni ufafanuzi wa awali wa tatu R, kutoka Russell and Burch (1959) :

"Replacement ina maana badala ya fahamu wanaoishi wanyama ya juu ya vifaa insentient. Kupunguza maana kupunguza idadi ya wanyama kutumika ili kupata taarifa ya kiasi kutokana na na usahihi. Finslipades ina maana kupungua yoyote katika matukio au ukali wa taratibu kinyama kutumika kwa wanyama wale ambao bado wana kutumiwa. "

kwamba mimi kupendekeza si override kanuni za maadili ilivyoelezwa katika Sura ya 6. R tatu ya Badala yake, ni zaidi alifafanua version mmoja wa wale kanuni-ukarimu-mahsusi kwa ajili ya mazingira ya majaribio ya binadamu.

Wakati kuzingatia Emotional Contagion, kuna tatu masuala yasiyo ya kimaadili kukumbuka wakati kutafsiri jaribio hili. Kwanza, ni wazi jinsi maelezo halisi ya majaribio kuungana na madai ya kinadharia; kwa maneno mengine, kuna maswali kuhusu kujenga uhalali. Ni wazi kwamba chanya na hasi neno mashtaka ni kweli kiashiria nzuri ya hali ya hisia ya washiriki kwa sababu 1) ni wazi kwamba maneno ambayo watu baada vinaonyesha hisia zao na 2) ni wazi kwamba hasa kutokuwa uchambuzi mbinu ambayo watafiti kutumika ni uwezo wa reliably infer hisia (Beasley and Mason 2015; Panger 2016) . Kwa maneno mengine, huenda kuna mbaya kipimo cha ishara upendeleo. Pili, kubuni na uchambuzi wa majaribio inatuambia chochote kuhusu ambaye alikuwa wanashikiliwa zaidi (yaani, hakuna uchambuzi wa utofauti wa madhara ya matibabu) na kile utaratibu inaweza kuwa. Katika kesi hiyo, watafiti alikuwa kura wa habari kuhusu washiriki, lakini walikuwa kimsingi kutibiwa kama vilivyoandikwa katika uchambuzi. Tatu, athari ukubwa katika jaribio hili ni kidogo sana; tofauti kati ya matibabu na udhibiti hali ni kuhusu 1 kwa maneno 1,000. Katika karatasi zao, Kramer na wenzake kufanya kesi hiyo athari za ukubwa huu ni muhimu kwa sababu mamia ya mamilioni ya watu kupata News yao Feed kila siku. Kwa maneno mengine, wao wanasema kuwa hata madhara ambayo ni ndogo kwa kila mtu wao ni kubwa katika jumla. Hata kama ungekuwa na kukubali hoja hii, bado ni wazi kama athari za ukubwa huu ni muhimu kuhusu swali zaidi kwa ujumla kisayansi kuhusu contagion hisia. Kwa zaidi juu ya hali ambapo madhara ndogo ni muhimu angalia Prentice and Miller (1992) .

Katika suala la R kwanza (Replacement), kulinganisha Emotional Contagion majaribio (Kramer, Guillory, and Hancock 2014) na hisia contagion asili majaribio (Coviello et al. 2014) inatoa baadhi ya masomo ya jumla kuhusu biashara awamu ya pili wanaohusika na kuhama kutoka majaribio na majaribio ya asili (na mbinu nyingine kama vinavyolingana kwamba jaribio kwa takriban majaribio katika data zisizo majaribio, tazama Sura ya 2). Mbali na faida kimaadili, byte kutoka majaribio na masomo zisizo majaribio pia itawezesha watafiti kujifunza matibabu kwamba wao ni logistically hawawezi kupeleka. Hizi faida kimaadili na vifaa kuja kwa gharama, hata hivyo. Na majaribio ya asili watafiti kuwa chini ya udhibiti wa mambo kama ajira ya washiriki, Ubahatishaji, na asili ya matibabu. Kwa mfano, kiwango cha juu moja ya mvua kama tiba ni kwamba wote wawili kuongezeka kwa positivity na itapungua negativity. Katika utafiti wa majaribio, hata hivyo, Kramer na wenzake walikuwa na uwezo wa kurekebisha positivity na negativity kujitegemea.

Mbinu fulani kutumiwa na Coviello et al. (2014) ilikuwa zaidi alifafanua katika Coviello, Fowler, and Franceschetti (2014) . Kwa kuanzishwa kwa vigezo muhimu angalia Angrist and Pischke (2009) (isiyo rasmi) au Angrist, Imbens, and Rubin (1996) (rasmi zaidi). Kwa tathmini na wasiwasi juu ya vigezo muhimu angalia Deaton (2010) , na kwa ajili ya kuanzishwa kwa vigezo ala na vyombo dhaifu (mvua ni chombo dhaifu), angalia Murray (2006) .

Zaidi kwa ujumla, utangulizi mzuri kwa majaribio ya asili ni Dunning (2012) , na Rosenbaum (2002) , Rosenbaum (2009) , na Shadish, Cook, and Campbell (2001) kutoa mawazo mazuri kuhusu kukadiria madhara causal bila majaribio.

Katika suala la R pili (Ustaarabu), kuna kisayansi na vifaa biashara awamu ya pili wakati kuzingatia mabadiliko ya mpango wa Contagion Emotional kutoka kuzuia posts kwa kuongeza posts. Kwa mfano, inaweza kuwa kesi hiyo utekelezaji wa kiufundi wa News Feed inafanya ni kikubwa rahisi kufanya majaribio na kuzuia posts badala ya majaribio na kuongeza posts (kumbuka kuwa majaribio na kuzuia posts inaweza kutekelezwa kama safu juu ya juu ya mfumo News Feed bila ya haja yoyote kwa ajili ya mabadiliko ya mfumo wa msingi). Kisayansi, hata hivyo, nadharia kushughulikiwa na majaribio hakuwa wazi kupendekeza kubuni moja juu ya nyingine.

Kwa bahati mbaya, mimi sina ufahamu wa utafiti mkubwa kabla kuhusu uhalali jamaa wa kuzuia na kuongeza yaliyomo katika News Feed. Pia, Sijaona utafiti mengi kuhusu kusafisha matibabu kuwafanya chini ya madhara; isipokuwa moja ni Jones and Feamster (2015) , ambayo inazingatia kesi ya kipimo cha Internet udhibiti (mada mimi kujadili katika Sura ya 6 katika uhusiano na utafiti Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Katika suala la R tatu (Kupunguza), utangulizi mzuri kwa uchambuzi jadi nguvu ni Cohen (1988) . covariates kabla ya matibabu inaweza kuwa ni pamoja katika hatua ya kubuni na hatua ya uchambuzi wa majaribio; Sura ya 4 ya Gerber and Green (2012) inatoa utangulizi mzuri kwa mbinu zote mbili, na Casella (2008) hutoa zaidi ya kina matibabu. Mbinu kwamba kutumia hii maelezo kabla ya matibabu katika Ubahatishaji ni kawaida inayoitwa ama imefungwa miundo majaribio au stratified miundo majaribio (istilahi si kutumika kwa uthabiti katika jamii); mbinu hizi ni undani kuhusiana na mbinu stratified sampuli kujadiliwa katika Sura ya 3. Tazama Higgins, Sävje, and Sekhon (2016) kwa zaidi juu ya kutumia miundo haya katika majaribio mkubwa. Covariates kabla ya matibabu pia inaweza pamoja na katika hatua ya uchambuzi. McKenzie (2012) inahusu mbinu tofauti-katika-tofauti ili kuchambua majaribio shamba kwa undani zaidi. Angalia Carneiro, Lee, and Wilhelm (2016) kwa zaidi juu ya biashara awamu ya pili kati ya mbinu mbalimbali ili kuongeza usahihi katika makadirio ya madhara ya matibabu. Hatimaye, wakati kuamua kama kujaribu ni pamoja na covariates kabla ya matibabu katika hatua ya kubuni au uchambuzi (au wote wawili), kuna mambo kadhaa ya kuzingatia. Katika mazingira ambapo watafiti wanataka kuonyesha kwamba wao si "uvuvi" (Humphreys, Sierra, and Windt 2013) , kwa kutumia kabla ya matibabu covariates katika hatua ya kubuni inaweza kusaidia (Higgins, Sävje, and Sekhon 2016) . Katika hali ambapo washiriki kuwasili sequentially, hasa online majaribio uwanja, kwa kutumia taarifa kabla ya matibabu katika hatua ya kubuni inaweza kuwa vigumu logistically, angalia kwa mfano Xie and Aurisset (2016) .

Ni thamani na kuongeza kidogo ya Intuition kuhusu nini tofauti-katika-tofauti inaweza kuwa hivyo ufanisi zaidi kuliko tofauti-katika-njia. Online matokeo wengi wana juu sana ugomvi (tazama kwa mfano, Lewis and Rao (2015) na Lamb et al. (2015) ) na ni tulivu baada ya muda. Katika kesi hiyo, mabadiliko ya alama itakuwa na kikubwa ndogo ugomvi, kuongeza nguvu ya mtihani wa takwimu. Moja ya sababu hii ufanyike si kutumika mara nyingi zaidi ni kwamba kabla ya umri digital haikuwa kawaida kuwa na matokeo ya matibabu ya awali. njia thabiti zaidi na kufikiri juu yake ni kufikiria majaribio ya kupima iwapo zoezi kawaida maalum husababisha kupoteza uzito. Kama wewe kufanya tofauti-katika-njia mbinu, makisio yako itakuwa na tofauti kwamba linatokana na tofauti katika uzito katika idadi ya watu. Kama wewe kufanya tofauti-katika-tofauti mbinu, hata hivyo, kwamba zinazotokea tofauti katika uzito inaondolewa na unaweza kwa urahisi zaidi kuchunguza tofauti unasababishwa na matibabu.

Njia moja muhimu ili kupunguza idadi ya washiriki katika majaribio yako ni kufanya uchambuzi nguvu, ambayo Kramer na wenzake wangefanya msingi ukubwa athari aliona kutoka majaribio ya asili na Coviello et al. (2014) au mapema utafiti zisizo majaribio na Kramer (2012) (kwa kweli hizi ni shughuli mwishoni mwa sura hii). Taarifa kwamba hii matumizi ya uchambuzi nguvu ni tofauti kidogo kuliko kawaida. Katika umri Analog, watafiti kwa ujumla alifanya uchambuzi nguvu ili kuhakikisha kuwa uchunguzi wao haukuwa ndogo mno (yaani, chini ya-powered). Sasa, hata hivyo, watafiti lazima kufanya uchambuzi nguvu ili kuhakikisha kuwa uchunguzi wao si kubwa mno (yaani, juu-powered).

Hatimaye, mimi kuchukuliwa na kuongeza ya nne R: repurpose. Hiyo ni, kama watafiti kupata wenyewe na data zaidi majaribio kuliko wao haja ya kushughulikia utafiti wao swali la kwanza, wanapaswa repurpose data kuuliza maswali mpya. Kwa mfano, fikiria kuwa Kramer na wenzake walitumia tofauti-katika-tofauti estimator na walijikuta pamoja na data zaidi zinahitajika kushughulikia yao swali la utafiti. Badala ya kutumia si data kwa kiasi ukamilifu, wangeweza kuwa alisoma ukubwa wa athari kama kazi kabla ya matibabu kujieleza kihisia. Kama vile Schultz et al. (2007) iligundua kuwa athari za matibabu ilikuwa tofauti kwa mwanga na nzito watumiaji, labda madhara ya News Feed yalikuwa tofauti kwa watu ambao tayari wakijifanya baada ya ujumbe furaha (au huzuni). Repurposing inaweza kusababisha "uvuvi" (Humphreys, Sierra, and Windt 2013) na "p-kukatwakatwa" (Simmons, Nelson, and Simonsohn 2011) , lakini hizo kwa kiasi kikubwa addressable na mchanganyiko wa kuripoti waaminifu (Simmons, Nelson, and Simonsohn 2011) , kabla ya usajili (Humphreys, Sierra, and Windt 2013) , na mbinu kujifunza mashine kwamba jaribio la kuepuka juu-kufaa.