Баъд аз он,

• Муқаддима (боби 4.1)

Саволҳо дар бораи сабабҳои дар соҳаи тадқиқоти иҷтимоӣ аксаран мураккаб ва мураккаб мебошанд. Барои муносибати асоснок ба сабабҳои асосӣ дар асоси нишондиҳандаҳои асосӣ, ба Pearl (2009) нигаред ва муносибати асосиро бар асоси натиҷаҳои имконпазир, ба Imbens and Rubin (2015) . Барои муқоиса байни ин ду усул, ба Morgan and Winship (2014) нигаред Morgan and Winship (2014) . Барои муносибати расмӣ барои муайян кардани VanderWeele and Shpitser (2013) .

Дар ин боб, ман чӣ гуна ба монанди хати дурахшон дар байни қобилияти мо барои муайян кардани сабабҳои натуралӣ аз маълумотҳои таҷрибавӣ ва ғайрифаъол истифода мебарам. Аммо, ман фикр мекунам, ки дар асл, фарқияти бештар равшантар аст. Масалан, ҳар кас имкон медиҳад, ки тамокукашӣ боиси саратон гардад, ҳарчанд таҷрибаи назоратии тасодуфӣ, ки одамонро ба тамокукашӣ маҷбур мекунанд, ҳаргиз иҷро намешаванд. Барои табобати беҳтарин дар бораи Shadish, Cook, and Campbell (2001) оид ба таҳлили сабабҳои носаҳеҳ аз маълумоти ғайримуқаррарӣ, Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) ва Dunning (2012) .

Фасли 1 ва 2 аз Freedman, Pisani, and Purves (2007) ба таври равшан ба фарқиятҳои байни таҷрибаҳо, таҷрибаҳои контролӣ ва таҷрибаҳои тасодуфӣ назорат карда мешаванд.

Manzi (2012) ба як фантастикӣ ва статистикаи таҷрибаҳои тасодуфии назоратшаванда муаррифӣ мекунад. Он инчунин намунаҳои шавқовари воқеии ҷаҳонии қобилияти таҷрибаи кориро дар соҳаи бизнес фароҳам меорад. Issenberg (2012) барои истифодаи таҷрибаи дар маъракаҳои сиёсӣ саёҳатомез тавсиф мекунад.

• Тадқиқотҳо кадоманд? (боби 4.2)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, ва Athey and Imbens (2016b) ба ҷанбаҳои омории таҳия ва таҳлили таҷрибавӣ пешниҳод менамоянд. Сипас, таҷрибаҳои аълои истифодаи таҷрибаҳо дар соҳаҳои мухталиф гуногунанд: иқтисод (Bardsley et al. 2009) , ҷомеашиносӣ (Willer and Walker 2007; Jackson and Cox 2013) , психология (Aronson et al. 1989) , илмҳои сиёсӣ (Morton and Williams 2010) , ва сиёсати иҷтимоӣ (Glennerster and Takavarasha 2013) .

Муҳимияти ишғоли иштирокчӣ (масалан, интихобкунӣ) аксар вақт дар тадқиқоти таҷрибавӣ дида мешавад. Аммо, агар таъсири муолиҷа дар байни аҳолӣ хеле паҳн шуда бошад, пас тадқиқот муҳим аст. Longford (1999) ин нуқтаи назарро вақте ки ӯ барои тадқиқотчиён фикр мекунад, ки таҷрибаи тадқиқоти аҳолӣ бо намунаи санҷиширо ҳимоя мекунад.

• Ду намуди санҷишҳо: лабораторӣ ва аналоги рақамӣ (фасли 4.3)

Ман пешниҳод менамоям, ки дар байни таҷрибаҳои лабораторӣ ва санҷишӣ мавҷуд аст, ва таҳқиқотчиёни дигар пешниҳодҳои навъҳои муфассал, аз ҷумла онҳое, ки шаклҳои гуногуни таҷрибаҳои майдониро ҷудо мекунанд (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

Як қатор ҳуҷҷатҳо дар таҷриба (Falk and Heckman 2009; Cialdini 2009) ва дар натиҷаи натиҷаҳои таҷрибаҳои мушаххас дар соҳаи сиёсат (Coppock and Green 2015) , иқтисодиёт (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) ва психология (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) барои таҳлили натиҷаҳои санҷиши лабораторияҳо ва таҳқиқоти хуби таҳқиқот пешниҳод менамоянд. Parigi, Santana, and Cook (2017) тасвир мекунад, ки чӣ гуна таҷрибаҳои онлайн дар якчанд хусусиятҳои таҷрибаи лабораторияҳо ва таҷҳизотҳо метавонанд якҷоя шаванд.

Саволҳо дар бораи иштирокчиён тағйироти рафтори онҳо тағйир медиҳанд, зеро онҳо медонанд, ки ба наздикӣ мушоҳида мешаванд, баъзан таъсири номатонро номбар мекунанд ва онҳо дар психология (Orne 1962) ва иқтисодиёт (Zizzo 2010) омӯхта шудаанд. Гарчанде, ки асосан бо озмоишҳои лабораторӣ алоқаманд аст, ин масъалаҳо инчунин метавонанд барои таҷрибаҳои майдонҳо мушкилоти ҷиддӣ расонанд. Дар асл, таъсири эффективӣ баъзан таъсири Hawthorne номида мешавад, ки миқдори таҷрибаҳои маъруфи маъмулӣ, ки соли 1924 дар Корҳои Ғарбии Ширкати Шабакаи Электрик (Adair 1984; Levitt and List 2011) . Ҳар ду таъсири эффективӣ ва таъсири Hawxorne ба андешаи ченаки реактивӣ, ки дар боби 2 муҳокима шудаанд, ба назар мерасад (нигаред ба Webb et al. (1966) ).

Тадқиқотҳои майдони таърихӣ дар соҳаи иқтисодиёт (Levitt and List 2009) , илмҳои сиёсӣ (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , психология (Shadish 2002) ва сиёсати давлатӣ (Shadish and Cook 2009) . Яке аз соҳаи илмҳои ҷамъиятӣ, ки таҷрибаҳои майдони мазкур ба зудӣ табдил ёфтаанд, рушди байналмилалӣ мебошад. Барои баррасии мусбии ин кор дар иқтисодиёт Banerjee and Duflo (2009) , ва барои таҳқиқоти ҷиддӣ ба Deaton (2010) . Барои баррасии ин кор дар соҳаи сиёсат Humphreys and Weinstein (2009) . Дар ниҳоят, мушкилоти этикӣ, ки аз таҷрибаҳои майдон бармеоянд, дар заминаи илмҳои сиёсӣ (Humphreys 2015; Desposato 2016b) ва иқтисодиёти рушд (Baele 2013) .

Дар ин фасли мазкур ман тавсия додам, ки маълумоти пештараи табобатро барои такмил додани самараноки таъсири муолиҷаи табобат истифода баранд, аммо дар ин мавзӯъ баъзе баҳсу мунозира вуҷуд дорад; дидед Freedman (2008) , W. Lin (2013) , Berk et al. (2013) ва Bloniarz et al. (2016) барои маълумоти иловагӣ.

Дар ниҳоят, ду намуди дигар таҷрибаҳо аз ҷониби олимони иҷтимоӣ, ки ба андозаи лабораторӣ мувофиқат намекунанд, вуҷуд дорад: таҷрибаҳои тадқиқотӣ ва таҷрибаҳои иҷтимоӣ. Тестҳои тадқиқот таҷрибаи истифодаи инфрасохтори тадқиқоти мавҷуда ва муқоиса кардани ҷавобҳоро ба вариантҳои алоҳидаи ҳамон як саволҳо (баъзе таҷрибаҳои пурсиш дар боби 3 пешниҳод карда мешаванд); зеро бештар дар бораи таҷрибаҳои тадқиқотӣ дидан Mutz (2011) . Тестҳои иҷтимоӣ таҷрибаҳои таҷрибавиест, ки табобати баъзе сиёсатгузориҳои иҷтимоӣ, ки танҳо аз ҷониби ҳукумат амалӣ карда мешавад. Таҷрибаҳои иҷтимоӣ бо арзёбии барнома алоқаманданд. Барои бештар дар бораи таҷрибаҳои сиёсат, ниг. Heckman and Smith (1995) , Orr (1998) ва @ glennerster_running_2013.

• Гузаштан аз таҷрибаҳои оддӣ (боби 4.4)

Ман интихоб кардам, ки ба се консепсия равона шавам: эътимоднокӣ, фарогирии таъсири табобат ва механизмҳо. Ин мафҳумҳо дар соҳаҳои мухталиф гуногунанд. Масалан, психологҳо аз таҷрибаҳои оддии оддитарин тавассути диққати миёнаравон ва модераторҳо (Baron and Kenny 1986) . Мафҳуми миёнаравҳо аз ҷониби ман механизмҳо номида мешавад ва фикри модераторҳо бо ёрии ман ба таври самараноки берунӣ даъват карда мешаванд (масалан, натиҷаҳои экспертизаи онҳо дар ҳолатҳои гуногун фарқ мекунад) ва ҳосили фарқияти таъсири табобат ( Масалан, баъзеҳо барои баъзе одамон нисбат ба дигарон нисбатан калонтаранд).

Таљрибаи Schultz et al. (2007) нишон медиҳад, ки чӣ гуна тарҳҳои иҷтимоӣ барои таҳияи дахолати самаранок метавонанд истифода шаванд. Барои дониши умумӣ дар бораи нақши назария дар тарҳрезии тадбирҳои самарабахш, ниг. Walton (2014) .

• Шартнома (банди 4.4.1)

Консепсияҳои аслии дохилӣ ва берунӣ аввал аз тарафи Campbell (1957) . Ба Shadish, Cook, and Campbell (2001) барои таърихи муфассали таърихӣ ва таҳияи бодиққати мунтазами хулосаи оморӣ, эътимоднокии дохилӣ, бунёди эътибор ва эътибори берунӣ нигаред.

Барои шарҳи мухтасар оид ба эътибори омории марбут ба натиҷаҳои санҷишӣ дар таҷрибаҳо, ниг. Gerber and Green (2012) (аз нуқтаи назари иҷтимоӣ) ва Imbens and Rubin (2015) (аз нуқтаи назари оморӣ). Баъзе масъалаҳое, ки натиҷаҳои ниҳоии статистикии оморӣ, ки махсусан дар таҷрибаҳои онлайнӣ ба миён меоянд, масъалаҳои зеринро дар бар мегирад, ба монанди усулҳои муассири муассир барои ташкили (Bakshy and Eckles 2013) боварӣ бо маълумотҳои мустақим (Bakshy and Eckles 2013) .

Далели дохилӣ метавонад барои дар таҷрибаҳои мураккаби канданӣ таъмин кардани онҳо душвор бошад. Барои мисол, Gerber and Green (2000) , Imai (2005) ва Gerber and Green (2005) барои мубоҳиса дар бораи амалисозии таҷрибаи мураккаби дар бораи овоздиҳӣ нигаред. Kohavi et al. (2012) ва Kohavi et al. (2013) ба мушкилотҳои эътиборнокии фосилавӣ дар озмоишҳои онлайнӣ муаррифӣ мекунанд.

Яке аз таҳдидҳои ҷиддӣ барои эътидол дар дохили имконпазир будани таснифоти номутаносиб мебошад. Як роҳи имконпазир барои ошкор кардани проблемаҳо бо таснифӣ ба гурӯҳҳои табобат ва назорат дар хусусиятҳои мушаххас. Ин гуна муқоиса ба санҷиши тавозун номида мешавад. Барои Hansen and Bowers (2008) ба равиши оморӣ оид ба санҷиши тавозуни ва Mutz and Pemantle (2015) ба нигарониҳо дар бораи тафтиши тавозун. Масалан, бо истифода аз санҷиши тавозун, Allcott (2011) баъзе далелҳоро тасдиқ кард, ки таснифот дар се санҷиши таҷрибаи корӣ дуруст нест (нигаред ба ҷадвали 2, сайтҳо 2, 6 ва 8). Барои равишҳои дигар, ба боби 21-и Imbens and Rubin (2015) .

Дигар масъалаҳое, ки ба эътиқоди дохилӣ алоқаманданд, инҳоянд: (1) ягона якбора, ки ҳамаи онҳо дар табобати ҳақиқӣ ба табобат дастрасӣ доранд, (2) ғайриқонунӣ дуҷониба, ки ҳамаи онҳо дар табобат ба табобат ва баъзе одамон Гурӯҳи назоратӣ ба табобати гирифташуда (3), ки дар натиҷа барои баъзе иштироккунандагон натиҷа нагирифтааст ва (4) дахолат, ки дар он ҳолати муолиҷа аз одамони ҳолати муолиҷа ба ҳолати одамони таҳти назорати таҳти назорат қарордоштаро халос кардан мумкин аст. Ба қисмҳои 5, 6, 7 ва 8-и Gerber and Green (2012) барои ҳар яке аз ин масъалаҳо.

Бештар барои бунёди қонунӣ, ба Westen and Rosenthal (2003) , ва барои бештар дар бораи манбаъҳои зиёди иттилоотӣ бунёд кардани Lazer (2015) ва боби 2-и ин китоб.

Яке аз усули аслии беруна ин муқарраротест, ки дахолати он санҷида мешавад. Allcott (2015) муолиҷаи назариявии назариявӣ ва Allcott (2015) сайти интихобии Allcott (2015) таъмин мекунад. Ин масъала ҳамчунин аз ҷониби Deaton (2010) . Дигар намуди самаранокии беруна ин аст, ки оё амалиётҳои алтернативии ҳамон як раванд таъсир мерасонад. Дар ин ҳолат, муқоиса байни Schultz et al. (2007) ва Allcott (2011) нишон медињанд, ки таљрибаи ихтиёрї нисбат ба таљрибаи муосири Schultz ва њамкорон (1.7% нисбат ба 5%) таъсири нисбатан арзон дорад. Allcott (2011) тавсиф кард, ки таҷрибаҳои Allcott (2011) бо сабаби роҳҳои табобат фарқ мекунанд: а) дастури тасвири тасвирӣ ҳамчун қисми тадқиқоте, ки аз тарафи донишгоҳ сарпарастӣ шудааст, дар муқоиса бо асарҳои чопшуда ҳамчун қисмҳои истеҳсолшуда гузориш аз ширкати энергетикӣ.

• Heterogeneity of таъсири табобат (фасли 4.4.2)

Барои шарҳи хуби геогенсиалии таъсири табобат дар таҷрибаҳои маҳаллӣ, ба боби 12 Gerber and Green (2012) . Барои Kravitz, Duan, and Braslow (2004) табобати муолиҷа дар мурофиаи тиббӣ, ба Kent and Hayward (2007) , Longford (1999) , Kravitz, Duan, and Braslow (2004) . Мушаххасоти ҳассосияти оқибатҳои табобат одатан ба фарқиятҳо вобаста ба хусусиятҳои пешакии табобат нигаронида шудааст. Агар шумо ба heterogeneity дар асоси натиҷаҳои баъд аз табобат шавқманд шавед, пас усулҳои нисбатан мураккаб, ба монанди (Frangakis and Rubin 2002) асосӣ (Frangakis and Rubin 2002) ; ниг Page et al. (2015) барои барраси.

Бисёр таҳқиқгароне, ки ба таъсири герметикӣ табдил меёбанд, бо истифодаи рефренентҳои рентгенентӣ, вале усулҳои навтар ба омӯзиши машқҳо такя мекунанд; Барои мисол, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , ва Athey and Imbens (2016a) .

Дар баъзе мавридҳо дар бораи натиҷаҳои геногении таъсири онҳо бо сабаби мушкилоти муқоисашуда ва "моҳидорӣ" вуҷуд дорад. Якчанд омилҳои оморӣ вуҷуд доранд, ки метавонанд дар муқоиса бо (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) муқоиса кунанд (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Яке аз усулҳои марбут ба "маркетинг" пеш аз бақайдгирӣ, ки дар психология (Nosek and Lakens 2014) , илмҳои сиёсӣ (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ва иқтисоди (Olken 2015) .

Дар тадқиқоти Costa and Kahn (2013) танҳо тақрибан нисфи хонаводаҳо дар озмоиш метавонанд ба маълумоти демографӣ алоқаманд бошанд. Одамоне, ки ба ин маълумотҳо манфиатдоранд, бояд ба коғази аслӣ муроҷиат кунанд.

• Механизмҳо (банди 4.4.3)

Механизмҳо хеле бениҳоят муҳиманд, аммо онҳо ба омӯзиши хеле душвор табдил меёбанд. Таҳқиқоти механизмҳо ба омӯзиши mediator дар психология алоқаманд аст (аммо ба VanderWeele (2009) барои муқоисаи дақиқ байни ду ақидаҳо нигаред). Муносибатҳои оморӣ барои дарёфти механизмҳо, ба монанди тарзи таҳия дар Baron and Kenny (1986) маъмуланд. Мутаассифона, ин протоколҳо ба он ишора мекунанд, ки ин протоколҳо ба баъзе қимматҳои қавӣ (Bullock, Green, and Ha 2010) вобастаанд ва ҳангоми механизмҳои гуногун вуҷуд доранд, чунки яке аз ҳолатҳо интизориҳои зиёд аст (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) ва Imai and Yamamoto (2013) баъзе усулҳои беҳтарсозии оморӣ пешниҳод мекунанд. Ғайр аз ин, VanderWeele (2015) бо таблиғи китобҳои дарозмуддат бо як қатор натиҷаҳои муҳим, аз он ҷумла равиши ҳамаҷониба таҳлили ҳассосӣ пешниҳод мекунад.

Як равиши алоҳида ба таҷрибаҳое, ки кӯшиш мекунанд, ки механизми мустақимро идора кунанд (масалан, ба витамини C гузоштан). Мутаассифона, дар бисёр самтҳои илмии иҷтимоӣ, аксар вақт механизмҳои гуногун вуҷуд доранд ва тарҳрезӣ кардани табобат, ки бе тағйир додани дигарон дигаргун карда шудааст. Баъзеҳо ба механизмҳои тағйирёбандаи механизмҳо аз ҷониби Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) ва Pirlott and MacKinnon (2016) .

Тадқиқотчиёне, ки пурра таҷрибаи фрактики доранд, бояд ба санҷиши якчанд гипотез нигаронида шаванд; Барои иттилооти бештар ба Fink, McConnell, and Vollmer (2014) ва List, Shaikh, and Xu (2016) нигаред.

Ниҳоят, механизмҳо низ дар философияи илм, ки аз тарафи Hedström and Ylikoski (2010) тасвир шудааст, таърих доранд.

• Истифодаи муҳити мавҷуда (боби 4.5.1)

Барои гирифтани маълумоти бештар оид ба истифодаи тадқиқоти мукотиба ва таҳқиқи аудит барои санҷидани табъиз, ба Pager (2007) .

• Таҷрибаи шахсии худ созед (боби 4.5.2)

Тарзи маъмултарини иштироккунандагон ба таҷрибаҳое, ки шумо сохтед, он аст, ки Туркиёи Амазонки механикӣ (MTurk). Азбаски MTurk ҷанбаҳои таҷрибаҳои функсионалии мутахассисон-пардохтани одамон барои иҷрои вазифаҳое, ки онҳо барои тадқиқотчиёни ройгон кор намекунанд, аллакай бо истифода аз иштирокчиёни таҷрибадор тавассути Turkers (кормандони MTurk) шурӯъ кардаанд, ки ба ҷамъоварии маълумотҳои зудтар ва арзон ноил шудан мумкин аст дар (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) маъхази маъмулӣ (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

Умуман, афзалиятҳои бузурги истифодабарии иштирокчиён аз MTurk мебошанд логистикӣ мебошанд. Дар ҳоле, ки таҷрибаҳои лабораторӣ метавонанд ҳафтаҳо гузаранд, то таҷҳизот ва майдонҳои озмоишӣ метавонанд моҳҳо ташкил кунанд, таҷрибаҳо бо иштирокчиён аз ҳисоби MTurk метавонанд дар рӯз кор кунанд. Масалан, Berinsky, Huber, and Lenz (2012) қодир буданд 400 мавзӯъро дар як рӯзи истироҳат барои иштирок дар озмоишии 8 дақиқа хонанд. Ғайр аз ин, ин иштирокчиён барои ҳар як мақсад (аз ҷумла тадқиқотҳо ва ҳамкории оммавӣ, ки дар бобҳои 3 ва 5 муҳокима карда мешаванд) метавонанд ба кор ҷалб карда шаванд. Ин осонтар кардани талабот маънои онро дорад, ки тадқиқотчиён метавонанд пайдарпаии таҷрибаҳои алоқаманд бо муваффақияти фаврӣ иҷро карда шаванд.

Пеш аз он, ки иштирокчиёни MTT-ро барои таҷрибаҳои худ интихоб кунед, чор чизҳои муҳиме ҳастанд, ки шумо бояд донед. Аввалан, бисёре аз тадқиқотчиён шубҳае нестанд, ки таҷрибаи ҷаҳонӣ доранд. Азбаски ин шикастнопазирӣ мушаххас нест, бо далелҳо муқобилият кардан душвор аст. Аммо пас аз чандин тадқиқоте, ки бо Turkers истифода мебаранд, мо ҳоло метавонем чунин хулоса кунем, ки ин шикастдиҳӣ махсусан асоснок нест. Таҳқиқоти бисёре, ки дар бораи аҳолии Туркистон бо онҳое, ки дар дигар халқҳо зиндагӣ мекунанд, дар муқоиса бо натиҷаҳои озмоишҳо бо Туркерсҳо, ки аз дигар халқҳо фарқ мекунанд, ба назар мерасанд. Бо назардошти ҳамаи ин корҳо, ман фикр мекунам, ки беҳтарини шумо дар бораи он фикр кардан дар он аст, ки Туркманон намунаи осоние мебошанд, ки ба монанди донишҷӯён, вале якчанд фарқияти гуногун (Berinsky, Huber, and Lenz 2012) . Ҳамин тариқ, чуноне ки донишҷӯён маъмулан барои баъзеҳо ҳастанд, аммо на ҳама, тадқиқот, Туркменҳо барои баъзеҳо, вале на ҳама, тадқиқот мебошанд. Агар шумо бо Туркистон машғул шавед, пас аз он ки бисёре аз ин таҳқиқоти муқоисавиро хонед ва фаҳмиши онҳоро фаҳманд, меафзояд.

Дуюм, таҳқиқотҳо барои таҷрибаомӯзии дохилии таҷрибаҳои MTURk таҷрибаи беҳтаринро таҳия намудаанд ва шумо бояд ин таҷрибаҳои беҳтаринро омӯзед (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Масалан, тадқиқотчиён бо истифодабарандагони Turkers тавсия медиҳанд, ки барномарезонро барои пинҳон кардани иштироккунандагон (Berinsky, Margolis, and Sances 2014, 2016) (Инчунин, инчунин ба DJ Hauser and Schwarz (2015b) ва DJ Hauser and Schwarz (2015a) нигаред. Агар шумо иштирокчиёни муқобилро тарк накунед, пас ягон таъсири муолиҷаро бо садое, ки онҳо муаррифӣ мекунанд, шуста мешаванд ва дар амал таҷрибаи иштирокчиёни бепарвӣ хеле муҳим аст. Дар озмоиш аз ҷониби Huber ва ҳамкасбони (2012) , тақрибан 30% иштирокчӣ иштироккунандагони асосии диг. Масъалаҳои дигаре, ки вақте ки Туркистон истифода мешаванд, одатан аз иштирокчиёни ғайримусулмонӣ (Chandler et al. 2015) ва саркашӣ (Zhou and Fishbach 2016) мебошанд.

Сеюм, нисбат ба баъзе шаклҳои дигар таҷрибаҳои рақамӣ, таҷрибаҳои MTURk наметавонанд тавонанд; Stewart et al. (2015) арзёбӣ мешавад, ки дар муддати ҳар лаҳза тақрибан 7,000 нафар дар бораи MTT мебошанд.

Дар охир, шумо бояд донед, ки MT MTk як ҷомеаро бо қоидаву меъёрҳои худ (Mason and Suri 2012) . Ҳамин тариқ, шумо кӯшиш мекунед, ки дар бораи фарҳанги кишваре, ки дар он шумо таҷрибаи худро мехоҳед, фаҳмед, шумо бояд кӯшиш кунед, ки дар бораи фарҳанг ва меъёрҳои Туркиён (Salehi et al. 2015) қаҳрамонон (Salehi et al. 2015) бештар фаҳмед. Ва шумо бояд бидонед, ки Туркистонҳо дар бораи таҷрибаи худ гап мезананд, агар шумо ягон чизи нодуруст ё ғайриоддӣ накунед (Gray et al. 2016) .

MTurk роҳи беҳтаринест, ки ба иштирокчиёни озмун барои таҷрибаҳои худ ҷалб кардан мехоҳанд, оё онҳо аз лабораторияҳо, аз он ҷумла Huber, Hill, and Lenz (2012) , ё дар бозиҳои бештар, ба монанди Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) ва Mao et al. (2016) .

• Маҳсулотҳои худро созед (боби 4.5.3)

Агар шумо фикр кунед, ки кӯшиш кунед, ки маҳсулотҳои худро эҷод кунед, ман тавсия медиҳам, ки маслиҳатҳои пешниҳодшудаи MovieLens-ро дар Harper and Konstan (2015) . Муҳокимати асосӣ аз таҷрибаи онҳо ин аст, ки барои ҳар як лоиҳаи бомуваффақият бисёр ва бисёр камбудиҳо мавҷуданд. Масалан, гурӯҳи MovieLens гурӯҳҳои дигар, аз қабили GopherAnswers, ки хатоҳои пурра (Harper and Konstan 2015) . Намунаи дигари тадқиқоте, ки ҳангоми кӯшиши сохтани маҳсулот ба воя расидааст, Эдвард Кастротаова кӯшиш мекунад, ки бозии онлайнии Арденро таъсис диҳад. Гарчанде 250,000 долларро дар маблағгузорӣ сарфи назар кардан мумкин буд, лоиҳа флоп (Baker 2008) . Лоиҳаҳои монанди Гоперснссерс ва Арден аз чи гуна лоиҳаҳое монанди MovieLens маъмуланд.

• Шарикони бо тавонманд (фасли 4.5.4)

Ман дар бораи он фикр мекунам, ки Quaderant Pasteur аксар вақт дар ширкатҳои технологӣ мубодилаи афкор намуда, кӯшишҳои тадқиқотии Google (Spector, Norvig, and Petrov 2012) .

Таҳқиқ ва таҳсили ихтисосҳо (2012) инчунин кӯшиш мекунанд, ки таъсири ин табобатонро ба дӯстони онҳое, ки онҳоро қабул кардаанд, ошкор созанд. Аз сабаби тарҳрезии таҷрибаи мазкур, ин сӯзандаҳо барои тоза кардани бадан хеле осонанд; хонандагони манфиатдор бояд Bond et al. (2012) бинанд Bond et al. (2012) барои муҳокимаҳои ҳамаҷониба. Ҷонсҳо ва ҳамкасбони (2017) низ дар давоми соли 2012 таҷрибаи хеле монанд гузаронидаанд. Ин таҷрибаҳо қисми таркиби озмоишҳои санҷишӣ дар соҳаи сиёсат дар бораи кӯшиши ҳавасмандгардонии овоздиҳӣ (Green and Gerber 2015) мебошанд. Чунин озмоишҳо дар натиҷаи овоздиҳӣ умумӣ, қисман аз он сабаб, ки дар Қадами Pasteur мебошанд. Ин аст, ки бисёри одамоне, ки барои баланд бардоштани овоздиҳӣ ва овоздиҳӣ ҳавасманд мешаванд, метавонанд барои таҳлили назарияҳои умумӣ дар бораи рафтори рафтор ва таъсири иҷтимоиашон шавқовар бошанд.

Барои маслиҳат дар бораи таҷрибаҳои соҳавӣ бо ташкилотҳои шарик, ба монанди ҳизбҳои сиёсӣ, созмонҳои ғайриҳукуматӣ ва бизнес, ба Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , ва Gueron (2002) . Барои андеша дар бораи он, ки чӣ гуна шарикӣ бо ташкилотҳо ба тарҳҳои таҳқиқотӣ таъсир мерасонанд, нигаред King et al. (2007) ва Green, Calfano, and Aronow (2014) . Шарикӣ низ метавонад ба саволҳои ахлоқӣ, ки аз ҷониби Humphreys (2015) ва Nickerson and Hyde (2016) .

• Маслиҳати тарҳрезӣ (боби 4.6)

Агар шумо пеш аз гузаштани таҷрибаи худ шумо нақшаи таҳлилиро эҷод кунед, ман пешниҳод мекунам, ки бо роҳнамоии ҳисоботдиҳӣ ҳисобот диҳед. Дастурамалҳои консессия оид ба озмоишҳо дар соҳаи тиб (Schulz et al. 2010) ва барои таҳқиқоти иҷтимоию таҳқиқотӣ (Mayo-Wilson et al. 2013) . Як маҷмӯаи дахлдори дастурҳо аз ҷониби муҳаррирони маҷаллаи илмии санҷишӣ (Gerber et al. 2014) (инчунин ба Mutz and Pemantle (2015) ва Gerber et al. (2015) нигаред. Ниҳоят, роҳнамоии ҳисобот дар психология (APA Working Group 2008) ва инчунин Simmons, Nelson, and Simonsohn (2011) .

Агар шумо нақшаи таҳлилиро эҷод кунед, шумо бояд пеш аз бақайдгирӣ онро баррасӣ кунед, зеро пеш аз бақайдгирӣ эътимодеро, ки дигарон дар натиҷаи шумо доранд, зиёд мекунанд. Ғайр аз ин, агар шумо бо шарик ҳамкорӣ кунед, он пас аз дидани натиҷаҳои таҳлил тағйири таҳлилро шарҳ медиҳад. Пеш аз бақайдгирӣ дар соҳаи психология (Nosek and Lakens 2014) , илмҳои сиёсӣ (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) ва иқтисодиёт (Olken 2015) .

Маслиҳатҳои тарҳрезишуда, ки барои санҷишҳо дар соҳаи онлайн дар Konstan and Chen (2007) ва Chen and Konstan (2015) .

Он чизе, ки ман стратегияи воҳидиро даъват кардам, баъзан тадқиқоти барномавӣ номида мешавад; дидед Wilson, Aronson, and Carlsmith (2010) .

• Эҷоди арзиши тағйирёбии сифатии сифр (ҷадвали 4.6.1)

Барои бештар дар озмоишҳои Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) ва Salganik (2007) . Барои гирифтани ғолиби мусобиқа - ҳамаи бозорҳо, лутфан Frank and Cook (1996) . Бештар дар бораи шукргузорӣ ва маҳорати бештар умуман, нигаред ба Mauboussin (2012) , Watts (2012) ва Frank (2016) .

Тарзи дигари бартараф кардани пардохтҳои иштироккунанда, ки таҳқиқотчиён бояд эҳтиёткор бошанд: армия. Дар бисёр озмоишҳои онлайнӣ иштироккунандагон асосан ба таҷрибаҳо таҳия карда мешаванд ва ҳеҷ гоҳ ҷуброн намекунанд. Намунаҳои ин равиш дар таҷрибаи таҷдиди Департаменти ва Van de Rijt (2012) дар озмуни Википедия ва Бонд ва ҳамсинф (2012) оид ба ҳавасмандгардонии одамон ба овоздиҳӣ иборатанд. Ин таҷрибаҳо дар ҳақиқат хароҷоти сифрии сифр доранд, на ин ки онҳо ба тадқиқотчиён арзиши тағйирёбандаи сифр доранд. Дар чунин санҷишҳо, ҳатто агар хароҷот барои ҳар як иштирокчӣ хеле хурд бошад, арзиши маҷмӯӣ хеле калон аст. Тадқиқотчиёни экстремистии экстремистии экстремистӣ аксар вақт аҳамияти таъсири муолиҷавии муолиҷаро мефаҳмонанд, ки ин таъсири манфии он ба бисёр одамон аҳамияти калон дорад. Дар ин ҳолат ҳамон тавре, ки дар боло зикр кардем, Агар таҷрибаи шумо як миллион нафарро ба як дақиқа партояд, таҷрибаи барои ягон шахси мушаххас зараровар нест, вале дар маҷмӯъ он тақрибан ду сол аст.

Тарзи дигари ташкили пардохти арзиши тағйирёбандаи сифр ба иштирокчиён истифодаи лотерея мебошад, ки он дар тадқиқоти тадқиқотӣ (Halpern et al. 2011) . Барои бештар дар бораи тарҳрезии таҷрибаи истифодабарандагони зебо, ба Toomim et al. (2011) . Барои бештар истифода бурдани блогҳо барои таҳрири санҷиши арзиши сифр ба назар мерасад ( ??? ) .

• Тағйир диҳед, ҷуброн кунед ва кам кунед (боби 4.6.2)

Се солҳо аз ҷониби Russell and Burch (1959) шудаанд:

«Иваз маънои иваз барои бошуурона зиндагӣ ҳайвонот баланди маводи insentient. Паст кардани сатњи паст гардид, яъне дар шумораи чорво истифода бурда мешавад барои ба даст овардани иттилооти маблағи мазкур ва дақиқ. Такмили маънои ҳама гуна кам кардани беморшавї ва ё сахтгирии расмиёти ѓайриинсониро нисбат ба касоне, ҳайвонот, ки ҳоло ҳам истифода шавад. "

Ман се R-ро, ки ман пешниҳод мекунам, принсипҳои ахлоқиро, ки дар боби 6 оварда шудаанд, бартараф накунанд, онҳо як варианти муфассалтаре аз яке аз принсипҳои фоиданоканд, махсусан дар таҷрибаи инсонӣ мебошанд.

Дар муқоиса бо аввалини R ("иваз"), муқоиса кардани таҷрибаи эмотсионалӣ (Kramer, Guillory, and Hancock 2014) ва таҷрибаи табиии (Lorenzo Coviello et al. 2014) дарсҳои якуми умумиҷаҳонӣ оид ба савдо ки аз таҷрибаҳо ба таҷрибаҳои табиат (ва дигар равишҳо, ки ба кӯшиши таҷрибаи тахассусӣ дар маълумоти ғайримуқаррарӣ мувофиқат мекунанд, нигаред ба боби 2 нигаред). Илова бар манфиатҳои этикӣ, аз таҷрибаи таҷрибавӣ ба таҳқиқоти ғайримуқаррарӣ гузаштан ба тадқиқотчиён барои таҳқиқи табобат имкон фароҳам меоранд, ки онҳо ба таври ғайримустақим ба ҷойгиршавӣ имкон намедиҳанд. Вале ин манфиатҳои этикӣ ва логистикӣ ба хароҷот оварда мерасонанд. Бо таљрибаи табиии тадќиќоткунандањо ба монанди љалби иштирокдорон, таснифот ва хусусияти табобат таъсири кам доранд. Масалан, як маҳдудияти боришот ҳамчун муолиҷаи он аст, ки он ҳам муассиртар мешавад ва номуваффақиятро коҳиш медиҳад. Дар рафти таҳқиқи таҷрибавӣ Kramer ва ҳамкорон тавонистанд мустақилона ва беэътибориро мустақилона танзим кунанд. Муносибати махсусе, ки аз тарафи Lorenzo Coviello et al. (2014) минбаъд L. Coviello, Fowler, and Franceschetti (2014) . Барои ҷорӣ кардани тағйирёбандаҳои таассурот, ки муносибати аз ҷониби Lorenzo Coviello et al. (2014) , Angrist and Pischke (2009) ( Angrist, Imbens, and Rubin (1996) камтар) ё Angrist, Imbens, and Rubin (1996) (бештар расмӣ). Барои шеваи тахассусии тағйирёбандаҳои тасвирӣ, Deaton (2010) , ва барои ҷорӣ намудани тағйирёбии тағирот бо асбобҳои заиф (борон ин таҷҳизоти суст аст), ба Murray (2006) нигаред Murray (2006) . Дар маҷмӯъ, омили хуб ба таҷрибаҳои табиӣ Dunning (2012) , дар ҳоле ки Rosenbaum (2002) , ( ??? ) ва Shadish, Cook, and Campbell (2001) пешниҳодҳои хубро дар бораи арзёбии натиҷаҳои ногузир бе озмоиш пешниҳод мекунанд.

Ҳангоми дуюми R (дуюмдараҷа), ҳангоми баррасии тағйирёбии таркиби эмотсионалӣ аз бастаи постҳо ба вусъатдиҳии паёмҳо, илмӣ ва логистикӣ мавҷуданд. Масалан, дар сурате, ки татбиқи техникии Нашри Нав аз он имконият медиҳад, ки таҷрибае, ки дар он паёмҳо баста шуда бошанд, на бештар аз оне, ки онҳо зиёданд, ба назар гирифта шаванд (ёдоварӣ кунед, ки таҷрибаи бастани постгоҳҳо мумкин аст иҷро карда шавад ҳамчун қабати болои системаи нави озуқаворӣ бе зарурат барои тағйир додани системаи аслӣ). Аммо, илмӣ, назарияе, ки аз таҷрибаи худ ҳал карда шуда буд, як тарҳро дар бораи дигар тарҳрезӣ баён накардааст. Мутаассифона ман аз тадқиқоти пешакии пешакӣ дар бораи беҳбудии нисбии блок ва афзоиши мундариҷаи News Feed. Ҳамчунин, ман таҳқиқоти зиёд дар бораи такмили табобатҳо барои кам кардани зарарро надидаам; Яке аз истилоҳоест, ки B. Jones and Feamster (2015) , ки дар бораи санҷиши сензура дар Интернет (мавзӯи муҳокима дар боби 6 дар робита бо омӯзиши Encore (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ) баррасӣ мешаванд.

Дар марҳилаи сеюм ("кам кардани"), омўзиши хуби таҳлили анъанавии энергетикӣ аз тарафи Cohen (1988) ) ва китоби Cohen (1992) (мақолаи) дода мешавад, дар ҳоле ки Gelman and Carlin (2014) як дурнамои каме пешниҳод мекунанд. Дараҷаи тарҳрезӣ ва таҳлили таҷрибаҳо дар тарҳҳои пешпардохт дохил карда мешаванд; Боби 4 Gerber and Green (2012) ба ду равиши хуб муаррифӣ мекунад ва Casella (2008) барои табобати амиқтари бештар таъмин аст. Техникаҳое, ки ин пешакии табобатро дар таснифот истифода мебаранд, маъмулан тасвири таҷрибаи дандоншиканӣ ё тарҳҳои таҷрибавии таҷрибавӣ номида мешаванд (истинодҳо доимо дар саросари ҷомеаҳо истифода намешаванд); ин техникаҳо бо усулҳои таҳлили таҳлили дар боби 3 Higgins, Sävje, and Sekhon (2016) . Барои дидани истифодаи ин тарҳҳо дар озмоишҳои калонтар Higgins, Sävje, and Sekhon (2016) муроҷиат кунед. Ҳамчунин, дар марҳилаи таҳлили ҳамоҳангсозии пешпардохтҳо низ метавон истифода бурд. McKenzie (2012) равиши фарқияти фарқиятро барои таҳлили таҷрибаҳои саҳро дар муфассалтар таҳлил мекунад. Барои Carneiro, Lee, and Wilhelm (2016) бештар барои савдогарон дар байни равишҳои гуногун барои баланд бардоштани ҳассос дар ҳисобҳои таъсири табобат нигаред. Дар ниҳоят, вақте ки қарор қабул кардан мумкин аст, ки оё кӯшиш кардан ба вариантҳои пешакӣ дар марҳилаи тарҳрезӣ ё таҳлилӣ (ё ҳам) вуҷуд дошта бошад, якчанд омилҳо дида баромада мешаванд. Дар ҷойе, ки тадқиқотчиён мехоҳанд нишон диҳанд, ки онҳо «моҳирона» (Humphreys, Sierra, and Windt 2013) , бо истифода аз услубҳои пешакӣ дар марҳилаи тарҳрезӣ метавонанд кӯмак кунанд (Higgins, Sävje, and Sekhon 2016) . Дар ҳолатҳое, ки иштирокчиён дар якҷоягӣ, махсусан таҷрибаҳои майдони онлайнӣ ба воя мерасанд, бо истифода аз маълумоти пешакӣ дар марҳилаи тарҳрезӣ логистикӣ метавонанд душвор бошанд; Барои мисол, Xie and Aurisset (2016) .

Ин арзиши каме дар бораи он аст, ки чаро муносибати фарқияти фарқият аз як фарқият дар як чизи муассир метавонад самараноктар бошад. Бисёре аз онлайнҳо натиҷаҳои хеле фаровон доранд (нигаред ба мисол, RA Lewis and Rao (2015) ва Lamb et al. (2015) ). Дар ин ҳолат, холҳои тағйирёфта ба тақсимбандии назарраси хурд таъсир мерасонанд, афзоиши қобилияти санҷиши оморӣ. Яке аз сабабҳои ин усули бештар истифода нашудани он аст, ки пеш аз синну соли рақамӣ умуман вуҷуд надорад, ки натиҷаҳои пешакии табобатӣ умумӣ набошанд. Роҳи бештаре, ки дар бораи он фикр кардан аст, тасаввур кардан душвор аст, ки оё таҷрибаи мушаххаси вазнини вазнин ба миён меояд. Агар шумо муносибати фарогирро қабул кунед, тахминии шумо аз тағйирёбии иқлим дар аҳолӣ вобаста хоҳад буд. Аммо агар шумо муносибати фарқияти гуногунро ба амал оваред, вале варианти табиие, ки дар вазнҳои вазнин бартараф карда мешаванд, бартараф карда мешавад, ва шумо метавонед ба осонӣ фарқияти байни табобатро пайдо кунед.

Ниҳоят, Ман иловаи чорумин R: "repurpose" -ро илова кардам. Ин аст, ки агар тадқиқотчиён бо маълумотҳои бештар таҷрибавӣ ба назар гиранд, ки онҳо бояд ба саволҳои аслии тадқиқотии худ ҷавобгӯ бошанд, онҳо бояд маълумотро барои пурсидани саволҳо баргардонанд. Масалан, тасаввур кунед, ки Kramer ва ҳамкорон бо дарназардошти фарқияти фарқиятҳои гуногун истифода бурда, худро бо маълумоти бештар ба даст оварданд, аз оне, ки онҳо барои ҳалли масъалаҳои таҳқиқоти худ заруранд. Ба ҷои он ки маълумотро ба таври пурра истифода набаред, онҳо метавонанд ба андозаи таъсири он ҳамчун функсияҳои изҳори ташвиши пешакӣ табдил ёбанд. Ҳамчун Schultz et al. (2007) нишон дод, ки таъсири муолиҷа барои истифодабарандагони сабук ва вазнин фарқ мекунад, шояд, ки таъсири Нашри Нав барои одамоне, ки аллакай паёмҳои хушбахтаро (ё ғамгин) менавишт, фарқ мекарданд. Реферинг метавонад ба «моҳидиҳанда» (Humphreys, Sierra, and Windt 2013) ва «П-хронинг» (Simmons, Nelson, and Simonsohn 2011) , аммо инҳо бо якҷоя бо ҳисоботи (Simmons, Nelson, and Simonsohn 2011) , пеш аз бақайдгирӣ (Humphreys, Sierra, and Windt 2013) , ва усулҳои омӯзиши мошинҳо, ки кӯшиш мекунанд, ки аз пешрафтатарин канорагирӣ кунанд.