további kommentár

Ez a szakasz célja, hogy kell használni, mint a referencia, ahelyett, hogy kell értelmezni, mint egy elbeszélés.

• Bevezetés (4.1 fejezet)

Kérdések okság társadalomkutatás gyakran összetett és bonyolult. Egy alapvető megközelítése okság alapján okozati grafikonok, lásd Pearl (2009) , és egy alapítványi alapuló megközelítés lehetséges eredmények, lásd Imbens and Rubin (2015) (és a műszaki függelékben ebben a fejezetben). Összehasonlítását a két megközelítés, lásd Morgan and Winship (2014) . Formális megközelítése, a zavaró tényezők, lásd VanderWeele and Shpitser (2013) .

A fejezetben létre, amit úgy tűnt, mint egy világos vonal között a képességét, hogy ok-okozati becslések kísérleti és nem kísérleti adatok. A valóságban úgy vélem, hogy a megkülönböztetés homályosabb. Például mindenki elfogadja, hogy a dohányzás rákot okoz még akkor is, még soha nem végzett randomizált, kontrollált kísérlet, amely arra kényszeríti az embereket, hogy a füst. A kiváló könyv hosszúságú kezelések hogy okozati becslései nem kísérleti adatokat lásd Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , és Dunning (2012) .

1. és 2. fejezete a Freedman, Pisani, and Purves (2007) nyújt világos behurcolása közötti különbségeket kísérletek, ellenőrzött kísérletek, és a randomizált kontrollált kísérletek.

Manzi (2012) nyújt lenyűgöző és olvasható bevezetés a filozófiai és statisztikai alapjait randomizált, kontrollált kísérletek. Azt is előírja, érdekes valós példákat a hatalom a kísérletezés az üzleti életben.

• Mik kísérletek? (4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) , amely jó bevezetők a statisztikai szempontból a kísérleti tervezés és elemzés. Továbbá, vannak kiváló kezelések használatának kísérletek különböző területeken: közgazdaságtan (Bardsley et al. 2009) , a szociológia (Willer and Walker 2007; Jackson and Cox 2013) , pszichológia (Aronson et al. 1989) , politikatudomány (Morton and Williams 2010) , és a szociális politika (Glennerster and Takavarasha 2013) .

Különösen fontos a résztvevő toborzás (pl mintavétel) gyakran alábecsült a kísérleti kutatás. Azonban, ha a hatás a kezelés heterogén lakosság, majd a mintavétel kritikus. Longford (1999) teszi ezt a pontot világosan, amikor támogatja a kutatók gondolt kísérletek, mint a lakosság körében végzett felmérés a rendszertelenül mintavétel.

• Két dimenziója kísérletek: lab-mező és analóg-digitális (4.3)

A kettősség, amit bemutatott között laboratóriumi és szántóföldi kísérletek egy kicsit egyszerűsíteni. Sőt, más kutatók javasolt részletesebb tipológiát, különösen olyanokat, amelyek elválasztják a különböző formáinak a kísérletek (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . Továbbá, van két másik típusú kísérletek által végzett társadalomtudósok, amelyek nem illeszkedik pontosan a laboratóriumi és helyszíni kettősség: felmérés kísérletek és a társadalmi kísérletek. Survey kísérleteket kísérleteket az infrastruktúrát használó meglévő felmérések és hasonlítsa válaszok alternatív változatait ugyanazokat a kérdéseket (néhány felmérés kísérletek a 3. fejezetben bemutatott); További felmérési kísérleteken Mutz (2011) . Társadalmi kísérletek kísérletekben, ahol a kezelés egyes szociálpolitikai hogy csak akkor lehet végrehajtani a kormány. Társadalmi kísérletek szorosan kapcsolódik a program értékelése. További politikai kísérletek, lásd Orr (1998) , Glennerster and Takavarasha (2013) , és Heckman and Smith (1995) .

Számos papírok képest laboratóriumi és helyszíni kísérletek absztrakt (Falk and Heckman 2009; Cialdini 2009) , mind az eredmények konkrét kísérletek politikatudomány (Coppock and Green 2015) , gazdaság (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) és pszichológiai (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) egy szép kutatási terv összehasonlítására eredményeket laboratóriumi és helyszíni kísérletek.

Aggodalmak a résztvevők viselkedésük megváltoztatásával, mert tudják ők is szoros megfigyelés néha keresleti hatások, és tanulmányozták a pszichológiában (Orne 1962) és a gazdaság (Zizzo 2009) . Bár leginkább kapcsolódó laboratóriumi kísérletekben ugyanezek problémákat okozhat a szabadföldi kísérletek is. Tény, hogy a keresleti hatások is nevezik Hawthorne hatás, amely fogalom származik szántóföldi kísérletben kimondottan a híres megvilágítás kísérletek kezdődött 1924-ben a Hawthorne Works a Western Electric Company (Adair 1984; Levitt and List 2011) . Mind a keresleti hatások és galagonya hatását szorosan összefügg azzal a gondolattal, reaktív mérési 2. fejezetben (lásd még Webb et al. (1966) ).

A történelem szántóföldi kísérletek leírták közgazdaságtan (Levitt and List 2009) , a politikatudomány (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , pszichológia (Shadish 2002) , valamint a közrend (Shadish and Cook 2009) . Az egyik terület a társadalomtudományi, ahol szántóföldi kísérletek hamar kiemelkedő a nemzetközi fejlesztés. A pozitív felülvizsgálatát, hogy a munkát a gazdaság lásd Banerjee and Duflo (2009) , valamint a kritikus értékelését lásd Deaton (2010) . Felülvizsgálatát ennek a munkának a politikai tudományok lásd Humphreys and Weinstein (2009) . Végül az etikai kihívásokra, amelyek a terepi kísérletek feltárták politológia (Humphreys 2015; Desposato 2016b) és fejlesztési közgazdaságtan (Baele 2013) .

A fejezetben azt javasolta, hogy a kezelés előtti információt fel lehet használni, hogy javítsa a pontosság becsült kezelési hatások, de van némi vita erről a megközelítésről: Freedman (2008) , Lin (2013) , és Berk et al. (2013) ; lásd Bloniarz et al. (2016) további információért.

• Túllépve az egyszerű kísérletek (4.4)

Már döntött, hogy összpontosítson három fogalom: érvényesség, heterogenitása kezelés hatása, és mechanizmusokat. Ezek a fogalmak különböző neveket a különböző területeken. Például, pszichológusok mozognak túl egyszerű kísérletekre összpontosítva mediátorok és a moderátorok (Baron and Kenny 1986) . Az az elképzelés, mediátorok elfogott nevezem én mechanizmusok, és a gondolat moderátorok foglyul nevezem én külső érvényesség (pl lenne az eredményeket a kísérlet más, ha a futtatást a különböző helyzetekben), és heterogenitása kezelési hatások ( pl hatásai vannak a nagyobb egyeseknek, mint a többi ember).

A kísérlet a Schultz et al. (2007) azt mutatja, hogy a társadalmi elméleteket lehet használni, hogy tervezzen hatékony beavatkozás. Egy általánosabb érv az elmélet szerepét tervezésekor a hatékony beavatkozások, lásd Walton (2014) .

• Érvényességi (Section 4.4.1)

A belső és a külső érvényesség vezették be először Campbell (1957) . Lásd Shadish, Cook, and Campbell (2001) egy részletesebb történeti és gondos kidolgozása statisztikai következtetés érvényességét, a belső érvényesség, konstrukció érvényessége, és a külső érvényesség.

Áttekintést kapcsolatos kérdések statisztikai következtetés érvényességét kísérleteken Gerber and Green (2012) (a társadalomtudományi szempontból) és Imbens and Rubin (2015) (a statisztikai szempontból). Néhány kérdés a statisztikai következtetés érvényességét felmerülő kifejezetten az online szántóföldi kísérletekben olyan témákkal, mint számítási hatékony módszereket bizalom kialakítására időközönként függő adatok (Bakshy and Eckles 2013) .

Belső érvényesség nehéz lehet, hogy biztosítsa a komplex szántóföldi kísérletekben. Lásd például a Gerber and Green (2000) , Imai (2005) , és Gerber and Green (2005) a vitát a végrehajtás egy komplex terület kísérlet a szavazásról. Kohavi et al. (2012) és Kohavi et al. (2013) nyújt betekintést a kihívások intervallum érvényességi online szántóföldi kísérletekben.

Az egyik fő törekvése, belső érvényesség problémák véletlenszerűség. Az egyik módja annak, hogy a potenciálisan problémákat tapasztalunk a véletlenszerűség összehasonlítani a kezelt és kontroll csoportok megfigyelhető vonások. Ez a fajta összehasonlítás hívják egyensúly csekket. Lásd Hansen and Bowers (2008) egy statisztikai módszer az egyensúly ellenőrzés, és látni Mutz and Pemantle (2015) az aggodalmak egyensúly ellenőrzéseket. Például, egy mérleg ellenőrizze Allcott (2011) megállapította, hogy van némi bizonyíték arra, hogy a randomizálás nem hajtották végre helyesen három a kísérletek egyes OPower kísérletekben (lásd a 2. táblázatot; oldalak 2, 6, és 8). Más megközelítések, lásd Imbens and Rubin (2015) , 21. fejezet.

Egyéb jelentősebb kapcsolatos aggodalmak belső érvényesség: 1) egyoldalú be nem tartása, ahol nem mindenki a kezelt csoportban ténylegesen részesült ellátásban, 2) kétoldali be nem tartása, ahol nem mindenki a kezelt csoportban megkapja a kezelést, és néhány emberek a kontroll csoportban a kezelést, 3) a lemorzsolódás, ahol eredményeket nem mértük bizonyos résztvevők, valamint 4) beavatkozás, ahol a kezelés átterjed az emberek kezelésében állapotban, hogy az emberek a kontroll állapotban. Lásd Gerber and Green (2012) Fejezetek az 5., 6., 7., és 8. többet ezekben a kérdésekben.

További információért a konstrukció érvényességét, lásd Westen and Rosenthal (2003) , valamint az inkább a konstrukció érvényességét nagy adatforrások Lazer (2015) és 2. fejezete ezt a könyvet.

Az egyik szempont a külső érvényesség az a beállítás, ahol a beavatkozást tesztelték. Allcott (2015) egy alapos elméleti és empirikus kezelése helyszín kiválasztásának torzítás. Ezt a kérdést is tárgyalja Deaton (2010) . Amellett, hogy reprodukálni sok helyen, a Home Energy Report beavatkozás is önállóan tanulmányoztuk több kutatócsoport (pl Ayres, Raseman, and Shih (2013) ).

• Heterogenitása kezelési hatások (Section 4.4.2)

Egy kiváló áttekintést heterogenitása kezelés hatása a szántóföldi kísérletek fejezet 12. Gerber and Green (2012) . Mert bevezetők heterogenitása kezelés hatása az orvosi vizsgálatok, lásd: Kent and Hayward (2007) , Longford (1999) , és Kravitz, Duan, and Braslow (2004) . Heterogenitása kezelés hatása általában összpontosítani különbségek alapján előkezelés jellemzőit. Ha érdekli a heterogenitás alapuló kezelés utáni eredmények, összetettebb approachs van szükség, mint a fő rétegződés (Frangakis and Rubin 2002) ; lásd Page et al. (2015) felülvizsgálatát.

Sok kutató becslése heterogenitása kezelés hatása lineáris regresszióval, de az újabb módszerek támaszkodnak a gépi tanulás, például Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , és Athey and Imbens (2016a) .

Van némi szkepticizmus megállapításait heterogenitása hatásai miatt többszörös összehasonlítás problémák és a "halászat". Vannak különféle statisztikai módszerek, amelyek segítségével a címet aggodalmak többszörös összehasonlítás (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . Az egyik megközelítés aggályok "halászat" előzetes regisztráció, amely egyre nagyobb számban előforduló pszichológiai (Nosek and Lakens 2014) , politikatudomány (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) és a közgazdaságtan (Olken 2015) .

A tanulmány a Costa and Kahn (2013) csak mintegy fele a háztartások a kísérlet sikerült, hogy kapcsolódik a demográfiai adatokat. Az olvasók érdekelnek a részletek és az esetleges problémák ezzel az elemzéssel kell utalni az eredeti papírt.

• Mechanizmusok (4.4.3)

Mechanizmusok rendkívül fontos, de kiderül, hogy nagyon nehéz tanulmányozni. Kutatási mechanizmusokat szorosan kapcsolódik a tanulmány közvetítők pszichológia (lásd még VanderWeele (2009) a pontos összehasonlítás a két ötlet). Statisztikai megközelítések megtalálása mechanizmusok, mint például a megközelítés kidolgozott Baron and Kenny (1986) , meglehetősen gyakori. Sajnos kiderült, hogy ezek az eljárások függ néhány erős feltételezések (Bullock, Green, and Ha 2010) , és szenved, ha van több mechanizmusok, mint várhatnánk sok helyzetben (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) és Imai and Yamamoto (2013) nyújt némi jobb statisztikai módszerekkel. Továbbá VanderWeele (2015) kínál könyvhosszúságú kezelés számos fontos eredményeket, beleértve az átfogó megközelítés érzékenységi elemzés.

Külön megközelítés központi kísérleteket próbálja befolyásolni a mechanizmus közvetlenül (pl ami hajósok C-vitamin). Sajnos a legtöbb társadalomtudományi beállítások gyakran vannak több mechanizmust és nehéz tervezni kezelések, hogy a változás egy megváltoztatása nélkül a többiek. Egyes megközelítések kísérleti megváltoztatása mechanizmusok ismerteti Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , és Pirlott and MacKinnon (2016) .

Végül, mechanizmusokat is hosszú története van a filozófia a tudomány által leírt Hedström and Ylikoski (2010) .

• A meglévő környezetben (Section 4.5.1.1)

Az inkább a használatát levelezés tanulmányok és audit vizsgálatok diszkrimináció mérési lásd Pager (2007) .

• Készítsd el a saját kísérlet (Section 4.5.1.2)

A leggyakoribb módja, hogy toborozni a résztvevők kísérletet, hogy épít az Amazon Mechanical Turk (MTurk). Mivel MTurk utánozza szempontjai hagyományos laboratóriumi kísérletek fizető emberek a feladatok elvégzésére, hogy nem tennék szabad sok kutató már megkezdte a Turkers (a munkások MTurk) résztvevői emberben kísérletek ami gyorsabb és olcsóbb adatgyűjtés, mint a hagyományos on-campus laboratóriumi kísérletek (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

A legnagyobb erőssége kísérletek résztvevői toborozzák MTurk a logisztikai: lehetővé teszik a kutatók toborozni a résztvevők gyorsan és, ha szükséges. Mivel laboratóriumi kísérletek hetekig futni és szántóföldi kísérletek hónapot is igénybe vehet, hogy a set-up, kísérletek résztvevői toborozzák MTurk lehet futtatni a nap. Például Berinsky, Huber, and Lenz (2012) voltak képesek felvenni 400 alanyok egy nap, hogy vegyenek részt egy 8 perces kísérletet. Továbbá, ezek a résztvevők lehet felvenni gyakorlatilag bármilyen célra (beleértve a felméréseket és a tömeges együttműködés, a tárgyalt 3. és 5. fejezetében). Ez megkönnyíti a felvétel azt jelenti, hogy a kutatók sorozatok futtatását kapcsolódó kísérletek gyors egymásutánban.

Felvétele előtt a résztvevők MTurk saját kísérletek, négy fontos dolgot kell tudni. Először is, sok kutató van egy nem-specifikus szkepticizmusa érintő kísérletek Turkers. Mivel ez a szkepticizmus nem specifikus, nehéz ellensúlyozni bizonyítékokat. Azonban, miután több éves tanulmányok segítségével Turkers, most már megállapíthatjuk, hogy a szkepticizmus nem különösebben szükséges. Számos összehasonlító vizsgálatok demográfiai Turkers más populációkban és sok összehasonlító vizsgálatok eredményei kísérletek Turkers az eredményeket más populációkban. Mivel ezt a munkát, azt gondolja, hogy a legjobb módja az, hogy úgy gondolja, hogy az, hogy Turkers egy ésszerű kényelmi minta, ugyanúgy, mint a diákok, de valamivel változatosabb (Berinsky, Huber, and Lenz 2012) . Amíg tehát a diákok ésszerű népesség néhány, de nem az összes kísérleti kutatások, Turkers egy ésszerű népesség néhány, de nem minden kutatás. Ha megy dolgozni Turkers, akkor van értelme, hogy olvassa el sok ilyen összehasonlító vizsgálatok és megérteni a árnyalatok.

Másodszor, kutatók kifejlesztettek legjobb gyakorlatok növekvő belső érvényességének Turk a kísérleteket, és meg kell tanulni, és a következő legjobb gyakorlatok (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . Például a kutatók segítségével Turkers arra ösztönzik, hogy osztályozó eltávolítására figyelmetlen résztvevők (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (lásd még DJ Hauser and Schwarz (2015b) és DJ Hauser and Schwarz (2015a) ). Ha nem távolítja el figyelmetlen résztvevőket, akkor minden kezelés hatását ki lehet mosni, a zaj bevezetett figyelmetlen résztvevők, és a gyakorlatban a résztvevők száma figyelmetlen lényeges lehet. A kísérlet során a Huber és munkatársai (2012) mintegy 30% -a résztvevők nem alapvető figyelmet osztályozó. Egy másik probléma közös Turkers mely nem naiv résztvevők (Chandler et al. 2015) .

Harmadszor, a relatív néhány egyéb digitális kísérletek MTurk kísérletek nem méretarányban; Stewart et al. (2015) becslése szerint az adott időpontban már csak mintegy 7000 embert MTurk.

Végül, meg kell tudni, hogy MTurk egy közösség saját szabályok és normák (Mason and Suri 2012) . Ugyanígy, hogy megpróbálja megtudni a kultúra egy olyan országban, ahol akartál futtatni a kísérleteket, meg kell próbálnia, hogy többet megtudjon a kultúra és a normák Turkers (Salehi et al. 2015) . És, akkor tudnia kell, hogy a Turkers lesz szó a kísérlet ha valami nem megfelelő, vagy etikátlan (Gray et al. 2016) .

MTurk hihetetlenül kényelmes módja toborozni a résztvevőket, hogy a kísérletek, hogy azok labor-szerű, mint például a Huber, Hill, and Lenz (2012) , vagy több mező-szerű, mint a Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , és Mao et al. (2016) .

• Készítsd el a saját termék (Section 4.5.1.3)

Ha arra gondolsz, hogy megpróbál létrehozni a saját termék, azt ajánlom, hogy olvassa el a tanácsot által kínált MovieLens csoport Harper and Konstan (2015) . A kulcsfelismerése a tapasztalat az, hogy az egyes projektek sikeres sok, sok kudarc. Például a MovieLens csoport indított más termékek, például GopherAnswers, amelyek teljes kudarc (Harper and Konstan 2015) . Egy másik példa a kutató hiányában, miközben megpróbálja felépíteni egy termék Edward Castronova azon kísérlete, hogy építsenek egy online játék nevű Arden. Annak ellenére, hogy $ 250,000 finanszírozás, a projekt egy flop (Baker 2008) . Projektek, mint GopherAnswers és Arden sajnos sokkal gyakoribb, mint hasonló projektek MovieLens. Végül, amikor azt mondtam, hogy én nem tudom, más kutatók, hogy sikeresen épített termékek ismételt kísérletek itt vannak a szempontok: 1) a résztvevők használja a terméket, mert mi ez biztosítja számukra (pl nem fizetik, és azok nem önkéntesként tudomány) és 2) a termék felhasználásának több mint egy különálló kísérletet (azaz nem ugyanazt a kísérletet többször különböző résztvevő medencék). Ha tudja, hogy más példát, kérem tudassa velem.

• Partner a nagy teljesítményű (4.5.2)

Hallottam az ötletet Pasteur Quadrant tárgyalt gyakrabban tech cégek, és ez segít megszervezni a kutatásra fordított Google (Spector, Norvig, and Petrov 2012) .

Bond és munkatársai által készített tanulmány (2012) is megpróbálja észlelni a hatást ezek a kezelések a barátai, mint a placebo. Mivel a tervezés a kísérlet, ezek spilloverek nehéz észlelni tisztán; Az érdeklődő olvasók látni Bond et al. (2012) alaposabb vitát. Ez a kísérlet része egy hosszú hagyománya kísérletek politikai tudomány erőfeszítések ösztönzése szavazok (Green and Gerber 2015) . Ezek get-out-the-szavazás kísérletek közös részben azért, mert a Pasteur Quadrant. Azaz, sokan vannak, akik motiváltak, hogy növelje a szavazás és a szavazási lehet érdekes viselkedés tesztelésére általánosabb elméletek viselkedés változások és a társadalmi befolyás.

Más kutatók adtak tanácsot a futás területén kísérletek partner szervezetek, mint például a politikai pártok, a civil szervezetek és a vállalkozások (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . Mások ajánlott tanácsot arról, hogyan partneri szervezetek hatással lehet a kutatási tervek (Green, Calfano, and Aronow 2014; King et al. 2007) . Partnerség is vezethet etikai kérdések (Humphreys 2015; Nickerson and Hyde 2016) .

• Tervezési tanácsadás (4.6)

Ha megy létre egy elemzési tervet előtt tartó kísérlet, azt javasoljuk, hogy először olvassa jelentési iránymutatások. Consort (konszolidált Szabványos jelentések of Trials) irányelvek kidolgozása a gyógyászatban (Schulz et al. 2010) és a módosított szociális kutatások (Mayo-Wilson et al. 2013) . A kapcsolódó iránymutatások került kifejlesztésre a szerkesztők a Journal of Experimental Politológia (Gerber et al. 2014) (lásd még Mutz and Pemantle (2015) és Gerber et al. (2015) ). Végül, a jelentési iránymutatásokat dolgoztak ki a pszichológiában (Group 2008) , valamint lásd még Simmons, Nelson, and Simonsohn (2011) .

Ha létrehoz egy elemzési tervet akkor érdemes előre regisztráció, mert előzetes regisztráció növeli a bizalmat, hogy mások is az eredmények között. Továbbá, ha dolgozik a partner, ez korlátozni fogja a partner képes megváltoztatni az elemzés után látva az eredményeket. Előzetes regisztráció egyre gyakoribb pszichológia (Nosek and Lakens 2014) , politikatudomány (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , és a gazdaság (Olken 2015) .

Létrehozása közben az előzetes elemzése terv tudnia kell, hogy egyes kutatók is használhatja regresszió és a kapcsolódó megközelítések pontosságának javítása a becsült kezelés hatását, és van némi vita erről a megközelítésről: Freedman (2008) , Lin (2013) , és Berk et al. (2013) ; lásd Bloniarz et al. (2016) további információért.

Tervezési tanácsokat kifejezetten az online szántóföldi kísérletek is bemutatásra Konstan and Chen (2007) és Chen and Konstan (2015) .

• Készítsen nulla változó költség adatok (4.6.1)

Az inkább a MusicLab kísérletek, lásd Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , és Salganik (2007) . Az inkább a győztes mindent visz piacok, lásd Frank and Cook (1996) . Ha többet összecsavarodó szerencse és ügyességi általában, lásd Mauboussin (2012) , Watts (2012) , és Frank (2016) .

Van egy másik megközelítés kiküszöbölése résztvevő kifizetések kutatók óvatosan használja: sorozás. Sok online területen kísérletek résztvevői alapvetően besorozták kísérletek és soha nem ellensúlyozta. Példák erre a megközelítés magában Restivo és van de Rijt által (2012) kísérletet jutalom Wikipedia és Bond és munkatársa (2012) kísérletet arra ösztönzi az embereket, hogy szavazzanak. Ezek a kísérletek nem igazán van zéró változó költség, akkor nulla a változó költségek a kutatók. Annak ellenére, hogy a költségek sok ilyen kísérlet rendkívül kicsi minden résztvevő, kis költségek formájában egy hatalmas résztvevők száma is hozzá gyorsan. A kutatók futó masszív online kísérletek gyakran igazolják, hogy fontos a kis becsült kezelési hatások, mondván, hogy ezek a kis hatása válhat fontos, amikor azok a sok ember. Pontosan ugyanaz a gondolkodásmód vonatkozik költségeket, hogy a kutatók ró a résztvevők. Ha a kísérletek miatt egymillió ember a hulladék egy perc, a kísérlet nem nagyon káros adott személy, de összességében azt elvesztegetett közel két év alatt.

Egy másik megközelítés létrehozása zéró változó költség fizetési résztvevőknek, hogy egy lottó egy olyan megközelítés, amely szintén használható kérdőíves kutatás (Halpern et al. 2011) . Végül több tervezésével élvezetes felhasználó-tapasztalatok lásd Toomim et al. (2011) .

• Csere, finomítása, és csökkentik a (4.6.2)

Íme az eredeti meghatározások a három R, honnan Russell and Burch (1959) :

"Csere: a helyettesítő tudatos élő nagyobb állatok érzéketlen anyag. Csökkentését jelenti csökkentését felhasznált állatok számát, hogy információkat szerezzen az adott összeg és a pontosságot. Finomítás: bármely csökkenést a gyakorisága vagy súlyossága embertelen alkalmazott eljárások azok az állatok, amelyek még mindig kell használni. "

A három R általam javasolt nem bírálják felül az etikai elvek 6. fejezetben leírtak Inkább ők egy bonyolultabb változata egy olyan elveken jótékonyság-külön a beállítás az emberi kísérletek.

Ha figyelembe vesszük az érzelmi fertőzés, három nem-etikai kérdéseket kell szem előtt tartani értelmezésekor ezt a kísérletet. Először is, nem világos, hogy a tényleges adatokat a kísérlet csatlakozni az elméleti állítások; más szóval, vannak kérdések konstrukció érvényességét. Nem világos, hogy a pozitív és a negatív szó számít valójában egy jó indikátora az érzelmi állapot a résztvevők, mert 1.) nem egyértelmű, hogy a szavakat, hogy az emberek után egy jó mutatója az érzelmeiket, és 2) nem egyértelmű, hogy a különleges hangulat elemzési technikával, hogy a kutatók képes megbízhatóan következtetni az érzelmek (Beasley and Mason 2015; Panger 2016) . Más szóval, lehet, hogy egy rossz intézkedés elfogult jel. Másodszor, a tervezési és elemzési kísérlet nem mond semmit, aki leginkább érintett (azaz, nincs elemzés heterogenitása kezelés hatása), és milyen mechanizmus lehet. Ebben az esetben, a kutatók már sok információt a résztvevők, de ők alapvetően kezelni kütyü az elemzésben. Harmadszor, a hatás mértéke ebben a kísérletben volt nagyon kicsi; a különbség a kezelt és a kontroll körülmények körülbelül 1 a 1000 szót. A tanulmányban, Kramer és munkatársai, hogy a helyzet, hogy egy hatás ekkora azért fontos, mert a több száz millió ember hozzáférést a News Feed minden nap. Más szóval, azt állítják, hogy olyan hatásokat, amelyek a kis minden személy, ők nagy összesítve. Még ha el is fogadjuk ezt az érvet, ez még mindig nem világos, hogy ilyen hatás mérete fontos kapcsolatban általánosabb tudományos kérdés érzelmi fertőzés. Az inkább a helyzetek, amikor a kis hatások fontos látni Prentice and Miller (1992) .

Ami az első R (Replacement), összehasonlítva az érzelmi fertőzés kísérlet (Kramer, Guillory, and Hancock 2014) , és az érzelmi fertőzés természetes kísérlet (Coviello et al. 2014) kínál néhány általános tanulságokat a kompromisszumok részt mozgó kísérletek a természetes kísérletek (és más megközelítések, mint a megfelelő, hogy megpróbálja közelíteni kísérletek nem kísérleti adatok, lásd 2. fejezet). Amellett, hogy az etikai előnyök, átállás kísérleti nem-kísérleti vizsgálatok azt is lehetővé teszi a kutatók számára, vizsgálati kezelések, hogy azok logisztikai képtelenek telepíteni. Ezek az etikai és logisztikai előnyöket költségekkel jár, de. Természetes kísérletek kutatók kevésbé felett a dolgok, mint a résztvevők toborzása, véletlenszerűség, és a kezelés jellegét. Például, az egyik korlátozása csapadék, mint a kezelés, hogy egyaránt növeli a pozitivitás és csökken negativitás. A kísérleti tanulmány azonban Kramer és munkatársai voltak képesek alkalmazkodni pozitivitás és negativitás függetlenül.

A konkrét módszert használják az Coviello et al. (2014) tovább kidolgozásra Coviello, Fowler, and Franceschetti (2014) . Egy bevezetés instrumentális változók látni Angrist and Pischke (2009) (kevésbé formális) vagy Angrist, Imbens, and Rubin (1996) (formális). Egy szkeptikus értékelése instrumentális változók lásd Deaton (2010) , valamint egy bevezetés instrumentális változók gyenge eszközök (eső gyenge eszköz), lásd Murray (2006) .

Általánosabban, egy jó bevezetés a természetes kísérletek Dunning (2012) , és Rosenbaum (2002) , Rosenbaum (2009) , és Shadish, Cook, and Campbell (2001) kínálnak a jó ötleteket becslésére okozati hatások nélkül kísérletek.

Ami a második R (Finomítás), vannak a tudományos és logisztikai kompromisszumokat, ha figyelembe vesszük a változó a design érzelmi fertőzés blokkolja állások növelése hozzászólások. Például, lehet, hogy a helyzet, hogy a technikai végrehajtását News Feed teszi lényegében könnyebb csinálni egy kísérletet blokkoló hozzászólás helyett egy kísérletet növelése üzenete (megjegyzendő, hogy egy kísérlet blokkoló üzenete lehetne végrehajtani, mint egy réteg tetején a News Feed rendszer szükségessége nélkül változások a mögöttes rendszer). Tudományosan, azonban, az elmélet foglalkozott a kísérlet nem egyértelműen arra utalnak, egyik kialakítás a másik felett.

Sajnos, nem tudok lényeges korábbi kutatások viszonylagos érdemeiről blokkoló és emeli tartalom a News Feed. Továbbá, nem láttam sok kutatás, hogyan finomíthatjuk kezelések, hogy azok kevésbé ártalmas; Egyetlen kivétel ez alól Jones and Feamster (2015) , amely szerint a helyzet mérésének internetes cenzúra (a téma kitérek a 6. fejezetben kapcsolata az Encore tanulmány (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

Ami a harmadik R (Reduction), egy jó bevezetés a hagyományos hatalmi elemzés Cohen (1988) . Előkezelés kovariáns lehet venni a tervezési szakaszban, és az elemzés szakaszában kísérletek; 4. fejezete Gerber and Green (2012) ad egy jó bevezetés a két megközelítés, és Casella (2008) egy mélyebb kezelést. Technikák, amelyek ezt a kezelés előtti adatok a véletlenszerűség hívása általában vagy blokkolva kísérleti tervek vagy rétegzett kísérleti tervek (a terminológiát nem alkalmazzák következetesen a közösségek); ezeket a technikákat mélyen összefügg a rétegzett mintavételi technikák fejezetben 3. Lásd Higgins, Sävje, and Sekhon (2016) további használatával ezek a minták a hatalmas kísérletekben. Előkezelés kovariánsoknak is tartalmazza az elemzés szakaszában. McKenzie (2012) vizsgálja a különbség-in-különbségek elemzésén alapuló megközelítés szántóföldi kísérletek részletesebben. Lásd Carneiro, Lee, and Wilhelm (2016) több a kompromisszumokat különböző megközelítéseket, hogy növelje a pontosság becslések A kezelés hatását. Végül, amikor eldönti, hogy megpróbálják a kezelés előtti magyarázó változók a tervezési vagy elemzési fázisban (vagy mindkettő), van néhány tényezőt kell figyelembe venni. Ebben a környezetben, ahol a kutatók akarjuk mutatni, hogy ők nem a "halászat" (Humphreys, Sierra, and Windt 2013) , a kezelés előtti kovariánsokként a tervezési fázisban hasznos lehet (Higgins, Sävje, and Sekhon 2016) . Azokban az esetekben, ahol a résztvevők célba, különösen az online területen kísérletek segítségével előkezelés információ a tervezési szakaszban lehet nehéz logisztikailag, lásd például Xie and Aurisset (2016) .

Érdemes hozzá egy kis intuíció arról, hogy miért a különbség-in-különbségek lehetnek, így sokkal hatékonyabb, mint a különbség-in-eszközökkel. Sok online eredmények igen nagy szórás (lásd például Lewis and Rao (2015) és a Lamb et al. (2015) ), és viszonylag hosszú távon stabil. Ebben az esetben, a változás pontszám lesz lényegesen kisebb variancia, egyre nagyobb a teljesítmény a statisztikai teszt. Ennek egyik oka ez megközelítette nem használják gyakrabban az, hogy mielőtt a digitális korban nem volt gyakori, hogy a kezelés előtti eredmény. Egy konkrétabb módon gondolkodni, hogy elképzelni egy kísérlet mérhető, hogy egy adott edzésprogrammal okoz fogyás. Ha ezt a különbséget-in-eszközökkel megközelítés, a becslésben változékonyság, hogy jön a változékonyság súlyokat a lakosság körében. Ha ezt a különbséget-in-különbség a megközelítés azonban, hogy a természetben előforduló variáció súlyok azt eltávolítjuk, és akkor könnyebben különbséget észlel a kezelés okozza.

Az egyik fontos módja annak, hogy csökkentsék a résztvevők száma a kísérlet, hogy végezzen teljesítmény elemzése, amelyet Kramer és munkatársai lehetett volna hatásán alapul méretekben megfigyelhető a természetes kísérlet Coviello et al. (2014) , vagy korábbi nem kísérleti kutatás Kramer (2012) (valójában ezek olyan tevékenységek, a végén ebben a fejezetben). Figyeljük meg, hogy ez a hatalom használatával elemzés egy kicsit más, mint a tipikus. Az analóg korban, a kutatók általában nem teljesítmény elemzése, hogy megbizonyosodjon arról, hogy a vizsgálat nem volt túl kicsi (azaz alul-motorok). Most azonban a kutatóknak meg kell tennie teljesítmény elemzése, hogy megbizonyosodjon arról, hogy a vizsgálat nem túl nagy (azaz több mint hajtott).

Végül, figyelembe vettem hozzá egy negyedik R: repurpose. Azaz, ha a kutatók találják magukat, több kísérleti adat, mint amennyit kell, hogy foglalkozzon az eredeti kutatási kérdés, meg kell újra felhasználni az adatokat kérni az új kérdéseket. Képzeljük el például, hogy Kramer és munkatársai használt volna különbség-in-különbségek becslő találták magukat több adatot, mint kezeléséhez szükséges kutatási kérdés. Ahelyett, nem használja az adatokat a lehető legteljesebb mértékben tudták tanulmányozták a méret a hatás függvényében a kezelés előtti érzelmi kifejezés. Ahogy Schultz et al. (2007) úgy találta, hogy a hatás a kezelés különböző könnyű és nehéz a felhasználók, talán a hatása a News Feed különbözőek voltak, akik már inkább, hogy tegye boldoggá (vagy szomorú) üzeneteket. Repurposing vezethet "halászat" (Humphreys, Sierra, and Windt 2013) és a "p-hacker" (Simmons, Nelson, and Simonsohn 2011) , de ezek nagyrészt megcímezhetővé kombinációjával becsületes jelentések (Simmons, Nelson, and Simonsohn 2011) , előzetes regisztráció (Humphreys, Sierra, and Windt 2013) , és a gépi tanulás módszerek igyekeznek elkerülni a túlzott illeszkedő.