შემდგომი კომენტარი

ეს განყოფილება განკუთვნილია გამოყენებული იქნას, როგორც მინიშნება, ვიდრე უნდა ჩამოყალიბდეს ნარატივი.

• შესავალი (სექცია 4.1)

კითხვები მიზეზობრიობის სოციალური კვლევითი ხშირად რთული და რთული. იყიდება ფუძემდებლურ მიდგომა მიზეზობრიობის საფუძველზე მიზეზობრივი გრაფიკის, ვხედავ Pearl (2009) , და ფუძემდებლურ მიდგომა ეფუძნება პოტენციური შედეგების, ვხედავ Imbens and Rubin (2015) (და ტექნიკური დანართი ამ თავში). შედარება ამ ორ მიდგომას შორის, ვხედავ Morgan and Winship (2014) . ფორმალური მიდგომა განსაზღვრის confounder, ვხედავ VanderWeele and Shpitser (2013) .

თავი, მე ის, რასაც თითქოს ნათელი ხაზს შორის ჩვენი უნარი, რათა მიზეზობრივი შეფასებით ექსპერიმენტული და არასამთავრობო ექსპერიმენტი მონაცემები. სინამდვილეში, მე ვფიქრობ, რომ განსხვავება არის blurrier. მაგალითად, ყველას ადასტურებს, რომ მოწევა იწვევს კიბოს მიუხედავად იმისა, რომ ჩვენ არასდროს რანდომიზებული კონტროლირებადი ექსპერიმენტი, რომელიც აიძულებს ადამიანი მოწევას. შესანიშნავი წიგნი სიგრძე მკურნალობის მიღების მიზეზობრივი შეფასებით არასამთავრობო ექსპერიმენტული მონაცემები იხილეთ Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , და Dunning (2012) .

თავები 1, 2 Freedman, Pisani, and Purves (2007) გთავაზობთ ნათელი დანერგვა განსხვავებები ექსპერიმენტი, კონტროლირებადი ექსპერიმენტი და რანდომიზებული კონტროლირებადი ექსპერიმენტი.

Manzi (2012) უზრუნველყოფს მომხიბლავი და იკითხება დანერგვა ფილოსოფიური და სტატისტიკური საფუძველი რანდომიზებული კონტროლირებადი ექსპერიმენტი. იგი ასევე უზრუნველყოფს საინტერესო რეალური მაგალითები ძალა ექსპერიმენტი ბიზნესში.

• რა არის ექსპერიმენტი? (სექცია 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) უზრუნველყოს კარგი გაცნობა სტატისტიკური ასპექტები ექსპერიმენტული დიზაინი და ანალიზი. გარდა ამისა, არსებობს შესანიშნავი მკურნალობის გამოყენების ექსპერიმენტი სხვადასხვა სფეროებში: ეკონომიკა (Bardsley et al. 2009) , სოციოლოგია (Willer and Walker 2007; Jackson and Cox 2013) , ფსიქოლოგიის (Aronson et al. 1989) , პოლიტიკური მეცნიერება (Morton and Williams 2010) და სოციალური პოლიტიკის (Glennerster and Takavarasha 2013) .

მნიშვნელოვანია, რომ მონაწილე დაქირავების (მაგალითად, შერჩევის) ხშირად ნაკლებად დაფასებული ექსპერიმენტული კვლევა. თუმცა, თუ ეფექტი მკურნალობის ჰეტეროგენული მოსახლეობის, მაშინ შერჩევის კრიტიკულია. Longford (1999) ხდის ამ ეტაპზე ნათლად, როდესაც იგი მომხრეა მკვლევარები ფიქრობენ ექსპერიმენტი, როგორც მოსახლეობის კვლევის haphazard შერჩევა.

• ორი განზომილება ექსპერიმენტი: ლაბორატორია სფეროში და ანალოგური ციფრული (4.3)

დიქოტომია, რომ წარმოდგენილი შორის ლაბორატორიული და საველე ექსპერიმენტებს ცოტა გამარტივდება. ფაქტობრივად, სხვა მკვლევარებმა შემოთავაზებული უფრო დეტალური ტიპოლოგიის, კერძოდ პირობა, რომ გამოყოფა სხვადასხვა ფორმის სფეროში ექსპერიმენტი (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . გარდა ამისა, არსებობს ორი სხვა სახის მიერ ჩატარებული ექსპერიმენტების სოციალური მეცნიერები, რომელიც არ შეესაბამება neatly ლაბორატორიაში სფეროში დიქოტომია: კვლევა ექსპერიმენტი და სოციალური ექსპერიმენტი. კვლევის ექსპერიმენტი ექსპერიმენტი გამოყენებით ინფრასტრუქტურის არსებული კვლევები და შედარების რეაგირება ალტერნატიული ვერსიები იგივე კითხვები (ზოგიერთი კვლევის ექსპერიმენტი წარმოდგენილი თავი 3); მეტი კვლევის ექსპერიმენტი ვხედავ Mutz (2011) . სოციალური ექსპერიმენტი ექსპერიმენტი, სადაც მკურნალობის ზოგიერთი სოციალური პოლიტიკა, რომელიც შეიძლება იყოს მხოლოდ მიერ განხორციელებული მთავრობა. სოციალური ექსპერიმენტი მჭიდროდაა დაკავშირებული პროგრამის შეფასება. დამატებითი პოლიტიკის ექსპერიმენტი, ვხედავ Orr (1998) , Glennerster and Takavarasha (2013) , და Heckman and Smith (1995) .

რიგი ნაშრომები შედარებით ლაბორატორიული და საველე ექსპერიმენტებს აბსტრაქტული (Falk and Heckman 2009; Cialdini 2009) და თვალსაზრისით შედეგების კონკრეტული ექსპერიმენტი პოლიტიკურ მეცნიერებათა (Coppock and Green 2015) , ეკონომიკა (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) და ფსიქოლოგიის (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) გთავაზობთ ლამაზი კვლევის დიზაინი შედარებით შედეგების ლაბორატორიული და საველე ექსპერიმენტებს.

შეშფოთება მონაწილეებს შეცვლის მათი საქციელი იმიტომ, რომ მათ იცოდნენ, რომ მიმდინარეობს დაკვირვება უწოდებენ მოთხოვნა ეფექტი, და მათ უკვე შეისწავლეს ფსიქოლოგიის (Orne 1962) და ეკონომიკის (Zizzo 2009) . მიუხედავად იმისა, რომ, ძირითადად, დაკავშირებული ლაბორატორიული ექსპერიმენტი, ამ საერთო საკითხებზე შეიძლება გამოიწვიოს პრობლემები სფეროში ექსპერიმენტებს. სინამდვილეში, მოთხოვნა ეფექტი ასევე უწოდებენ Hawthorne მოვლენები, ტერმინი, რომელიც გამომდინარეობს სფეროში ექსპერიმენტი, კონკრეტულად ცნობილი განათება ექსპერიმენტი, რომელიც დაიწყო 1924 წელს გამართულ Hawthorne სამუშაოები დასავლეთ ელექტრო კომპანია (Adair 1984; Levitt and List 2011) . ორივე მოთხოვნა მოვლენები და კუნელის ეფექტი მჭიდროდაა დაკავშირებული იდეა რეაქტიული საზომი განხილული თავი 2 (იხ Webb et al. (1966) ).

ისტორიის სფეროში ექსპერიმენტი იქნა აღწერილი ეკონომიკა (Levitt and List 2009) , პოლიტიკური მეცნიერება (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , ფსიქოლოგიის (Shadish 2002) , და საჯარო პოლიტიკის (Shadish and Cook 2009) . ერთ-ერთი სფერო სოციალურ მეცნიერებათა, სადაც საველე ექსპერიმენტებს სწრაფად გახდა ცნობილი საერთაშორისო განვითარების. დადებითი მიმოხილვა, რომ მუშაობის ფარგლებში ეკონომიკის ვხედავ Banerjee and Duflo (2009) , და კრიტიკულ შეფასებას ვხედავ Deaton (2010) . მიმოხილვა ამ სამუშაოს პოლიტიკურ მეცნიერებათა ვხედავ Humphreys and Weinstein (2009) . და ბოლოს, ეთიკური გამოწვევები ჩართული საველე ცდების შესწავლილ იქნა პოლიტიკურ მეცნიერებათა (Humphreys 2015; Desposato 2016b) და ეკონომიკური განვითარება (Baele 2013) .

თავი, მე, რომ წინასწარი მკურნალობა ინფორმაცია შეიძლება გამოყენებულ იქნას გაუმჯობესება სიზუსტით სავარაუდო მკურნალობის ეფექტი, მაგრამ არსებობს გარკვეული დებატების ეს მიდგომა: Freedman (2008) , Lin (2013) , და Berk et al. (2013) ; იხილეთ Bloniarz et al. (2016) დამატებითი ინფორმაცია.

• მოძრავი მიღმა უბრალო ექსპერიმენტები (სექცია 4.4)

მე აირჩია ფოკუსირება სამი ცნებები: მოქმედების, განსხვავებულ მკურნალობის ეფექტი, და მექანიზმები. ეს ცნებები სხვადასხვა სახელები სხვადასხვა სფეროში. მაგალითად, ფსიქოლოგები ტენდენცია გასცდეს მარტივი ექსპერიმენტი აქცენტი შუამავლები და მოდერატორებს (Baron and Kenny 1986) . იდეა შუამავლების მიტაცებული, რაც მე მოვუწოდებ მექანიზმები, და იდეა მოდერატორებს მიტაცებული, რაც მე მოვუწოდებ გარე მოქმედების (მაგალითად, რომ შედეგები ექსპერიმენტი იყოს განსხვავებული, თუ იგი აწარმოებს სხვადასხვა სიტუაციებში) და განსხვავებულ მკურნალობის ეფექტი ( მაგალითად, არის ეფექტი დიდი ზოგიერთი ადამიანი, ვიდრე სხვა ადამიანები).

ექსპერიმენტი Schultz et al. (2007) გვიჩვენებს, თუ სოციალური თეორიები შეიძლება გამოყენებულ იქნას, რათა შეიმუშავონ ეფექტური ინტერვენციების. უფრო ზოგადად არგუმენტი, თეორიის როლი შექმნასა ეფექტური ინტერვენციების, ვხედავ Walton (2014) .

• მოქმედების (სექცია 4.4.1)

ცნებები შიდა და გარე მოქმედების პირველად დაინერგა Campbell (1957) . იხილეთ Shadish, Cook, and Campbell (2001) უფრო დეტალური ისტორია და ფრთხილად შემუშავება სტატისტიკური დასკვნა მოქმედების, შიდა მოქმედების, მშენებლობა მოქმედების, და გარე მოქმედების.

მიმოხილვა დაკავშირებული საკითხები სტატისტიკური დასკვნა მოქმედების ექსპერიმენტი ვხედავ Gerber and Green (2012) (სოციალური მეცნიერების პერსპექტივა) და Imbens and Rubin (2015) (for სტატისტიკური პერსპექტივა). ზოგიერთი საკითხი სტატისტიკური დასკვნა მოქმედების, რომელიც წარმოიქმნება კონკრეტულად ამჟამად ველი ექსპერიმენტი მოიცავს ისეთ საკითხებს, როგორიცაა კომპიუტერულად ეფექტური მეთოდების შესაქმნელად ნდობის ინტერვალით დამოკიდებული მონაცემების (Bakshy and Eckles 2013) .

შინაგან მოქმედების შეიძლება იყოს რთული, რათა უზრუნველყოს რთულ სფეროში ექსპერიმენტი. იხილეთ, მაგალითად, Gerber and Green (2000) , Imai (2005) და Gerber and Green (2005) დებატების შესახებ განხორციელების კომპლექსის სფეროში ექსპერიმენტის კენჭისყრით. Kohavi et al. (2012) და Kohavi et al. (2013) შესავალი შევიდა გამოწვევები ინტერვალით მოქმედების ონლაინ სფეროში ექსპერიმენტი.

ერთ-ერთი მთავარი შეშფოთება შიდა მოქმედების პრობლემა რანდომიზაციის. ერთი გზა პოტენციურად აღმოაჩინოს პრობლემები რანდომიზაციისთვის შედარების მკურნალობა და საკონტროლო ჯგუფების დაკვირვებად თვისებების. ეს სახის შედარებით ეწოდება ბალანსის. იხილეთ Hansen and Bowers (2008) for სტატისტიკური მიდგომა დაბალანსება ამოწმებს, და ვხედავ Mutz and Pemantle (2015) for შეშფოთება ბალანსი ამოწმებს. მაგალითად, გამოყენებით ბალანსის Allcott (2011) დაადგინა, რომ არსებობს გარკვეული მტკიცებულებები, რომ რანდომიზაციისთვის არ განხორციელდა სწორად სამ ექსპერიმენტი ზოგიერთ OPower ექსპერიმენტი (ცხრილი 2; საიტები 2, 6 და 8). სხვა მიდგომები, ვხედავ Imbens and Rubin (2015) , თავი 21.

სხვა ძირითადი შეშფოთება დაკავშირებული შიდა მოქმედების არიან: 1) ცალმხრივი შეუსრულებლობის, სადაც ყველას არ ჯგუფში რეალურად მიღებული მკურნალობის, 2) ორმხრივი შეუსრულებლობის, სადაც ყველას არ მკურნალობის ჯგუფის იღებს მკურნალობის და ზოგიერთი ადამიანი საკონტროლო ჯგუფში მკურნალობას, 3) attrition, სადაც შედეგებს არ იზომება ზოგიერთი მონაწილეებს, და 4) ჩარევა, სადაც მკურნალობის დაღვრის გამო ხალხს მკურნალობის მდგომარეობაში, ადამიანი საკონტროლო მდგომარეობაში. იხილეთ Gerber and Green (2012) თავები 5, 6, 7, 8 და მეტი თითოეული ამ საკითხებზე.

დამატებითი შენება მოქმედების, ვხედავ Westen and Rosenthal (2003) , და უფრო შენება მოქმედების დიდი მონაცემები, Lazer (2015) და თავი 2 ეს წიგნი.

ერთი ასპექტი გარე მოქმედების გარემოში, სადაც ინტერვენციის ტესტირება. Allcott (2015) უზრუნველყოფს ფრთხილად თეორიული და ემპირიული მკურნალობის შერჩევა კომპენსაცია. ეს საკითხი განხილული Deaton (2010) . გარდა იმისა, რომ გაიმეორა ბევრი საიტები, მთავარი ენერგეტიკის ანგარიში ჩარევა უკვე დამოუკიდებლად შეისწავლა მრავალი კვლევითი ჯგუფები (მაგალითად, Ayres, Raseman, and Shih (2013) ).

• Heterogeneity მკურნალობის ეფექტი (სექცია 4.4.2)

შესანიშნავი მიმოხილვა განსხვავებულ მკურნალობის ეფექტი სფეროში ექსპერიმენტი, თავი 12 Gerber and Green (2012) . იყიდება გაცნობა არაერთგვაროვნება მკურნალობის ეფექტი სამედიცინო სასამართლოები, ვხედავ Kent and Hayward (2007) , Longford (1999) , და Kravitz, Duan, and Braslow (2004) . Heterogeneity მკურნალობის ეფექტი ზოგადად ფოკუსირება განსხვავებები დაფუძნებული წინასწარი მკურნალობა მახასიათებლები. თუ თქვენ დაინტერესებული ხართ განსხვავებულ საფუძველზე პოსტ მკურნალობის შედეგების, მაშინ უფრო რთული approachs საჭირო, როგორიცაა ძირითადი სტრატიფიკაციის (Frangakis and Rubin 2002) ; იხილეთ Page et al. (2015) მიმოხილვა.

ბევრი მკვლევარი შეაფასებს არაერთგვაროვნება მკურნალობის ეფექტი გამოყენებით წრფივი რეგრესია, მაგრამ უფრო ახალი მეთოდები დაეყრდნოს მანქანა სწავლის, მაგალითად Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , და Athey and Imbens (2016a) .

არსებობს გარკვეული სკეპტიციზმი დასკვნები განსხვავებულ მოვლენები, რადგან მრავალი შედარებით პრობლემები და "Fishing". არსებობს სხვადასხვა სახის სტატისტიკური მიდგომები, რაც დაგეხმარებათ მისამართი შეშფოთება მრავალჯერადი შედარებით (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . ერთ-ერთი მიდგომა შეშფოთება "Fishing" წინასწარი რეგისტრაცია, რომელიც სულ უფრო საერთო ფსიქოლოგიის (Nosek and Lakens 2014) , პოლიტიკური მეცნიერება (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) და ეკონომიკის (Olken 2015) .

შესწავლა Costa and Kahn (2013) მხოლოდ ნახევარი შინამეურნეობათა ექსპერიმენტი შეძლეს უკავშირდება დემოგრაფიული ინფორმაცია. მკითხველი დეტალებით დაინტერესდა და შესაძლო პრობლემები ამ ანალიზის უნდა მიმართოს ორიგინალური ქაღალდზე.

• მექანიზმები (სექცია 4.4.3)

მექანიზმები არის ძალიან მნიშვნელოვანი, მაგრამ ისინი აღმოჩნდება ძალიან რთულია სწავლა. კვლევის მექანიზმების შესახებ მჭიდროდაა დაკავშირებული შესწავლა შუამავლების ფსიქოლოგიის (მაგრამ ასევე VanderWeele (2009) ზუსტი შედარებით შორის ორი იდეები). სტატისტიკური მიდგომების მოძიებაში მექანიზმებს, როგორიცაა მიდგომა განვითარდა Baron and Kenny (1986) , არის საკმაოდ გავრცელებული. სამწუხაროდ, აღმოჩნდება, რომ ის პროცედურები დამოკიდებული რამდენიმე ძლიერი ვარაუდი (Bullock, Green, and Ha 2010) და განიცდიან, როდესაც არსებობს მრავალი მექანიზმები, როგორც ერთი შეიძლება ველოდოთ ბევრ სიტუაციაში (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) და Imai and Yamamoto (2013) გთავაზობთ რამდენიმე გაუმჯობესებული სტატისტიკური მეთოდები. გარდა ამისა, VanderWeele (2015) გააჩნია წიგნის სიგრძე მკურნალობის არაერთი მნიშვნელოვანი შედეგები, მათ შორის ყოვლისმომცველი მიდგომა მგრძნობიარობის ანალიზი.

ცალკე მიდგომა აქცენტს ექსპერიმენტი რომ ცდილობენ მანიპულირება მექანიზმი პირდაპირ (მაგალითად, რაც მეზღვაურები ვიტამინი C). სამწუხაროდ, ბევრ სოციალურ მეცნიერებათა პარამეტრები ხშირია სხვადასხვა მექანიზმები და ძნელია, რათა შეიმუშავონ მკურნალობა, რომ შეცვალოს ერთი შეცვლის გარეშე სხვები. გარკვეული მიდგომები ექსპერიმენტულად შეცვლის მექანიზმების აღწერილია Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , და Pirlott and MacKinnon (2016) .

და ბოლოს, მექანიზმების, ასევე აქვს დიდი ისტორია ფილოსოფიის მეცნიერებათა როგორც აღწერილი Hedström and Ylikoski (2010) .

• გამოყენება არსებული გარემოში (სექცია 4.5.1.1)

დამატებითი გამოყენების მიმოწერა სწავლა და აუდიტის კვლევების გავზომოთ დისკრიმინაციის ვხედავ Pager (2007) .

• ავაშენოთ თქვენი საკუთარი ექსპერიმენტი (სექცია 4.5.1.2)

ყველაზე გავრცელებული გზა მიღებისათვის მონაწილეებს ექსპერიმენტი, რომელიც თქვენ აშენება არის Amazon მექანიკური Turk (MTurk). იმის გამო, რომ MTurk mimics ასპექტები ტრადიციული ლაბორატორია ექსპერიმენტებით გადამხდელ ადამიანი დასრულებას ამოცანები, რომ ისინი არ გააკეთოს თავისუფალი ბევრი მკვლევარი უკვე დაწყებულია გამოყენებით Turkers (მუშები MTurk) მონაწილეებს ადამიანის სუბიექტების ექსპერიმენტი რის შედეგადაც უფრო სწრაფად და იაფად მონაცემთა შეგროვების, ვიდრე ტრადიციული on-campus ლაბორატორიული ექსპერიმენტი (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

ყველაზე დიდი ძალა ექსპერიმენტი მონაწილეებს აიყვანა MTurk ლოჯისტიკურ: ისინი საშუალებას მკვლევარები მიღებისათვის მონაწილეები სწრაფად და, როგორც საჭიროა. ვინაიდან ლაბორატორია ექსპერიმენტი შეუძლია კვირის განმავლობაში აწარმოებს და საველე ექსპერიმენტებს შეუძლია მიიღოს თვით გაშვება, ექსპერიმენტი მონაწილეებს აიყვანა MTurk შეიძლება აწარმოებს დღის განმავლობაში. მაგალითად, Berinsky, Huber, and Lenz (2012) შეძლეს გაწვევის 400 სუბიექტების ერთ დღეში მონაწილეობა 8 წუთი ექსპერიმენტი. გარდა ამისა, ამ მონაწილეს შეიძლება გაიწვიონ პრაქტიკულად ნებისმიერი მიზნით (მათ შორის, კვლევების და მასობრივი თანამშრომლობა, როგორც განხილული მე -3 და 5). ეს ძალიან მარტივია აყვანის იმას ნიშნავს, რომ მკვლევარები შეიძლება აწარმოებს sequences დაკავშირებული ექსპერიმენტი სწრაფი მემკვიდრეობას.

სანამ გაწვევის მონაწილეები MTurk საკუთარი ექსპერიმენტი, არსებობს ოთხი მნიშვნელოვანი რამ იცოდეთ. პირველ რიგში, ბევრი მკვლევარი არასპეციფიური სკეპტიციზმი ექსპერიმენტი მოიცავს Turkers. იმიტომ, რომ ეს სკეპტიციზმი არ არის კონკრეტული, ძნელია დავუპირისპირდეთ ერთად მტკიცებულება. თუმცა, მას შემდეგ, რაც რამდენიმე წლის განმავლობაში სწავლის გამოყენებით Turkers, ჩვენ შეგვიძლია ახლა დავასკვნათ, რომ ეს სკეპტიციზმი არ არის განსაკუთრებით აუცილებელია. არსებობს ბევრი კვლევები შედარებით დემოგრაფიული Turkers სხვა მოსახლეობასთან და მრავალი კვლევების შედეგების შედარება ექსპერიმენტები Turkers შედეგების სხვა პოპულაციებში. ამ ყველაფრის გათვალისწინებით მუშაობა, მე ვფიქრობ, რომ საუკეთესო გზა, რომ თქვენ უნდა ვიფიქროთ, რომ ის არის, რომ Turkers გონივრული ფონდის ნიმუში, ჰგავს სტუდენტები, მაგრამ ოდნავ უფრო მრავალფეროვანი (Berinsky, Huber, and Lenz 2012) . ასე რომ, თუ სტუდენტები გონივრული მოსახლეობის ზოგიერთი, მაგრამ არა ყველა ექსპერიმენტული კვლევა, Turkers გონივრული მოსახლეობის ზოგიერთი, მაგრამ არა ყველა კვლევა. თუ თქვენ აპირებთ მუშაობა Turkers, მაშინ ის აზრი, რომ წავიკითხე ბევრი ამ შედარებითი კვლევების და ესმის მათი ნიუანსი.

მეორე, მკვლევარებმა შეიმუშავეს საუკეთესო პრაქტიკის გაზრდის შიდა მოქმედების თურქი ექსპერიმენტი, და თქვენ უნდა ვისწავლოთ შესახებ და დაიცვას ეს საუკეთესო პრაქტიკის (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . მაგალითად, მეცნიერებმა გამოყენებით Turkers ეძლევათ გამოიყენონ დამცავი ამოიღონ უყურადღებო მონაწილე (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (მაგრამ ასევე DJ Hauser and Schwarz (2015b) და DJ Hauser and Schwarz (2015a) ). თუ არ ამოიღონ უყურადღებო მონაწილეებს, მაშინ ნებისმიერი ეფექტი მკურნალობა შეიძლება გარეცხილი ხმაური გააცნო უყურადღებო მონაწილეებს, და პრაქტიკაში რაოდენობის უყურადღებო მონაწილეები შეიძლება არსებითი. In ექსპერიმენტი Huber და კოლეგები (2012) დაახლოებით 30% მონაწილეებს ვერ ძირითადი ყურადღება დამცავი. კიდევ ერთი პრობლემა, საერთო Turkers არასამთავრობო გულუბრყვილო მონაწილე (Chandler et al. 2015) .

მესამე, შედარებით სხვა სახის ციფრული ექსპერიმენტი, MTurk ექსპერიმენტი ვერ მასშტაბის; Stewart et al. (2015) მონაცემებით, ნებისმიერ დროს არსებობს მხოლოდ დაახლოებით 7,000 ადამიანი MTurk.

და ბოლოს, თქვენ უნდა იცოდეს, რომ MTurk არის საზოგადოების საკუთარი წესები და ნორმები (Mason and Suri 2012) . ანალოგიურად, რომ თქვენ ცდილობენ გასარკვევად კულტურის ქვეყანაში, სადაც თქვენ აპირებს თქვენი ექსპერიმენტი, თქვენ უნდა ვეცადოთ, რათა გაირკვეს უფრო მეტი კულტურის და ნორმების Turkers (Salehi et al. 2015) . და თქვენ უნდა იცოდეს, რომ Turkers იქნება ლაპარაკი თქვენი ექსპერიმენტი თუ რამე შეუსაბამო ან არაეთიკური (Gray et al. 2016) .

MTurk არის წარმოუდგენლად მოსახერხებელი გზა გაწვევის მონაწილეებს თქვენი ექსპერიმენტი, თუ არა ისინი ლაბორატორიაში მსგავსი, როგორიცაა Huber, Hill, and Lenz (2012) , ან უფრო სფეროში, როგორიცაა, მაგალითად, Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , და Mao et al. (2016) .

• ავაშენოთ თქვენი საკუთარი პროდუქტი (სექცია 4.5.1.3)

თუ თქვენ ფიქრი ცდილობს შექმნათ თქვენი საკუთარი პროდუქტი, მე გირჩევთ, რომ წაიკითხოთ რჩევა მიერ შემოთავაზებული MovieLens ჯგუფი Harper and Konstan (2015) . გასაღები რისთვისაც მათი გამოცდილება, რომ ყოველი წარმატებული პროექტი არსებობს ბევრი, ბევრი ჩავარდნები. მაგალითად, MovieLens ჯგუფი დაიწყო სხვა პროდუქტები როგორიცაა GopherAnswers რომ იყო სრული წარუმატებლობის (Harper and Konstan 2015) . კიდევ ერთი მაგალითი მკვლევარი ვერ ხოლო ცდილობს ააშენოს პროდუქტი Edward CASTRONOVA მცდელობა აშენება ონლაინ თამაში მოუწოდა Arden. მიუხედავად იმისა, $ 250,000 დაფინანსება, პროექტი ფლოპი (Baker 2008) . პროექტები, როგორიცაა GopherAnswers და Arden სამწუხაროდ ბევრად უფრო ხშირია, ვიდრე მსგავსი პროექტები MovieLens. და ბოლოს, მე ვთქვი, რომ მე არ ვიცი არც ერთი სხვა მკვლევარები, რომ წარმატებით აშენდა პროდუქტების გაიმეორა ექსპერიმენტი აქ არის ჩემი კრიტერიუმები: 1) მონაწილეები გამოიყენოთ პროდუქტის, რადგან, რაც უზრუნველყოფს მათ (მაგალითად, ისინი არ გადაიხადა და ისინი არ არიან მოხალისეები ეხმარება მეცნიერება) და 2) პროდუქტი უკვე გამოიყენება ერთზე მეტი მკაფიო ექსპერიმენტი (ანუ, არა იგივე ექსპერიმენტი რამდენჯერმე სხვადასხვა მონაწილე აუზი). თუ იცით სხვა მაგალითები, გთხოვთ ნება მომეცით ვიცი.

• პარტნიორი ერთად ძლიერი (სექცია 4.5.2)

მე მოვისმინე იდეა პასტერის ის Quadrant განიხილეს ხშირად კომპანიებს, და ეს ეხმარება კვლევის ჩატარება ძალისხმევა Google (Spector, Norvig, and Petrov 2012) .

Bond და კოლეგების სასწავლო (2012) ასევე ცდილობს აღმოაჩინოს ეფექტი ამ მკურნალობის მეგობარი, ვინც მიიღო მათ. იმის გამო, რომ დიზაინი ექსპერიმენტი, ამ spillovers რთული შესამჩნევია სუფთად; დაინტერესებულ მკითხველს უნდა ნახოთ Bond et al. (2012) უფრო საფუძვლიანი განხილვა. ეს ექსპერიმენტი ნაწილია ხანგრძლივი ტრადიცია ექსპერიმენტი პოლიტიკურ მეცნიერებათა on ძალისხმევას, ხელი შეუწყოს ხმის მიცემის (Green and Gerber 2015) . ამ მისაღებად out-the-ხმა ექსპერიმენტი საერთო ნაწილობრივ იმიტომ, რომ ისინი პასტერის ის Quadrant. რომ არის, არსებობს ბევრი ადამიანი, რომლებიც მოტივირებული გაზრდის ხმის მიცემისა და კენჭისყრის შეიძლება იყოს საინტერესო ქცევა შესამოწმებლად უფრო ზოგადი თეორია იმის შესახებ, ქცევის ცვლილება და სოციალური გავლენა.

სხვა მკვლევარები გათვალისწინებული რჩევა გაშვებული სფეროში ექსპერიმენტი პარტნიორ ორგანიზაციებთან ერთად, როგორიცაა პოლიტიკური პარტიები, არასამთავრობო ორგანიზაციები და საწარმოები (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . სხვა შევთავაზეთ რჩევა, თუ როგორ პარტნიორული ორგანიზაციების შეიძლება გავლენა კვლევის დიზაინის (Green, Calfano, and Aronow 2014; King et al. 2007) . პარტნიორობა ასევე შეუძლია გამოიწვიოს ეთიკური კითხვები (Humphreys 2015; Nickerson and Hyde 2016) .

• დიზაინი რჩევა (თავი 4.6)

თუ თქვენ აპირებთ შექმნათ ანალიზი გეგმა ადრე გაშვებული თქვენი ექსპერიმენტი, მე გთავაზობთ, რომ დაიწყოს კითხულობს ანგარიშგების პრინციპებს. CONSORT- ის (კონსოლიდირებული სტანდარტულ ანგარიშგების Trials) სახელმძღვანელო პრინციპები შეიმუშავა მედიცინაში (Schulz et al. 2010) და შეცვლილია სოციალური კვლევის (Mayo-Wilson et al. 2013) . დაკავშირებული მითითებები შემუშავებულია რედაქტორები ჟურნალი ექსპერიმენტული პოლიტიკურ მეცნიერებათა (Gerber et al. 2014) (იხ Mutz and Pemantle (2015) და Gerber et al. (2015) ). და ბოლოს, ანგარიშგების სახელმძღვანელო შემუშავებულია ფსიქოლოგიის (Group 2008) , და ვხედავ, ასევე Simmons, Nelson, and Simonsohn (2011) .

თუ თქვენ ქმნით ანალიზი გეგმა, თქვენ უნდა განიხილოს წინასწარი რეგისტრაცია, რადგან წინასწარი რეგისტრაციის გაიზრდება რწმენა, რომ სხვები თქვენს შედეგებს. გარდა ამისა, იმ შემთხვევაში, თუ მუშაობის პარტნიორი, ეს ზღუდავს თქვენი პარტნიორის უნარი შეცვალოს ანალიზის შემდეგ ხედავს შედეგებს. წინასწარი რეგისტრაციის სულ უფრო საერთო ფსიქოლოგიის (Nosek and Lakens 2014) , პოლიტიკური მეცნიერება (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) და ეკონომიკის (Olken 2015) .

მიუხედავად იმისა, რომ შექმნა თქვენი წინასწარი ანალიზი გეგმა თქვენ უნდა იცოდეს, რომ ზოგიერთი მკვლევარი ასევე გამოიყენოთ რეგრესია და დაკავშირებული მიდგომები გასაუმჯობესებლად სიზუსტით სავარაუდო მკურნალობის ეფექტი, და რომ არსებობს გარკვეული დებატების ეს მიდგომა: Freedman (2008) , Lin (2013) , და Berk et al. (2013) ; იხილეთ Bloniarz et al. (2016) დამატებითი ინფორმაცია.

დიზაინი რჩევებს სპეციალურად ონლაინ სფეროში ექსპერიმენტი ასევე წარმოდგენილი Konstan and Chen (2007) და Chen and Konstan (2015) .

• შექმნა ნულოვანი ცვლადი ხარჯების მონაცემები (სექცია 4.6.1)

დამატებითი on MusicLab ექსპერიმენტი, ვხედავ Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , და Salganik (2007) . დამატებითი გამარჯვებული იღებს ყველა ბაზრებზე, ვხედავ Frank and Cook (1996) . დამატებითი მოწესრიგებითა წარმატებას და უნარი, უფრო მეტი, იხილეთ Mauboussin (2012) , Watts (2012) , და Frank (2016) .

არსებობს კიდევ ერთი მიდგომა მოეღო მონაწილე გადასახადები, რომ მკვლევარებმა უნდა გამოვიყენოთ სიფრთხილით: გაწვევა. ბევრი ონლაინ სფეროში ექსპერიმენტი მონაწილეები ძირითადად შედგენილი შევიდა ექსპერიმენტი და არ ანაზღაურდება. მაგალითები ამ მიდგომის მოიცავს Restivo და van de Rijt ის (2012) ექსპერიმენტი ჯილდოები ვიკიპედია და ბონდის და კოლეგის (2012) ექსპერიმენტი წახალისება, რომ ხმის მიცემა. ეს ექსპერიმენტები ნამდვილად არ აქვს ნულოვანი ცვლადი ღირებულება, მათ აქვთ ნულოვანი ცვლადი ღირებულება მკვლევარები. მიუხედავად იმისა, რომ ღირებულება ბევრი ამ ექსპერიმენტების არის ძალიან მცირე თითოეულ მონაწილეს, small ფასად დაწესებული უზარმაზარი რაოდენობის მონაწილეებს შეუძლიათ დაამატოთ მდე სწრაფად. მკვლევარებმა გაშვებული მასიური ონლაინ ექსპერიმენტი ხშირად ამართლებს მნიშვნელობა მცირე სავარაუდო მკურნალობის ეფექტი და განაცხადა, რომ ეს პატარა ეფექტი შეიძლება გახდეს მნიშვნელოვანი, როდესაც მიმართა ბევრი ადამიანი. ზუსტად იგივე აზროვნება ეხება ხარჯები, რომ მკვლევარები მოახვიოს მონაწილეებს. თუ თქვენი ექსპერიმენტი იწვევს ერთი მილიონი ადამიანი დაგვრჩა ერთი წუთით, ექსპერიმენტი არ არის ძალიან მავნე რაიმე კონკრეტული პირის, მაგრამ საერთო იგი შეეწირა თითქმის ორი წლის განმავლობაში.

კიდევ ერთი მიდგომა შექმნის ნულოვანი ცვლადი ღირებულება გადახდის მონაწილეებს, გამოიყენონ ლატარიის, მიდგომა, რომელიც ასევე გამოიყენება კვლევის (Halpern et al. 2011) . და ბოლოს, უფრო მეტი შექმნასა სასიამოვნო მომხმარებლის გამოცდილების ვხედავ Toomim et al. (2011) .

• ჩანაცვლება, დახვეწეთ და შემცირება (სექცია 4.6.2)

აქ არის ორიგინალური განმარტებები სამ R, ეხლა Russell and Burch (1959) :

"გამოცვლა ნიშნავს ჩანაცვლების შეგნებული მცხოვრები უმაღლესი ცხოველები insentient მასალა. შემცირება ნიშნავს შემცირება ნომრები ცხოველები გამოიყენება მიიღოს ინფორმაცია მოცემული თანხა და ზუსტი. დახვეწა ნიშნავს ნებისმიერ შემცირება სიხშირე და სიმძიმის არაადამიანური პროცედურები იმ ცხოველების, რომელიც ჯერ კიდევ უნდა იქნეს გამოყენებული ".

სამი R ის, რომ მე ვთავაზობ არ override ეთიკური პრინციპების აღწერილია მე -6 თავში პირიქით, ისინი უფრო შემუშავებული ვერსიას ერთ-ერთი იმ პრინციპების სარგებლობის-სპეციალურად გარემოში ადამიანის ექსპერიმენტი.

როდესაც გათვალისწინებით ემოციური გადამდები სენი, არსებობს სამი არასამთავრობო ეთიკური საკითხები უნდა გვახსოვდეს, როდესაც წერით ამ ექსპერიმენტი. პირველი, ეს არ არის ნათელი, თუ როგორ ფაქტობრივი დეტალები ექსპერიმენტი დაკავშირება თეორიული პრეტენზიები; სხვა სიტყვებით, არსებობს კითხვები შენება მოქმედების. არ არის ნათელი, რომ დადებითი და უარყოფითი სიტყვა ითვლის რეალურად კარგი მაჩვენებელი ემოციური მდგომარეობის მონაწილეთა გამო: 1) არ არის ნათელი, რომ სიტყვა, რომ ხალხი არის კარგი მაჩვენებელი მათი ემოციები და 2) ეს არის ნათელი, რომ კონკრეტული განწყობა ანალიზის ტექნიკა, რომ მკვლევარებმა გამოიყენეს შეუძლია საიმედოდ ითქვას ემოციები (Beasley and Mason 2015; Panger 2016) . სხვა სიტყვებით, არ შეიძლება იყოს ცუდი ღონისძიების მიკერძოებული სიგნალი. მეორე, დიზაინი და ანალიზის ექსპერიმენტი არაფერს ამბობს იმაზე, თუ ვინ იყო ყველაზე იმოქმედა (ანუ, არ არსებობს ანალიზი განსხვავებულ მკურნალობის ეფექტი) და რა მექანიზმი შეიძლება იყოს. ამ შემთხვევაში, მკვლევარები ჰქონდა უამრავი ინფორმაცია მონაწილეებს, მაგრამ ისინი არსებითად განიხილება, როგორც widgets ანალიზი. მესამე, ეფექტი ზომა ამ ექსპერიმენტი იყო ძალიან მცირე; განსხვავება მკურნალობისა და კონტროლის პირობებში დაახლოებით 1 1000 სიტყვა. დოკუმენტში Kramer და კოლეგებს, რომ იმ შემთხვევაში, რომ ეფექტი ამ ზომის მნიშვნელოვანია, რადგან ასობით მილიონი ადამიანი წვდომის მათი News Feed ყოველ დღე. სხვა სიტყვებით, ისინი ამტკიცებენ, რომ მაშინაც კი, მოვლენები, რომლებიც პატარა თითოეულ ადამიანს ისინი დიდი საერთო. მაშინაც კი, თუ თქვენ მიიღოს ეს არგუმენტი, რომ ჯერ კიდევ არ არის ნათელი, თუ ეფექტი ამ ზომის მნიშვნელოვანია დაკავშირებით უფრო ზოგადი სამეცნიერო შეკითხვას, ემოციური გადამდები სენი. დამატებითი სიტუაციებში, სადაც პატარა ეფექტი მნიშვნელოვანი ვხედავ Prentice and Miller (1992) .

თვალსაზრისით პირველი R (გამოცვლა), შედარებით ემოციური გადამდები სენი ექსპერიმენტი (Kramer, Guillory, and Hancock 2014) და ემოციური გადამდები ბუნებრივი ექსპერიმენტი (Coviello et al. 2014) გვთავაზობს ზოგადი გაკვეთილები სავაჭრო ღ ჩართული მოძრავი ექსპერიმენტი ბუნებრივი ექსპერიმენტი (და სხვა მიდგომები მოსწონს შესატყვისი რომ მცდელობა სავარაუდო ექსპერიმენტი არასამთავრობო ექსპერიმენტული მონაცემები, თავი 2). გარდა ამისა, ეთიკური სარგებელი, გადართვის ექსპერიმენტული არასამთავრობო ექსპერიმენტული კვლევების ასევე საშუალებას აძლევს მკვლევარებს შესწავლა მკურნალობა, რომ ისინი ლოჯისტიკური ვერ განათავსოს. ეს ეთიკური და ლოგისტიკური სარგებელი ხარჯზე, თუმცა. ბუნებრივი ექსპერიმენტი მკვლევარებმა კარგავენ კონტროლს რამ, როგორიცაა დაქირავება მონაწილეებს, randomization და მოპყრობა. მაგალითად, ერთი შეზღუდვა ნალექის როგორც მკურნალობის არის ის, რომ, როგორც ზრდის დადებითი და ამცირებს უარყოფითი. ექსპერიმენტული კვლევა, თუმცა, კრამერი და კოლეგებს შეუძლია შეცვალოს დადებითი და უარყოფითი დამოუკიდებლად.

კერძოდ მიდგომა გამოიყენება Coviello et al. (2014) კიდევ უფრო შემუშავებული Coviello, Fowler, and Franceschetti (2014) . შესავალი ინსტრუმენტული ცვლადები ვხედავ Angrist and Pischke (2009) (ნაკლებად ფორმალური) ან Angrist, Imbens, and Rubin (1996) (უფრო ფორმალური). იყიდება სკეპტიკურად შეფასების ინსტრუმენტული ცვლადები ვხედავ Deaton (2010) , და შესავალი ინსტრუმენტული ცვლადები სუსტი ინსტრუმენტები (წვიმა არის სუსტი ინსტრუმენტის), ვხედავ Murray (2006) .

უფრო ზოგადად, კარგი შესავალი ბუნებრივი ექსპერიმენტი არის Dunning (2012) , და Rosenbaum (2002) , Rosenbaum (2009) , და Shadish, Cook, and Campbell (2001) გთავაზობთ კარგი იდეები შეფასებისას მიზეზობრივი ეფექტი გარეშე ექსპერიმენტი.

თვალსაზრისით მეორე R (დახვეწა), არსებობს სამეცნიერო და ლოგისტიკური ვაჭრობის ღ, როდესაც გათვალისწინებით შეცვლის დიზაინის ემოციური გადამდები სენი დაბლოკვის შეტყობინება გაძლიერებას შეტყობინება. მაგალითად, ეს შეიძლება იყოს იმ შემთხვევაში, რომ ტექნიკური განხორციელების News Feed ხდის არსებითად ადვილია ამის გაკეთება ექსპერიმენტი დაბლოკვის შეტყობინება ვიდრე ექსპერიმენტი გაძლიერებას შეტყობინება (აღნიშნავენ, რომ ექსპერიმენტი დაბლოკვის შეტყობინება შეიძლება განხორციელდეს როგორც ფენა ზედა News Feed სისტემის გარეშე საჭიროება ცვლილებები ფუძემდებლური სისტემის). მეცნიერულად, თუმცა, თეორიულად მიმართა ექსპერიმენტი არ ნათლად აჩვენებენ, ერთი დიზაინი სხვა.

სამწუხაროდ, მე არ ვიცი, არსებითი წინასწარი კვლევა შედარებითი უპირატესობების ბლოკირება და გაძლიერებას შემცველობა News Feed. გარდა ამისა, მე არ მინახავს ბევრი კვლევა დამუშავებასა მკურნალობა, რათა მათ ნაკლებად საზიანო; ერთი გამონაკლისი არის Jones and Feamster (2015) , რომელიც მიიჩნევს, იმ შემთხვევაში, თუ გაზომვის ინტერნეტ ცენზურა (თემა მე განიხილოს თავი 6 ურთიერთობების Encore შესწავლა (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

თვალსაზრისით მესამე R (შემცირება), კარგი შესავალი ტრადიციული დენის ანალიზი Cohen (1988) . წინასწარი მკურნალობა განმაპირობებელ შეიძლება იყოს ჩართული დიზაინი ეტაპზე და ანალიზი ეტაპზე ექსპერიმენტი; მე -4 თავი Gerber and Green (2012) უზრუნველყოფს კარგი შესავალი, მიდგომები და Casella (2008) უზრუნველყოფს უფრო სიღრმისეული მკურნალობის. ტექნიკა, რომ გამოიყენოს ეს წინასწარი მკურნალობა ინფორმაციის რანდომიზაციისთვის, როგორც წესი, ეწოდება ან დაბლოკა ექსპერიმენტული დიზაინით და სტრატიფიცირებული ექსპერიმენტული დიზაინით (ტერმინოლოგიას არ გამოიყენება თანმიმდევრულად მასშტაბით თემი); ამ ტექნიკის ღრმად დაკავშირებული სტრატიფიცირებული შერჩევის ტექნიკა განხილული თავი 3. See Higgins, Sävje, and Sekhon (2016) მეტი გამოყენებით ამ დიზაინის მასიური ექსპერიმენტი. წინასწარი მკურნალობა განმაპირობებელ ასევე შეიძლება შედის ანალიზი ეტაპზე. McKenzie (2012) იკვლევს განსხვავება-in-განსხვავებები მიდგომა ანალიზის სფეროში ექსპერიმენტი უფრო დეტალურად. იხილეთ Carneiro, Lee, and Wilhelm (2016) მეტი სავაჭრო ღ შორის განსხვავებული მიდგომები გაზრდის ზუსტი შეფასებით მკურნალობის ეფექტი. და ბოლოს, როდესაც გადამწყვეტი თუ არა ცდილობენ მოიცავს წინასწარი მკურნალობა განმაპირობებელ დიზაინის და ანალიზი ეტაპზე (ან ორივე), არსებობს რამდენიმე ფაქტორი განიხილოს. გარემოში, სადაც მკვლევარები უნდა დავანახოთ, რომ ისინი არ არიან "თევზაობა" (Humphreys, Sierra, and Windt 2013) გამოყენებით წინასწარ მკურნალობა განმაპირობებელ in დიზაინი ეტაპზე შეიძლება იყოს სასარგებლო (Higgins, Sävje, and Sekhon 2016) . იმ შემთხვევაში, თუ მონაწილე ჩამოვა თანამიმდევრულად, განსაკუთრებით ონლაინ სფეროში ექსპერიმენტი გამოყენებით წინასწარ მკურნალობა ინფორმაციის დიზაინი ეტაპზე შეიძლება იყოს რთული ლოჯისტიკური, ვხედავ მაგალითად Xie and Aurisset (2016) .

ღირს დასძინა ცოტა ინტუიცია, თუ რატომ განსხვავება-in-განსხვავებები შეიძლება იყოს ასე ბევრად უფრო ეფექტური, ვიდრე განსხვავება-in-საშუალებებით. ბევრი ონლაინ შედეგების აქვს ძალიან მაღალი ეწინააღმდეგება (იხ მაგალითად, Lewis and Rao (2015) და Lamb et al. (2015) ) და შედარებით სტაბილური დროთა განმავლობაში. ამ შემთხვევაში, ცვლილება ანგარიში არსებითად პატარა ეწინააღმდეგება, მზარდი ძალა სტატისტიკური ტესტი. ერთ-ერთი მიზეზი ამ მიუახლოვდა არ გამოიყენება უფრო ხშირად, რომ ადრე ციფრული ასაკი, ეს არ იყო საერთო აქვს წინასწარი მკურნალობა შედეგებს. უფრო კონკრეტული გზა ვიფიქროთ, რომ ეს არის წარმოსადგენია ექსპერიმენტი გავზომოთ თუ არა კონკრეტული exercise რუტინული იწვევს წონის დაკარგვა. თუ თქვენ განსხვავებას-in-საშუალებებით მიდგომა, თქვენი შეფასებით ექნება ცვალებადობა, რომელიც მომდინარეობს ცვალებადობა წონით მოსახლეობას. თუ თქვენ განსხვავებას-in-განსხვავება მიდგომა, რომ ბუნებრივად ხდება ცვალებადობას წონით იღებს მოიხსნება და თქვენ უფრო ადვილად აღმოაჩინოს განსხვავება გამოწვეულია მკურნალობა.

ერთ-ერთი მნიშვნელოვანი რაოდენობის შემცირებას მონაწილეთა ექსპერიმენტი ჩაატაროს ძალა ანალიზი, რომელიც Kramer და კოლეგებს შეიძლება გაკეთდეს საფუძველზე ეფექტი ზომის დაფიქსირდა ბუნებრივი ექსპერიმენტი Coviello et al. (2014) და ადრე არასამთავრობო ექსპერიმენტული კვლევის Kramer (2012) (სინამდვილეში ეს არის საქმიანობა ბოლოს ამ თავში). გაითვალისწინეთ, რომ ეს ძალის გამოყენების ანალიზი ცოტა განსხვავებული დამახასიათებელი. In ანალოგური ასაკის, მკვლევარები ზოგადად გააკეთა ძალა ანალიზი, რათა დავრწმუნდეთ, რომ მათი შესწავლა არ იყო ძალიან პატარა (ანუ, ქვეშ იკვებება). ახლა, თუმცა, მკვლევართა უნდა გავაკეთოთ ძალა ანალიზი, რათა დავრწმუნდეთ, რომ მათი შესწავლა არ არის ძალიან დიდი (ანუ, მეტი იკვებება).

და ბოლოს, მე განიხილება და დასძინა, მეოთხე R: Repurpose. რომ არის, თუ მკვლევართა თავს უფრო ექსპერიმენტული მონაცემების ვიდრე მათ უნდა მიმართონ თავიანთი ორიგინალური კვლევის საკითხი, მათ უნდა ურჩევენ მონაცემები ვთხოვო ახალი კითხვები. მაგალითად, წარმოიდგინეთ, რომ Kramer და კოლეგებს გამოიყენება განსხვავება-in-განსხვავებები შეფასებას და აღმოჩნდნენ უფრო მონაცემები, ვიდრე საჭიროა, რათა მათ კვლევის საკითხი. იმის ნაცვლად, რომ არ გამოყენებით მონაცემების სრული მოცულობით, მათ შეეძლოთ სწავლობდა ზომა ეფექტი, როგორც ფუნქცია წინასწარი მკურნალობა ემოციური გამოხატვის. ისევე, როგორც Schultz et al. (2007) აღმოაჩინა, რომ ეფექტი მკურნალობის სხვადასხვა მსუბუქი და მძიმე მომხმარებლებს, ალბათ ეფექტი News Feed იყო განსხვავებული ადამიანები, რომლებიც უკვე იმას ცდილობს, რომ პოსტი ბედნიერი (ან სამწუხარო) შეტყობინებები. Repurposing შეიძლება გამოიწვიოს "თევზაობა" (Humphreys, Sierra, and Windt 2013) და "ჟ გარჩევაში" (Simmons, Nelson, and Simonsohn 2011) , მაგრამ ეს ძირითადად addressable კომბინაცია პატიოსანი ანგარიშგების (Simmons, Nelson, and Simonsohn 2011) , წინასწარი რეგისტრაციის (Humphreys, Sierra, and Windt 2013) , და მანქანა სწავლის მეთოდები, რომ ცდილობენ, რათა თავიდან ავიცილოთ მეტი იარაღი.