4.3 ორი ზომები ექსპერიმენტი: ლაბორატორია სფეროში და ანალოგური ციფრული

ლაბორატორია ექსპერიმენტები გთავაზობთ კონტროლი, საველე ექსპერიმენტები გთავაზობთ რეალიზმი და ციფრული სფეროში ექსპერიმენტი გაერთიანდება კონტროლი და რეალიზმი მასშტაბით.

ექსპერიმენტი მოდის სხვადასხვა ფორმის და ზომის. მაგრამ, მიუხედავად იმისა, რომ ეს უთანხმოებები, მკვლევარებმა აღმოაჩინეს, რომ ეს სასარგებლოა ორგანიზება ექსპერიმენტი გასწვრივ კონტინუუმის შორის ლაბორატორია ექსპერიმენტი და საველე ექსპერიმენტი. ახლა, თუმცა, მკვლევარებმა ასევე უნდა ორგანიზება ექსპერიმენტი გასწვრივ კონტინუუმის შორის ანალოგი ექსპერიმენტი და ციფრული ექსპერიმენტი. ეს ორგანზომილებიანი დიზაინი სივრცეში დაგეხმარებათ მესმის ძლიერი და სუსტი მხარეები და განსხვავებული მიდგომები ვარაუდობენ სფეროებში დიდი შესაძლებლობა (ნახაზი 4.1).

ნახაზი 4.1: სქემატური დიზაინი სივრცეში ექსპერიმენტი. წარსულში, ექსპერიმენტი მერყეობდა გასწვრივ ლაბორატორია სფეროში განზომილება. ახლა, მათ ასევე განსხვავდება ანალოგური ციფრული განზომილება. ჩემი აზრით, ფართობი დიდი შესაძლებლობა არის ციფრული სფეროში ექსპერიმენტი.

წარსულში, მთავარი გზა, რომ მკვლევარები ორგანიზებული ექსპერიმენტი იყო გასწვრივ ლაბორატორია სფეროში განზომილება. უმრავლესობა ექსპერიმენტი სოციალური მეცნიერებები ლაბორატორიული ექსპერიმენტი, სადაც სტუდენტებს შეასრულოს უცნაური ამოცანების ლაბორატორიაში რა თქმა უნდა საკრედიტო. ამ ტიპის ექსპერიმენტი დომინირებს კვლევის ფსიქოლოგია, რადგან ის საშუალებას მკვლევარები შექმნა ძალიან კონკრეტული მკურნალობის შექმნილია, რათა გამოსცადოს ძალიან კონკრეტული თეორიები სოციალური ქცევა. გარკვეული პრობლემები, თუმცა, რაღაც გრძნობს ცოტა უცნაურია, ხატვის ძლიერი დასკვნები ადამიანის ქცევის ასეთი უჩვეულო ადამიანები ასრულებენ ასეთი უჩვეულო დავალებებს ასეთ უჩვეულო გარემოში. ეს შეშფოთება გამოიწვია, რომ მოძრაობა სფეროში ექსპერიმენტი. სფეროში ექსპერიმენტი გაერთიანდება ძლიერი დიზაინის რანდომიზებული კონტროლის ექსპერიმენტი უფრო წარმომადგენლობითი ჯგუფებს, ასრულებენ უფრო საერთო ამოცანები, უფრო ბუნებრივი პარამეტრები.

მიუხედავად იმისა, რომ ზოგიერთი ადამიანი ფიქრობს, ლაბორატორიული და საველე ექსპერიმენტი, როგორც კონკურენტი მეთოდები, უმჯობესია ვფიქრობ, რომ მათ დამატებითი მეთოდები სხვადასხვა ძლიერი და სუსტი მხარეები. მაგალითად, Correll, Benard, and Paik (2007) გამოიყენება, როგორც ლაბორატორიული ექსპერიმენტი და საველე ექსპერიმენტი მცდელობა წყაროების "დედობა დასჯა." ამერიკის შეერთებული შტატები, დედები შოვნის ნაკლები ფული, ვიდრე უშვილო ქალები, მაშინაც კი, როდესაც შედარებით ქალთა მსგავსი უნარები სამუშაო მსგავს სამუშაო ადგილები. არსებობს უამრავი შესაძლო ახსნა ეს ნიმუში, და ერთი, რომ დამსაქმებელთა მიმართ ტენდენციურია დედები. (საინტერესოა, საპირისპირო, როგორც ჩანს, უნდა იყოს ნამდვილი მშობლები და, როგორც წესი, მიიღოთ მეტი შესადარებელი უშვილო მამაკაცები). რათა შეაფასოს შესაძლო კომპენსაცია წინააღმდეგ დედები, Correll და კოლეგებს გაიქცა ორი ექსპერიმენტი: ერთ ლაბორატორიაში და ერთ სფეროში.

პირველი, ლაბორატორიული ექსპერიმენტი Correll და კოლეგებს განუცხადა, მონაწილეები, რომლებიც კოლეჯის სტუდენტებს, რომ კალიფორნიის დაფუძნებული დამწყებ კავშირგაბმულობის კომპანია აწარმოებდა დასაქმების ძიება პირი უხელმძღვანელებს მისი ახალი East Coast მარკეტინგის დეპარტამენტის. სტუდენტები გვითხრეს, რომ კომპანიას სურს მათი დახმარებით აყვანის პროცესში და მათ სთხოვეს განიხილავს რეზიუმეები რამდენიმე პოტენციური კანდიდატი და შეფასება კანდიდატებს რიგი ზომები, როგორიცაა მათი ინტელექტი, სითბო და ერთგულება მუშაობა. გარდა ამისა, სტუდენტები დაისვა, თუ ისინი რეკომენდაციას აყვანის განმცხადებლის და რას ურჩევს როგორც დაწყებული ხელფასი. Unbeknownst სტუდენტებს, თუმცა, რეზიუმეები იყო ისეა აგებული, რომ იყოს მსგავსი, გარდა ერთი რამ: ზოგიერთი რეზიუმეები დანიშნა დედობა (ჩამონათვალია ჩართულობა მშობლებს მასწავლებელი ასოციაცია) და ზოგიერთი არ. Correll იპოვა, რომ სტუდენტები ნაკლებად სავარაუდოა, რომ რეკომენდაცია აყვანის დედები და შესთავაზა მათ, დაწყებული დაბალი ხელფასი. გარდა ამისა, მეშვეობით სტატისტიკური ანალიზი ორივე რეიტინგები და დაქირავება დაკავშირებული გადაწყვეტილებები, Correll აღმოაჩინა, რომ დედების უარყოფითი მხარეები ძირითადად აიხსნება ის ფაქტი, რომ დედები რეიტინგულები დაბალი კომპეტენციის და ერთგულება. სხვა სიტყვებით, Correll ამტკიცებს, რომ ეს თვისებები მექანიზმი, რომლის მეშვეობითაც დედები არიან დაუცველი. ამდენად, ეს ლაბორატორია ექსპერიმენტი დაშვებული Correll და კოლეგებს გავზომოთ მიზეზობრივი ეფექტი და შესაძლო ახსნა-განმარტება, რომ ეფექტი.

რა თქმა უნდა, შეიძლება იყოს სკეპტიკურად დასკვნების შესახებ აშშ-ის შრომის ბაზარზე ეფუძნება გადაწყვეტილება რამდენიმე ასეული სტუდენტებს, რომლებიც, ალბათ, არასდროს ჰქონდა სრული სამუშაო, რომ აღარაფერი ვთქვათ დაქირავებული ადამიანი. აქედან გამომდინარე, Correll და კოლეგებს ასევე ჩაატარა დამატებითი სფეროში ექსპერიმენტი. მკვლევარებმა გამოეხმაურა ასობით რეკლამირება ვაკანსიებზე გაგზავნით ყალბი სამოტივაციო წერილების და რეზიუმეები. მსგავსი მასალები აჩვენა, რომ სტუდენტებს, გარკვეული რეზიუმეები დანიშნა დედობა და ზოგიერთი არ. Correll და კოლეგებს დადგინდა, რომ დედები ნაკლებად სავარაუდოა, რომ მისაღებად მოუწოდა უკან ინტერვიუები, ვიდრე თანაბრად კვალიფიციური უშვილო ქალებს. სხვა სიტყვებით, რეალური დამსაქმებლები მიღების თანმიმდევრული გადაწყვეტილებები ბუნებრივ გარემოში მოიქცა ისე, როგორც სტუდენტებს. თუ ისინი მსგავს გადაწყვეტილებას იმავე მიზეზით? სამწუხაროდ, ჩვენ არ ვიცით. მკვლევარებმა ვერ შეძლეს ვთხოვო დამსაქმებელთა შეფასება კანდიდატების ან ახსნას მათი გადაწყვეტილებები.

ეს წყვილი ექსპერიმენტი ავლენს ბევრი ლაბორატორიული და საველე ექსპერიმენტებს კულტურას. ლაბორატორია ექსპერიმენტები გთავაზობთ მკვლევარები ახლოს სრული კონტროლი გარემოს, რომელშიც მონაწილეები გადაწყვეტილების მიღების. ასე, მაგალითად, ლაბორატორიაში ექსპერიმენტი, Correll შეძლო, რათა უზრუნველყოს, რომ ყველა რეზიუმეები წაიკითხეს წყნარ გარემოში; სფეროში ექსპერიმენტი, ზოგიერთი რეზიუმეები შეიძლება კი არ წაიკითხა. გარდა ამისა, იმის გამო, რომ მონაწილეთა ლაბორატორიული პარამეტრების ვიცით, რომ ისინი მიმდინარეობს სწავლობდა, მკვლევარები ხშირად შეუძლია შეაგროვოს დამატებითი მონაცემები, რომელიც შეიძლება დაეხმაროს მათ ესმით, რატომ მონაწილე იღებს გადაწყვეტილებებს. მაგალითად, Correll სთხოვა მონაწილეებს ლაბორატორიაში ექსპერიმენტი შეფასება კანდიდატებს სხვადასხვა ზომები. ამ სახის პროცესი მონაცემები დაეხმარება მკვლევარებს მესმის მექანიზმების უკან განსხვავებები როგორ მონაწილეები მკურნალობა რეზიუმეები.

მეორეს მხრივ, ეს ზუსტად იგივე მახასიათებლები, რომ მე უბრალოდ აღწერილი, როგორც უპირატესობებია ასევე ზოგჯერ განიხილება უარყოფითი მხარეები. მკვლევარებმა, რომლებიც უპირატესობას სფეროში ექსპერიმენტი ამტკიცებს, რომ მონაწილეთა ლაბორატორია ექსპერიმენტი შეიძლება იმოქმედოს ძალიან განსხვავებულად, როდესაც ისინი მიმდინარეობს დაკვირვება. მაგალითად, ლაბორატორიაში ექსპერიმენტის მონაწილეებს ალბათ მიხვდა მიზანი კვლევის და შეცვლილი მათი საქციელი ისე, რომ არ იქნება მიკერძოებული. გარდა ამისა, მკვლევარები, რომლებიც უპირატესობას სფეროში ექსპერიმენტი შეიძლება ამტკიცებენ, რომ მცირე განსხვავებები რეზიუმეები შეიძლება მხოლოდ გამოირჩევა ძალიან სუფთა, სტერილური ლაბორატორიული გარემოს და, შესაბამისად, ლაბორატორიული ექსპერიმენტი მეტი შეაფასებს ეფექტი დედობა რეალური აყვანის გადაწყვეტილებებს. და ბოლოს, ბევრი მომხრეები სფეროში ექსპერიმენტი კრიტიკა ლაბორატორია ექსპერიმენტი დაყრდნობა უცნაური მონაწილეები: ძირითადად, სტუდენტები, დასავლეთ, განათლებული, ინდუსტრიული, მდიდარი და დემოკრატიული ქვეყნები (Henrich, Heine, and Norenzayan 2010) . ექსპერიმენტი მიერ Correll და კოლეგები (2007) ასახავს ორი უკიდურესი ლაბორატორიის სფეროში მუდმივი. ამ ორ უკიდურესობას არსებობს სხვადასხვა ჰიბრიდული დიზაინის ჩათვლით მიდგომები, როგორიცაა შემოტანა არასამთავრობო სტუდენტები ლაბორატორიაში ან შესვლის სფეროში, მაგრამ მაინც, მონაწილეები შეასრულოს უჩვეულო ამოცანა.

გარდა ამისა, ლაბორატორია სფეროში განზომილება, რომ არსებობდა წარსულში, ციფრული ასაკი იმას ნიშნავს, რომ მკვლევარები ახლა უკვე მეორე ძირითადი განზომილების გასწვრივ, რომელიც ექსპერიმენტები შეიძლება მერყეობს: ანალოგური ციფრული. ისევე, როგორც არსებობს სუფთა ლაბორატორია ექსპერიმენტი, სუფთა ველი ექსპერიმენტი, და სხვადასხვა ჰიბრიდები შორის, არსებობს სუფთა ანალოგი ექსპერიმენტი, სუფთა ციფრული ექსპერიმენტი, და სხვადასხვა ჰიბრიდები. ეს არის სახიფათო შესთავაზოს ფორმალური განმარტება ამ განზომილების, მაგრამ სასარგებლო სამუშაო განმარტება, რომ მთლიანად ციფრული ექსპერიმენტი ექსპერიმენტი, რომ გამოიყენონ ციფრული ინფრასტრუქტურის მიღებისათვის მონაწილეებს, randomize, სიტყვით მკურნალობა, და გავზომოთ შედეგებს. მაგალითად, Restivo და van de Rijt ის (2012) შესწავლა barnstars ვიკიპედია იყო მთლიანად ციფრული ექსპერიმენტი, რადგან იგი გამოიყენება ციფრული სისტემების ოთხივე ამ ნაბიჯებს. ანალოგიურად სრულად ანალოგი ექსპერიმენტი ექსპერიმენტი, რომელიც არ გამოიყენონ ციფრული ინფრასტრუქტურის რომელიმე ამ ოთხი ნაბიჯები. ბევრი კლასიკური ექსპერიმენტების ფსიქოლოგიის არის ანალოგი ექსპერიმენტი. ამ ორ უკიდურესობას არსებობს ნაწილობრივ ციფრული ექსპერიმენტი რომ გამოიყენოთ კომბინაცია ანალოგური და ციფრული სისტემების ოთხი ნაბიჯები.

მნიშვნელოვანია, რომ შესაძლებლობები აწარმოებს ციფრულ ექსპერიმენტი არ არის მხოლოდ ონლაინ რეჟიმში. მკვლევარებმა შეიძლება აწარმოებს ნაწილობრივ ციფრული ექსპერიმენტი გამოყენებით ციფრული მოწყობილობების ფიზიკური სამყაროს, რათა სიტყვით მკურნალობა ან ღონისძიების შედეგებს. მაგალითად, მეცნიერებმა ვერ გამოიყენებს ჭკვიანი ტელეფონების სიტყვით მკურნალობის ან სენსორები გარემოს გავზომოთ შედეგებს. სინამდვილეში, როგორც ვნახავთ, მოგვიანებით ამ თავში, მკვლევარები უკვე გამოიყენება სახლში მრიცხველები გავზომოთ შედეგების ექსპერიმენტების შესახებ სოციალური ნორმებისა და ენერგიის მოხმარება, რომელშიც 8.5 მილიონი ოჯახების (Allcott 2015) . როგორც ციფრული მოწყობილობების უფრო მეტად ინტეგრირებული ადამიანების სიცოცხლე და სენსორების გახდეს ინტეგრირებული გარემოს, ეს შესაძლებლობები აწარმოებს ნაწილობრივ ციფრული ექსპერიმენტი ფიზიკურ სამყაროში გაიზრდება მკვეთრად. სხვა სიტყვებით, ციფრული ექსპერიმენტი არ არის მხოლოდ ონლაინ ექსპერიმენტი.

ციფრული სისტემების შექმნა ახალი შესაძლებლობები ექსპერიმენტი ყველგან გასწვრივ ლაბორატორია სფეროში მუდმივი. სუფთა ლაბორატორია ექსპერიმენტი, მაგალითად, მკვლევარები შეგიძლიათ გამოიყენოთ ციფრული სისტემების finer გაზომვის მონაწილეთა ქცევა; ერთი მაგალითი ამ ტიპის გაუმჯობესებული გაზომვა თვალში თვალთვალის ტექნიკა, რომელიც უზრუნველყოფს ზუსტი და უწყვეტი ღონისძიებების მზერა ადგილმდებარეობა. ციფრული ასაკი ასევე ქმნის შესაძლებლობას აწარმოებს ლაბორატორიაში მსგავსი ექსპერიმენტი ონლაინ რეჟიმში. მაგალითად, მეცნიერებმა სწრაფად მიღებული Amazon მექანიკური Turk (MTurk) მიღებისათვის მონაწილეთა ონლაინ ექსპერიმენტი (ნახაზი 4.2). MTurk სიას "დამსაქმებელთა", რომელსაც ამოცანები, რომლებიც უნდა დასრულდეს "მუშები", რომელთაც სურთ, რათა დასრულდეს იმ ამოცანების ფული. განსხვავებით ტრადიციული შრომის ბაზარზე, თუმცა, ამოცანები ჩართული, როგორც წესი, მხოლოდ მოითხოვს რამდენიმე წუთის დასრულებას და მთელი ურთიერთქმედების დამსაქმებელი და თანამშრომელი ვირტუალური. იმის გამო, რომ MTurk mimics ასპექტები ტრადიციული ლაბორატორია ექსპერიმენტებით გადამხდელ ადამიანი დასრულებას ამოცანები, რომ ისინი არ გააკეთოს თავისუფალი ბუნებრივია, განკუთვნილია გარკვეული სახის ექსპერიმენტი. არსებითად, MTurk შეიქმნა ინფრასტრუქტურის მართვის აუზი მონაწილეთა-გაწვევის და გადახდის ხალხი და მკვლევარები მიღებული უპირატესობა, რომ ინფრასტრუქტურა, დაკრავენ ყოველთვის ხელმისაწვდომი აუზი მონაწილეებს.

ნახაზი 4.2: Papers გამოქვეყნებული მონაცემების გამოყენებით Amazon მექანიკური Turk (MTurk) (Bohannon 2016) . MTurk და სხვა ონლაინ შრომის ბაზარზე გთავაზობთ მკვლევარები მოსახერხებელი გზა გაწვევის მონაწილეებს ექსპერიმენტი.

ციფრული ექსპერიმენტი კიდევ უფრო შესაძლებლობები სფეროში მსგავსი ექსპერიმენტი. ციფრული სფეროში ექსპერიმენტი შეიძლება შესთავაზოს მჭიდრო კონტროლი და პროცესის მონაცემები იმის გაგება შესაძლო მექანიზმები (როგორიცაა ლაბორატორიული ექსპერიმენტი) და უფრო მრავალფეროვანი მონაწილეთა მიღების რეალური გადაწყვეტილებების ბუნებრივი გარემოს (როგორც სფეროში ექსპერიმენტი). გარდა ამისა, ეს კომბინაცია კარგი მახასიათებლები ადრე ექსპერიმენტი, ციფრული სფეროში ექსპერიმენტი ასევე გთავაზობთ სამი შესაძლებლობები, რომ რთული იყო ანალოგი ლაბორატორიული და საველე ექსპერიმენტებს.

პირველი, ხოლო ყველაზე ანალოგი ლაბორატორიული და საველე ექსპერიმენტებს ასობით მონაწილეს, ციფრული სფეროში ექსპერიმენტი შეიძლება მილიონობით მონაწილეებს. ეს ცვლილება მასშტაბის არის, რადგან ზოგიერთი ციფრული ექსპერიმენტი შეიძლება აწარმოოს მონაცემები ნულოვანი ცვლადი ღირებულება. რომ არის, კიდევ მკვლევარებმა შექმნეს ექსპერიმენტული ინფრასტრუქტურა, მზარდი მონაწილეთა რაოდენობა, როგორც წესი, არ გაზრდის ღირებულება. რაოდენობის გაზრდა მონაწილეთა მიერ ფაქტორი 100 ან მეტი არ არის მხოლოდ რაოდენობრივი ცვლილება, ეს თვისობრივი ცვლილება, რადგან იგი საშუალებას იძლევა მკვლევართა ისწავლონ სხვადასხვა რამ ექსპერიმენტი (მაგალითად, განსხვავებულ მკურნალობის ეფექტი) და აწარმოებს სრულიად განსხვავებული ექსპერიმენტული დიზაინით ( მაგალითად, დიდი ჯგუფი ექსპერიმენტი). ეს იმდენად მნიშვნელოვანია, მე დაბრუნდეს ის დასასრულს თავი, როდესაც მე გთავაზობთ რჩევებს შექმნის შესახებ ციფრული ექსპერიმენტი.

მეორე, ხოლო ყველაზე ანალოგი ლაბორატორიული და საველე ექსპერიმენტებს მკურნალობა მონაწილეთა განურჩეველი widgets, ციფრული სფეროში ექსპერიმენტი ხშირად იყენებენ ფონზე ინფორმაციას მონაწილეთა დიზაინი და ანალიზის ეტაპზე კვლევის. ამ ფონზე ინფორმაცია, რომელსაც წინასწარი მკურნალობა ინფორმაცია, ხშირად ხელმისაწვდომია ციფრული ექსპერიმენტი, რადგან ისინი გაიმართება სრულად იზომება გარემოში. მაგალითად, მკვლევარი Facebook გაცილებით მეტი წინასწარი მკურნალობა ინფორმაცია, ვიდრე მკვლევარი დიზაინისა სტანდარტული ლაბორატორიული ექსპერიმენტი სტუდენტებს. ეს წინასწარი მკურნალობის შესახებ ინფორმაციის საშუალებას მკვლევარები შემოიფარგლონ მკურნალობის მონაწილეთა განურჩეველი widgets. უფრო კონკრეტულად, წინასწარი მკურნალობა ინფორმაცია საშუალებას იძლევა უფრო ეფექტურ ექსპერიმენტული დიზაინით, როგორიცაა ბლოკირება (Higgins, Sävje, and Sekhon 2016) და მიზნობრივი რეკრუტირება მონაწილეთა (Eckles, Kizilcec, and Bakshy 2016) -ზე მეტი insightful ანალიზი, როგორიცაა შეფასებით არაერთგვაროვნება მკურნალობის ეფექტი (Athey and Imbens 2016a) და covariate რეგულირება გაუმჯობესდა სიზუსტით (Bloniarz et al. 2016) .

მესამე, ხოლო ბევრი ანალოგი ლაბორატორიული და საველე ექსპერიმენტებს სიტყვით მკურნალობა და ღონისძიების შედეგების შედარებით შეკუმშული დროის, ზოგიერთი ციფრული სფეროში ექსპერიმენტი ჩართვა მკურნალობა, რომელიც შეიძლება იქნეს დროთა განმავლობაში და ეფექტები შეიძლება იზომება დროთა განმავლობაში. მაგალითად, Restivo და van de Rijt ექსპერიმენტი აქვს შედეგს იზომება ყოველდღიურად 90 დღის განმავლობაში, და ერთ-ერთი ექსპერიმენტი მე გეტყვით მოგვიანებით თავი (Ferraro, Miranda, and Price 2011) საჩვენებელი შედეგების 3 წლის განმავლობაში, ძირითადად, არ ღირებულება. ამ სამი შესაძლებლობები ზომის, წინასწარი მკურნალობა ინფორმაცია და გრძივი მკურნალობა და შედეგს მონაცემთა ყველაზე გავრცელებული, როდესაც ექსპერიმენტი აწარმოებს თავზე მუდამ ღონისძიებების სისტემები (იხილეთ თავი 2 მეტი ყოველთვის გაზომვის სისტემები).

მიუხედავად იმისა, რომ ციფრული სფეროში ექსპერიმენტი გთავაზობთ მრავალი შესაძლებლობები, მათ ასევე იზიარებს ზოგიერთი სუსტი მხარეები ორივე ანალოგი ლაბორატორიული და საველე ექსპერიმენტებს. მაგალითად, ექსპერიმენტი არ შეიძლება იყოს გამოყენებული, რომელიც შეისწავლის წარსულს, და ისინი შეიძლება დადგინდეს მხოლოდ ეფექტი მკურნალობა, რომ შეიძლება მანიპულირება. გარდა ამისა, მიუხედავად იმისა, რომ ექსპერიმენტები უდავოდ სასარგებლოა უხელმძღვანელებს პოლიტიკა, ზუსტი მითითებები მათ შეუძლია გარკვეულწილად შეზღუდულია გამო გართულებები, როგორიცაა გარემოს დამოკიდებულება, შესაბამისად პრობლემები, და წონასწორობის ეფექტი (Banerjee and Duflo 2009; Deaton 2010) . და ბოლოს, ციფრული სფეროში ექსპერიმენტი ადიდებს ეთიკური შეშფოთება ქმნის სფეროში ექსპერიმენტი. მომხრეები სფეროში ექსპერიმენტი საყვირი მათი უნარი ძალდაუტანებლად და შემთხვევით ჩარევა შედეგობრივ მიერ მიღებული გადაწყვეტილებები მილიონობით ადამიანი. ეს თვისებები შესთავაზოს გარკვეული სამეცნიერო უპირატესობა აქვს, მაგრამ ისინი ასევე შეუძლია მიიღოს სფეროში ექსპერიმენტი ეთიკურად კომპლექსი (ვიფიქროთ, როგორც მკვლევარები მკურნალობის ადამიანები, როგორიცაა "ლაბორატორიული ვირთხები" მასობრივ). უფრო მეტიც, გარდა იმისა, რომ შესაძლებელია ამწვავებს მონაწილეებს, ციფრული სფეროში ექსპერიმენტი, რადგან მათი მასშტაბით, ასევე შეუძლია დააყენოს შეშფოთება დანგრევას მუშაობა სოციალური სისტემების (მაგალითად, შეშფოთება ჩაშლის ვიკიპედიის ჯილდო სისტემა, თუ Restivo და ვან დერ Rijt მისცა ძალიან ბევრი barnstars) .