Вы можаце праводзіць эксперыменты ў існуючых умовах, часта без якога - небудзь кадавання або партнёрства.
Лагістыкі, самы просты спосаб зрабіць лічбавы эксперымент, каб накласці эксперымент па-над існуючай асяроддзя. Такія эксперыменты могуць працаваць на досыць вялікіх маштабах і не патрабуюць партнёрства з кампаніяй або экстэнсіўнага развіцця праграмнага забеспячэння.
Напрыклад, Джэніфер Doleac і Люк Стэйн (2013) скарыстаўся інтэрнэт - рынак падобны на Craigslist, каб запусціць эксперымент, вымяраную расавай дыскрымінацыі. Яны рэкламавалі тысячы плэер, а сістэматычна вар'іруючы характарыстыкі прадаўца, яны былі ў стане вывучыць уплыў гонкі на гаспадарчых аперацыях. Акрамя таго, яны выкарыстоўвалі шкалу свайго эксперыменту ацаніць, калі эфект быў больш (гетэрагеннасць эфектаў лячэння) і прапанаваць некаторыя ідэі аб тым, чаму эфект можа мець месца (механізмы).
Doleac і рэкламныя аб'явы IPOD Стэйна вар'іравалася па трох асноўных вымярэннях. Па-першае, даследчыкі вар'іравалі характарыстыкі прадаўца, які сігналізаваў рукой сфатаграфавалі правядзенне IPOD [белы, чорны, белы з татуіроўкай] (малюнак 4.13). Па-другое, яны вар'іравалі запытаная кошт [$ 90, $ 110, $ 130]. Па-трэцяе, яны змянялі якасць тэксту аб'явы [высокай якасці і нізкай якасці (напрыклад, памылкі капіталізацыяй і памылкі spelin)]. Такім чынам, аўтары мелі 3 \(\times\) 3 \(\times\) 2 дызайн , які быў разгорнуты ў больш чым 300 мясцовых рынкаў, пачынаючы ад гарадоў (напрыклад, Kokomo, Індыяна і Норт - Плат, Небраска) у мега- горада (напрыклад, Нью-Ёрк і Лос-Анджэлес).
Асераднёныя па ўсім умовам, вынікі былі лепш для белых прадаўцоў, чым чорныя прадаўцы, з татуіроўкамі прадаўцоў, якія маюць прамежкавыя вынікамі. Напрыклад, белыя прадаўцы атрымалі больш прапаноў і мелі больш высокія канчатковыя цэны продажу. Акрамя гэтых сярэдніх эфектаў, Doleac і Stein ацанілі гетэрагеннасць эфектаў. Напрыклад, адзін прадказанне ранняй тэорыі з'яўляецца тое, што дыскрымінацыя будзе менш на рынках, дзе існуе канкурэнцыя паміж пакупнікамі. Выкарыстоўваючы колькасць прапаноў на гэтым рынку ў якасці меры колькасці канкурэнцыі пакупніка, даследчыкі выявілі, што чорныя прадаўцы сапраўды атрымліваюць горшыя прапановы на рынках з нізкай ступенню канкурэнцыі. Акрамя таго, параўноўваючы вынікі для аб'яваў з высокім якасцю і нізкай якасцю тэксту, Doleac і Штэйн выявіў, што якасць аб'яваў не ўплывае на той недахоп, з якімі сутыкаюцца чорныя і Татуіраваныя прадаўцоў. Нарэшце, карыстаючыся тым, што рэкламныя аб'явы былі размешчаны ў больш чым 300 рынкаў, аўтары выявілі, што чорныя прадаўцы былі больш невыгодным становішчам у гарадах з высокім узроўнем злачыннасці і высокай жылы сегрэгацыі. Ні адзін з гэтых вынікаў не даюць нам дакладнае разуменне таго, чаму менавіта чорныя прадаўцы мелі горшыя вынікі, але, у спалучэнні з вынікамі іншых даследаванняў, яны могуць пачаць інфармаваць тэорыі аб прычынах расавай дыскрымінацыі ў розных тыпах гаспадарчых аперацый.
Іншы прыклад , які паказвае здольнасць даследчыкаў праводзіць эксперыменты лічбавых палёў у існуючых сістэмах з'яўляецца даследаванне Arnout ван дэ Rijt і яго калегі (2014) на ключоў да поспеху. У многіх аспектах жыцця, здавалася б, падобныя людзі ў канчатковым выніку з вельмі рознымі вынікамі. Адно з магчымых тлумачэнняў гэтай мадэлі з'яўляецца тое , што малым і па сутнасці выпадковых перавага можа зафіксаваць і расці з цягам часу, працэс , які даследчыкі называюць кумулятыўнае перавага. Для таго , каб вызначыць , з'яўляецца Ці зафіксаваць невялікія першапачатковыя поспехі ці неўвядальнай, ван дэ Rijt і яго калегі (2014) ўмяшаліся ў чатырох розных сістэмах даруючы поспех на выпадкова абраныя удзельніках, а затым вымералі наступныя наступствы гэтага адвольнага поспеху.
Больш канкрэтна, ван дэ Rijt і яго калегі (1) узялі грошы выпадкова выбраных праектаў на Kickstarter, вэб-сайт Crowdfunding; (2) станоўча ацанілі выпадкова абраныя водгукі на Epinions, вэб-сайт агляду прадукцыі; (3) уручыў узнагароды выпадкова выбраных ўкладчыкаў ў Вікіпедыі; і (4) падпісалі выпадкова выбраных хадайніцтвы на change.org. Яны знайшлі вельмі падобныя вынікі ва ўсіх чатырох сістэм: у кожным выпадку, удзельнікі, якія былі выпадковым чынам прыведзены некаторыя раннія поспехі пайшлі далей мець больш поспеху, чым наступныя іх інакш зусім неадрозныя пэры (мал 4,14). Той факт, што тая ж карціна з'явілася ў многіх сістэмах павялічвае знешнюю валіднасць гэтых вынікаў, так як гэта памяншае верагоднасць таго, што гэтая мадэль з'яўляецца артэфактам якой-небудзь канкрэтнай сістэмы.
Разам гэтыя два прыкладу паказвае, што даследчыкі могуць праводзіць эксперыменты лічбавых палёў без неабходнасці супрацоўнічаць з кампаніямі або ствараць складаныя лічбавыя сістэмы. Акрамя таго, табліца 4.2 дае яшчэ больш прыкладаў, якія паказваюць дыяпазон таго, што магчыма, калі даследчыкі выкарыстоўваюць інфраструктуру існуючых сістэм для забеспячэння лячэння і / або адзнак вынікаў. Гэтыя эксперыменты з'яўляюцца адносна таннымі для даследчыкаў, і яны прапануюць высокую ступень рэалізму. Але яны прапануюць даследчыкам абмежаваны кантроль над удзельнікамі, лячэння і вынікаў, якія павінны быць вымераныя. Акрамя таго, для эксперыментаў, якія маюць месца толькі адна сістэма, даследчыкі павінны быць занепакоеныя тым, што наступствы могуць вызначацца дынамікай канкрэтнай сістэмы (напрыклад, так, што Kickstarter шэрагі праектаў або спосаб, якім change.org ранжыруе хадайніцтвы, для атрымання дадатковай інфармацыі, паглядзець абмеркаванне алгарытмічнай змяшэння ў чале 2). Нарэшце, калі даследчыкі ўмешваюцца ў працоўных сістэмах, складаныя этычныя пытанні ўзнікаюць з нагоды магчымага шкоды для ўдзельнікаў, якія не з'яўляюцца ўдзельнікамі, і сістэм. Мы будзем разглядаць гэты этычны пытанне больш падрабязна ў главе 6, і ёсць выдатныя іх абмеркаванне ў дадатку ван дэ Rijt і інш. (2014) . Кампраміс, якія прыходзяць з працы ў наяўнай сістэме не з'яўляюцца ідэальнымі для кожнага праекта, і па гэтай прычыне некаторыя даследчыкі будуюць сваю ўласную эксперыментальную сістэму, як я буду ілюстраваць побач.
тэма | спасылкі |
---|---|
Ўплыў barnstars на ўклад у Вікіпэдыю | Restivo and Rijt (2012) ; Restivo and Rijt (2014) ; Rijt et al. (2014) і Rijt et al. (2014) |
Ўплыў анты-дамаганні паведамленні аб расісцкіх твітаў | Munger (2016) |
Ўплыў метады аўкцыёну па прадажнай цане | Lucking-Reiley (1999) |
Ўплыў рэпутацыі на кошце ў інтэрнэт-аўкцыёнах | Resnick et al. (2006) |
Ўплыў расы прадаўца на продаж бейсбольных картак на eBay | Ayres, Banaji, and Jolls (2015) |
Ўплыў расы прадаўца на продаж плэерах | Doleac and Stein (2013) |
Ўплыў расы госця на Airbnb арэнды | Edelman, Luca, and Svirsky (2016) |
Ўплыў ахвяраванняў на поспех праектаў на Kickstarter | Rijt et al. (2014) |
Ўплыў расы і этнічнай прыналежнасці на жыллё арэнды | Hogan and Berry (2011) |
Ўплыў станоўчага рэйтынгу на будучыя рэйтынгі на Epinions | Rijt et al. (2014) |
Ўплыў подпісаў на поспех петыцый | Vaillant et al. (2015) і Vaillant et al. (2015) ; Rijt et al. (2014) і Rijt et al. (2014) ; Rijt et al. (2016) і Rijt et al. (2016) |