4.3 Два вымярэння эксперыментаў: лабараторнага поля і аналога-лічбавыя

Лабараторныя эксперыменты прапануюць кантроль, палявыя эксперыменты прапануюць рэалізм, і эксперыменты лічбавыя поля спалучаюць кантроль і рэалізм у маштабе.

Эксперыменты бываюць розных формаў і памераў. Але, нягледзячы на гэтыя адрозненні, даследчыкі выявілі , што карысна арганізаваць эксперыменты ўздоўж кантынууму паміж лабараторных эксперыментаў і палявых эксперыментаў. Цяпер, аднак, даследчыкі павінны таксама арганізаваць эксперыменты ўздоўж кантынууму паміж аналагавымі і лічбавымі эксперыментамі эксперыментаў. Гэта двухмерная прастора праектавання дапаможа вам зразумець моцныя і слабыя бакі розных падыходаў і прапанаваць вобласці найбольшыя магчымасці (Малюнак 4.1).

Малюнак 4.1: Схема дызайну прасторы для эксперыментаў. У мінулым эксперыменты вар'іравалі па вымярэнні лабараторнага поля. Цяпер, яны таксама змяняюцца на аналога-лічбавым вымярэнні. На мой погляд, вобласць найбольшай магчымасцю з'яўляецца лічбавыя палявыя эксперыменты.

У мінулым, галоўным чынам, што даследчыкі арганізавалі эксперыментаў па вымярэнні лабараторнага поля. Большасць эксперыментаў у сацыяльных навуках з'яўляюцца лабараторныя эксперыменты , у якіх студэнты выконваюць дзіўныя задачы ў лабараторыі для курса крэдыту. Гэты тып эксперыменту дамінуе даследаванні ў галіне псіхалогіі, паколькі яна дазваляе даследчыкам ствараць вельмі спецыфічныя працэдуры, распрацаваныя для праверкі вельмі спэцыфічныя тэорыі аб сацыяльным паводзінах. Для некаторых праблем, аднак, што-то адчувае сябе крыху дзіўна, пра маляванні моцныя высновы аб паводзінах чалавека ад такіх незвычайных людзей, якія выконваюць такія незвычайныя задачы ў такой незвычайнай абстаноўцы. Гэтыя праблемы прывялі да руху ў напрамку палявых эксперыментаў. Палявыя эксперыменты спалучаюць у сабе трывалую канструкцыю рандомізірованный кантрольных эксперыментаў з больш рэпрэзентатыўных груп удзельнікаў, выконваючы больш агульных задач, у больш натуральных умовах.

Хоць некаторыя людзі думаюць, лабараторных і палявых эксперыментаў як канкуруючыя метады, то лепш думаць пра іх як дадатковыя метады з рознымі моцнымі і слабымі бакамі. Напрыклад, Correll, Benard, and Paik (2007) выкарыстоўваецца як лабараторны эксперымент і палявой эксперымент у спробе знайсці вытокі "Мацярынства пакарання" . У Злучаных Штатах, маці зарабляюць менш грошай , чым бяздзетныя жанчыны, нават калі які параўноўвае жанчыны з падобнымі навыкамі, якія працуюць у аналагічных працах. Ёсць шмат магчымых тлумачэнняў гэтай мадэлі, а таксама з'яўляецца тое, што працадаўцы настроены супраць маці. (Цікава, што насупраць, здаецца, дакладна для бацькоў: яны, як правіла, зарабляюць больш, чым супастаўныя бяздзетных мужчын). Для таго, каб ацаніць магчымыя адхіленні ад маці, Коррелл і яго калегі правёў два эксперыменту: адзін у лабараторыі і адзін у полі.

Па-першае, у лабараторыі эксперыменту Коррелл і яго калегі распавялі ўдзельнікам, якія былі студэнтаў каледжа, што ў Каліфорніі старт-ап сувязі кампанія была створана правядзенне пошуку занятасці для чалавека, каб прывесці яго новы аддзел маркетынгу Усходняга ўзбярэжжа. Студэнты сказалі, што кампанія хацела іх дапамогу ў працэсе прыёму на працу і ім было прапанавана разгледзець рэзюмэ некалькіх патэнцыйных кандыдатаў і галасаваць за кандыдатаў па шэрагу напрамкаў, такіх як іх інтэлект, цёпла, і прыхільнасць да працы. Акрамя таго, студэнты спыталі, ці былі яны рэкамендавалі б наймаць заяўніка і што яны будуць рэкамендаваць у якасці зыходнага акладу. Непрыкметна для студэнтаў, аднак, рэзюмэ былі спецыяльна пабудаваныя, каб быць падобнымі за выключэннем адной рэчы: некаторыя з рэзюмэ сігналізаваў мацярынства (шляхам пералічэння ўдзел у бацькоўскай асацыяцыі), а некаторыя з іх не зрабіў. Коррелл выявілі, што студэнты былі менш схільныя рэкамендаваць наём маці і прапанаваў ім больш нізкую пачатковую зарплату. Акрамя таго, з дапамогай статыстычнага аналізу абодвух рэйтынгаў і рашэнняў, звязаных з найманнем, Коррелл выявілі, што недахопы маці былі ў значнай ступені тлумачыцца тым, што маці былі аднесены да катэгорыі ніжэй з пункту гледжання кампетэнтнасці і адданасці справе. Іншымі словамі, Коррелл сцвярджае , што гэтыя рысы з'яўляюцца механізмам , з дапамогай якога маці знаходзяцца ў неспрыяльным становішчы. Такім чынам, гэтая лабараторыя эксперымент дазволіў Correll і калегам, каб вымераць прычынна-следчай сувязі і забяспечыць магчымае тлумачэнне гэтага эфекту.

Вядома, можна было б ставіцца скептычна рабіць высновы аб цэлым на рынку працы ЗША на аснове рашэнняў некалькіх соцень студэнтаў, якія, верагодна, ніколі мелі поўны працоўны дзень, не кажучы ўжо нанятых людзей. Таму Коррелл і яго калегі таксама правялі дадатковы палявой эксперымент. Даследчыкі адказалі на сотні рэкламуемых вакансій, даслаўшы ў падробленых суправаджальных лістоў і рэзюмэ. Падобна матэрыялах, прадстаўленых да магістрантаў, некаторыя рэзюмэ сігналізаваў мацярынства і некаторыя з іх не зрабіў. Коррелл і яго калегі выявілі, што маці было менш шанцаў атрымаць ператэлефанаваў для інтэрв'ю, чым у роўнай ступені кваліфікаваных бяздзетных жанчын. Іншымі словамі, рэальныя працадаўцы робяць вынікаюць рашэнні ў натуральнай абстаноўцы паводзілі сябе гэтак жа, як магістрантаў. Магчыма, яны робяць падобныя рашэнні па той жа прычыне? На жаль, мы не ведаем. Даследчыкі не змаглі папрасіць працадаўцаў ацаніць кандыдатаў ці тлумачыць свае рашэнні.

Гэтая пара эксперыментаў паказвае шмат пра лабараторных і палявых эксперыментаў у цэлым. Лабараторныя эксперыменты прапануюць даследчыкаў паблізу татальнага кантролю навакольнага асяроддзя, у якой удзельнікі прымаюць рашэнні. Так, напрыклад, у лабараторных умовах эксперыменту, Коррелл ўдалося забяспечыць, каб усе рэзюмэ былі прачытаныя ў спакойнай абстаноўцы; у эксперыменце поля, некаторыя з рэзюмэ, магчыма, не былі нават чытаць. Акрамя таго, паколькі ўдзельнікі лабараторных ведаюць, што яны вывучаюцца, даследчыкі часта ў стане сабраць дадатковыя дадзеныя, якія могуць дапамагчы ім зразумець, чаму ўдзельнікі робяць свае рашэнні. Напрыклад, Коррелл папрасілі удзельнікаў у лабараторыі эксперыменту, каб ацаніць кандыдатаў на розныя памеры. Такога роду дадзеныя працэсу могуць дапамагчы навукоўцам зразумець механізмы , якія стаяць за адрозненні ў тым , як ставіцца да ўдзельнікаў рэзюмэ.

З іншага боку, гэтыя тыя ж самыя характарыстыкі, якія я толькі што апісаў, як перавагі таксама часам разглядаюцца недахопы. Даследчыкі, якія аддаюць перавагу палявыя эксперыменты даказваюць, што ўдзельнікі лабараторных эксперыментаў могуць дзейнічаць зусім па-іншаму, калі яны пільна назіраюць. Напрыклад, у лабараторыі ўдзельнікі эксперыменту маглі здагадацца мэты даследаванні і змянілі свае паводзіны так, каб не здавацца прадузятым. Акрамя таго, даследчыкі, якія аддаюць перавагу палявыя эксперыменты маглі б сцвярджаць, што невялікія адрозненні на рэзюмэ можа толькі вылучыцца ў вельмі чыстай, стэрыльнай лабараторнай асяроддзі, і, такім чынам, лабараторыя эксперымент будзе пераацэньваць уплыў мацярынства на рэальных найманнем рашэнняў. І, нарэшце, многія прыхільнікі палявых эксперыментаў крытыкуюць лабараторных эксперыментаў залежнасць ад Weird удзельнікаў: у асноўным студэнты з Заходняй, адукаваныя, Industrialized, багаты і дэмакратычных краін (Henrich, Heine, and Norenzayan 2010) . Эксперыменты па Correll і яго калегі (2007) ілюструюць дзве крайнасці на лабараторным поля кантынууму. У прамежку паміж гэтымі двума крайнасцямі існуе мноства гібрыдных канструкцый, у тым ліку такія падыходы, як у выніку чаго неучащихся ў лабараторыю або ісці ў поле, але ўсё яшчэ маюць ўдзельнікі выконваюць незвычайную задачу.

У дадатак да вымярэння лабараторнага поля, які існаваў у мінулым, лічбавы век азначае, што даследчыкі зараз маюць другі асноўны памер, уздоўж якога эксперыменты могуць вар'іравацца: аналога-лічбавыя. Гэтак жа, як ёсць чыстыя лабараторныя эксперыменты, эксперыменты чыстыя палі і мноства гібрыдаў паміж імі, ёсць чыста аналагавыя эксперыменты, чыстыя лічбавыя эксперыменты і разнастайнасць гібрыдаў. Гэта складана прапанаваць фармальнае вызначэнне гэтага памеру, але карысную працоўную вызначэнне з'яўляецца тое , што цалкам лічбавыя эксперыменты эксперыменты , якія выкарыстоўваюць лічбавую інфраструктуру для набору ўдзельнікаў, рандомизации, даставіць лячэння і ацэнкі вынікаў. Напрыклад, Restivo і ван дэ Rijt - х (2012) даследаванне barnstars і Wikipedia была цалкам лічбавы эксперымент , таму што ён выкарыстаў лічбавыя сістэмы для ўсіх гэтых чатырох крокаў. Сапраўды гэтак жа ў поўнай меры аналагавыя эксперыменты эксперыменты , якія не выкарыстоўваюць лічбавай інфраструктуры для любога з гэтых чатырох крокаў. Многія з класічных эксперыментаў у псіхалогіі аналагавыя эксперыменты. У прамежку паміж гэтымі двума крайнасцямі існуюць часткова лічбавыя эксперыменты , якія выкарыстоўваюць камбінацыю аналагавых і лічбавых сістэм для чатырох крокаў.

Крытычна, магчымасці для запуску лічбавых эксперыментаў не толькі ў Інтэрнеце. Даследчыкі могуць працаваць часткова лічбавыя эксперыменты з выкарыстаннем лічбавых прылад у фізічным свеце для таго, каб даставіць лячэння або ацэнкі вынікаў. Напрыклад, даследчыкі могуць выкарыстоўваць смартфоны для забеспячэння лячэння або датчыкаў ў штучнай асяроддзі для ацэнкі вынікаў. На самай справе, як мы ўбачым далей у гэтым раздзеле, даследчыкі ўжо выкарыстоўвалі метраў хатняга харчавання для вымярэння вынікаў у эксперыментах па нагоды сацыяльных нормаў і спажывання энергіі з удзелам 8,5 млн хатніх гаспадарак (Allcott 2015) . Паколькі лічбавыя прылады становяцца ўсё больш і больш інтэграваныя ў жыццё людзей і датчыкі інтэгравацца ў штучнай асяроддзі, гэтыя магчымасці для запуску часткова лічбавыя эксперыменты ў фізічным свеце рэзка ўзрасце. Іншымі словамі, лічбавыя эксперыменты не проста онлайн эксперыментаў.

Лічбавыя сістэмы ствараюць новыя магчымасці для эксперыментаў ўсюды ўздоўж лабараторнага поля кантынууму. У чыстых лабараторных эксперыментах, напрыклад, даследчыкі могуць выкарыстоўваць лічбавыя сістэмы для вымярэння больш тонкага паводзін удзельнікаў; Адным з прыкладаў гэтага тыпу паляпшэння вымярэння з'яўляецца вачэй адсочвання абсталявання, якое забяспечвае дакладныя і бесперапынныя меры позірку размяшчэння. Лічбавы век таксама стварае магчымасць для запуску лабараторыі падобныя эксперыменты ў Інтэрнэце. Напрыклад, даследчыкі хутка прыняты Amazon Mechanical Turk (MTurk) набраць ўдзельнікаў для онлайн-эксперыментаў (Малюнак 4.2). MTurk адпавядае "працадаўцаў", якія маюць задачы, якія павінны быць завершаны з "працоўнымі", якія хочуць, каб завяршыць гэтыя задачы за грошы. У адрозненне ад традыцыйных рынкаў працы, аднак, задачы, звязаныя, як правіла, патрабуецца толькі некалькі хвілін, каб скончыць і усё ўзаемадзеянне паміж працадаўцам і працаўніком з'яўляецца віртуальным. Паколькі MTurk пераймае аспекты традыцыйных лабараторных эксперыментаў высокааплатную людзей для выканання задач, якія яны не маглі б зрабіць для вольнага яна натуральным чынам падыходзіць для пэўных тыпаў эксперыментаў. Па сутнасці, MTurk стварыла інфраструктуру для кіравання пулам удзельнікаў-рэкрутынгу і выплаты на людзей і даследчыкі скарысталіся гэтай інфраструктуры задзейнічаць у заўсёды даступны пул удзельнікаў.

Малюнак 4.2: Артыкулы , апублікаваныя з выкарыстаннем дадзеных ад Amazon Механічны турак (MTurk) (Bohannon 2016) . MTurk і іншых інтэрнэт-рынкаў працы прапаноўваюць даследчыкам зручны спосаб адбору ўдзельнікаў для эксперыментаў.

Лічбавыя эксперыменты ствараюць яшчэ больш магчымасцяў для палявых падобных эксперыментаў. Эксперыменты Лічбавыя поля могуць прапанаваць цвёрдыя дадзеныя кіравання і працэсаў, каб зразумець магчымыя механізмы (напрыклад, лабараторных эксперыментаў) і больш разнастайных удзельнікаў робіць рэальныя рашэнні ў прыродным асяроддзі (напрыклад, палявых эксперыментаў). У дадатак да гэтага спалучэнню добрых характарыстык больш ранніх эксперыментаў, эксперыменты лічбавых вобласці таксама прапануюць тры магчымасці, якія было цяжка ў аналагавых лабараторных і палявых эксперыментаў.

Па-першае, у той час як большасць аналагавых лабараторных і палявых эксперыментаў сотні ўдзельнікаў, эксперыменты лічбавыя поля могуць мець мільёны ўдзельнікаў. Гэта змяненне ў маштабе, таму што некаторыя лічбавыя эксперыменты могуць атрымаць дадзеныя па нулявы зменнай кошту. Гэта значыць, як толькі даследчыкі стварылі эксперыментальную інфраструктуру, павелічэнне колькасці ўдзельнікаў, як правіла, не прыводзіць да павелічэння кошту. Павелічэнне колькасці удзельнікаў на каэфіцыент 100 або больш гэта не проста колькаснае змяненне, гэта якаснае змяненне, таму што яна дазваляе даследчыкам вывучаць розныя рэчы з эксперыментаў (напрыклад, гетэрагеннасць эфектаў лячэння) і запусціць зусім розныя эксперыментальныя ўзоры ( напрыклад, буйныя эксперыменты ў групах). Гэты момант настолькі важны, я вярнуся да яго ў канцы кіраўніка, калі я даць савет аб стварэнні лічбавых эксперыментаў.

Па-другое, у той час як большасць аналагавых лабараторных і палявых эксперыментах з імі звяртаюцца, як неадметныя фішкі, эксперыменты лічбавыя поля часта выкарыстоўваюць даведачную інфармацыю пра ўдзельнікаў распрацоўкі і аналізу этапаў даследавання. Гэтая даведачная інфармацыя, якая называецца інфармацыя для папярэдняй апрацоўкі, часта даступныя ў лічбавых эксперыментаў , таму што яны маюць месца ў цалкам вымяраных асяроддзях. Напрыклад, даследчык у Facebook мае значна больш інфармацыі для папярэдняй апрацоўкі, чым даследчык праектуе стандартны лабараторны эксперымент з магістрантамі. Гэтая інфармацыя папярэдняя апрацоўка дазваляе даследчыкам выйсці за рамкі лячэння удзельнікаў, неадрозныя віджэтаў. Больш канкрэтна, інфармацыя папярэдняя апрацоўка дазваляе ажыццяўляць больш эфектыўныя эксперыментальныя праекты, такія як блакаванне (Higgins, Sävje, and Sekhon 2016) і мэтавай набор удзельнікаў (Eckles, Kizilcec, and Bakshy 2016) -І многае іншае глыбокі аналіз, такія як ацэнка неаднастайнасці эфектаў лячэння (Athey and Imbens 2016a) і ковариативных рэгулявання для павышэння дакладнасці (Bloniarz et al. 2016) і (Bloniarz et al. 2016) .

Па-трэцяе, у той час як многія лабараторыі аналагавых і палявых эксперыментаў забяспечваюць працэдуры і вынікі вымераць ў адносна сціснутым колькасць часу, некаторыя эксперыменты лічбавыя поля ўключаюць метады лячэння, якія могуць быць дастаўлены на працягу доўгага часу і эфекты могуць быць вымераныя з цягам часу. Напрыклад, эксперымент Restivo ван дэ Rijt мае вынік , вымераны штодня ў працягу 90 дзён, і адзін з эксперыментаў , якія я вам распавяду пазней у гэтым раздзеле (Ferraro, Miranda, and Price 2011) адсочвае вынікі ў працягу 3 -х гадоў у асноўным няма вартасць. Гэтыя тры магчымасці памеру, інфармацыя аб папярэдняй апрацоўкі, а таксама падоўжнае лячэнне і зыходы дадзеныя-з'яўляюцца найбольш распаўсюджанымі, калі эксперыменты выконваюцца на вяршыні заўсёды на сістэмах вымярэнняў (гл кіраўніка 2 для атрымання больш падрабязнай заўсёды на вымяральных сістэмах).

У той час як эксперыменты лічбавыя поля прапануюць шмат магчымасцяў, яны таксама маюць некаторыя недахопы як з аналагавай лабараторыі і палявых эксперыментаў. Напрыклад, эксперыменты не могуць быць выкарыстаны для вывучэння мінулага, і яны могуць ацаніць толькі эфекты лячэння, якія можна маніпуляваць. Акрамя таго , хоць эксперыменты, несумненна , карысныя для распрацоўкі палітыкі, дакладнае навядзенне яны могуць прапанаваць некалькі абмежаваная з - за ускладненняў , такіх як экалагічная залежнасць, праблемы захавання і раўнаважкіх эфектаў (Banerjee and Duflo 2009; Deaton 2010) . І, нарэшце, эксперыменты лічбавых палёў ўзьвялічвае этычных праблем, створаных палявых эксперыментаў. Прыхільнікі палявых эксперыментаў труба іх здольнасць ненадакучліва і выпадковым чынам ўмешвацца ў наступныя рашэнні, прынятыя мільёнамі людзей. Гэтыя асаблівасці прапануюць пэўныя навуковыя перавагі, але яны таксама могуць зрабіць палявыя эксперыменты з этычнай пункту гледжання комплекс (думаю пра яго, як даследчыкі лячэння такіх людзей, як "лабараторных пацукоў" ў масавым маштабе). Акрамя таго, у дадатак да магчымых шкодай для ўдзельнікаў, эксперыменты лічбавыя поля, з-за іх маштабу, могуць таксама выклікаюць заклапочанасць з нагоды парушэння працы сацыяльных сістэм (напрыклад, турботу з нагоды парушэння сістэмы ўзнагароджання ў Вікіпедыі, калі Restivo і ван дэр Rijt даў занадта шмат barnstars) ,