4.3 Два вымярэння эксперыментаў: лабараторнага поля і аналога-лічбавыя

Лабараторныя эксперыменты прапануюць кантроль, палявыя эксперыменты прапануюць рэалізм, і эксперыменты лічбавыя поля спалучаюць кантроль і рэалізм у маштабе.

Эксперыменты бываюць розных формаў і памераў. У мінулым, даследчыкі выявілі , што карысна арганізаваць эксперыменты па кантынууме паміж лабараторнымі эксперыментамі і палявымі эксперыментамі. Цяпер, аднак, даследчыкі павінны таксама арганізаваць эксперыменты па другім кантынууме паміж аналагавымі і лічбавымі эксперыментамі эксперыментаў. Гэта двухмернае прастору праектавання дапаможа вам зразумець моцныя і слабыя бакі розных падыходаў і вылучыць вобласці найбольшыя магчымасці (малюнак 4.1).

Малюнак 4.1: Схема канструкцыі прасторы для эксперыментаў. У мінулым эксперыменты вар'іравалі па вымярэнні лабараторнага поля. Зараз, яны таксама адрозніваюцца ад аналога-лічбавага вымярэння. Гэта двухмернае прастору праектавання ілюструецца чатырох эксперыментаў, якія я апісваю ў гэтым раздзеле. На маім позірку, вобласць найбольшай магчымасці з'яўляецца лічбавымі палявымі эксперыментамі.

Адным з аспектаў, па якіх могуць быць арганізаваны эксперыменты з'яўляецца вымярэнне лабараторнага поля. Многія эксперыменты ў сацыяльных навуках з'яўляюцца лабараторнымі эксперыментамі , у якіх студэнты выконваюць дзіўныя задачы ў лабараторыі для курса крэдыту. Гэты тып эксперыменту дамінуе даследаванні ў галіне псіхалогіі, паколькі яна дазваляе даследчыкам ствараць высока кантраляваныя параметры, каб сапраўды ізаляваць і пратэставаць канкрэтныя тэорыі аб сацыяльным паводзінах. Для некаторых праблем, аднак, нешта адчувае сябе крыху дзіўна, пра маляванні моцных высноваў аб паводзінах чалавека ад такіх незвычайных людзей, якія выконваюць такіх незвычайныя задачы ў такой незвычайнай абстаноўцы. Гэтыя праблемы прывялі да руху ў напрамку палявых эксперыментаў. Палявыя эксперыменты спалучаюць у сабе трывалую канструкцыю рандомізірованный кантрольных эксперыментаў з больш рэпрэзентатыўнымі групамі ўдзельнікаў выканання больш агульных задач у больш натуральных умовах.

Хоць некаторыя людзі думаюць, лабараторных і палявых эксперыментаў, як канкуруючыя метады, то лепш думаць пра іх, як дапаўняюць адзін аднаго, з рознымі моцнымі і слабымі бакамі. Напрыклад, Correll, Benard, and Paik (2007) выкарыстоўваецца як лабараторны эксперымент і палявой эксперымент у спробе знайсці вытокі «Мацярынства пакарання» . У Злучаных Штатах, маці зарабляюць менш грошай , чым бяздзетныя жанчыны, нават калі які параўноўвае жанчыны з падобнымі навыкамі, якія працуюць у аналагічных працах. Ёсць шмат магчымых тлумачэнняў гэтага шаблону, адзін з якіх з'яўляецца тое, што працадаўцы настроены супраць маці. (Цікава, наадварот, здаецца, дакладна для бацькоў :. Яны, як правіла, зарабляюць больш, чым супастаўныя бяздзетныя мужчыны) Для таго, каб ацаніць магчымыя адхіленні ад маці, Correll і калегі правялі два эксперыменту: адзін у лабараторыі і адзін у полі.

Па-першае, у лабараторным эксперыменце яны распавялі ўдзельнікам, якія былі студэнты каледжа, што кампанія праводзіць пошук занятасці для чалавека, каб прывесці яго новы аддзел маркетынгу Усходняга ўзбярэжжа. Студэнты сказалі, што кампанія хацела іх дапамогу ў працэсе прыёму на працу, і ім было прапанавана разгледзець рэзюмэ некалькіх патэнцыйных кандыдатаў і ацэньваць кандыдатаў на колькасць вымярэнняў, напрыклад, іх інтэлект, цёпла, і прыхільнасць да працы. Акрамя таго, студэнты спыталі, ці былі яны рэкамендавалі б наймаць заяўнік, і што яны будуць рэкамендаваць ў якасці зыходнага акладу. Незаўважна для студэнтаў, аднак, рэзюмэ былі спецыяльна пабудаваныя, каб быць падобнымі за выключэннем адной рэчы: некаторыя з іх сігналізуе мацярынства (пералік ўдзелу ў бацькоўскай асацыяцыі) і некаторыя з іх не зрабілі. Correll і яго калегі выявілі, што студэнты былі менш схільныя рэкамендаваць найму маці і што яны прапанавалі ім больш нізкую стартавую зарплату. Акрамя таго, з дапамогай статыстычнага аналізу абодвух рэйтынгаў і рашэнняў па найму, звязаных, Correll і яго калегі выявілі, што недахопы маці былі ў значнай ступені тлумачыцца тым, што яны былі аднесены да катэгорыі ніжэй з пункту гледжання кампетэнтнасці і прыхільнасці. Такім чынам, гэтая лабараторыя эксперымент дазволіў Correll і калегам вымераць прычынна-выніковую сувязь і забяспечыць магчымае тлумачэнне гэтага эфекту.

Вядома, можна скептычна ставіцца высновы аб цэлым на рынку працы ЗША на аснове рашэнняў некалькіх соцень студэнтаў, якія ніколі, магчыма, не мелі поўны працоўны дзень, не кажучы ўжо хтосьці наняў. Такім чынам, Коррелл і яго калегі таксама правялі дадатковы эксперымент у палявых умовах. Яны адказалі на сотні рэкламуемых вакансій з падробленымі суправаджальнымі лістамі і рэзюмэ. Падобна матэрыялы, прадстаўленым на магістрант, некаторыя рэзюмэ сігналізавалі мацярынства і некаторыя з іх не зрабілі. Correll і яго калегі выявілі, што маці, менш верагодна, каб атрымаць ператэлефанаваў для інтэрв'ю, чым у роўнай ступені кваліфікаваных бяздзетных жанчын. Іншымі словамі, рэальныя працадаўцы робяць ускосныя рашэнні ў натуральнай абстаноўцы паводзілі сябе гэтак жа, як магістрантаў. Яны робяць падобныя рашэнні па той жа прычыне? На жаль, мы не ведаем. Даследчыкі не змаглі папрасіць працадаўца ацаніць кандыдат ці тлумачыць свае рашэнні.

Гэтая пара эксперыментаў паказвае шмат пра лабараторных і палявых эксперыментаў у цэлым. Лабараторныя эксперыменты прапануюць даследчык амаль поўны кантроль над навакольным асяроддзем, у якой удзельнікі прымаюць рашэнні. Так, напрыклад, у лабараторным эксперыменце, Correll і яго калегі змаглі пераканацца, што ўсе рэзюмэ былі прачытаныя ў спакойнай абстаноўцы; ў палявым эксперыменце, некаторыя з рэзюмэ, магчыма, нават не былі прачытаны. Акрамя таго, паколькі ўдзельнікі лабараторнага ведаюць, што яны вывучаюцца, даследчыкі часта ў стане сабраць дадатковыя дадзеныя, якія могуць дапамагчы растлумачыць, чаму ўдзельнікі робяць свае рашэнні. Напрыклад, Correll і яго калегі папрасілі удзельнікаў у лабараторным эксперыменце, каб ацаніць кандыдатаў на розныя памеры. Такога роду дадзеныя працэсу могуць дапамагчы навукоўцам зразумець механізмы , якія ляжаць адрозненні ў тым , як удзельнікі лячэння рэзюмэ.

З іншага боку, гэтыя тыя ж самыя характарыстыкі, якія я толькі што апісаў, як перавагі, якія часам разглядаюцца недахопы. Даследчыкі, якія аддаюць перавагу палявыя эксперыменты сцвярджаюць, што ўдзельнікі лабараторных эксперыментаў могуць дзейнічаць цалкам па-рознаму, таму што яны ведаюць, што яны вывучаюцца. Так, напрыклад, у лабараторным эксперыменце, удзельнікі маглі б здагадацца мэтамі даследавання і змянілі свае паводзіны, каб не здавацца прадузятым. Акрамя таго, даследчыкі, якія аддаюць перавагу палявыя эксперыменты маглі б сцвярджаць, што невялікія адрозненні ў рэзюмэ могуць толькі вылучыцца ў вельмі чыстай, стэрыльнай лабараторнай асяроддзі, і, такім чынам, лабараторыя эксперымент будзе пераацаніць ўплыў мацярынства на рэальным наём рашэннях. Нарэшце, многія прыхільнікі палявых эксперыментаў крытыкуюць залежнасць LAB эксперыментаў на Weird удзельнікаў: у асноўным студэнты з Заходняй, Адукаваныя, индустриализованные, Рыч і дэмакратычных краін (Henrich, Heine, and Norenzayan 2010a) . Эксперыменты па Correll і яго калегі (2007) ілюструюць дзве крайнасці на лабараторным поля кантынууму. Паміж гэтымі двума крайнасцямі існуе таксама мноства гібрыдных канструкцый, у тым ліку такія падыходы, як у выніку чаго не-студэнтаў у лабараторыі або ісці ў поле, але ўсё ж маюць удзельнікі выконваюць незвычайную задачу.

У дадатку да вымярэння лабараторнага поля, якія існавалі ў мінулым, лічбавы век азначае, што даследчыкі зараз маюць другі асноўны памер, па якіх эксперыменты могуць вар'іравацца: аналога-лічбавае. Гэтак жа, як ёсць чыстыя лабараторныя эксперыменты, эксперыменты чыстых палёў, а таксама розныя гібрыды паміж імі, ёсць чыстыя аналагавыя эксперыменты, чыстыя лічбавыя эксперыменты, і мноства гібрыдаў. Гэта складана прапанаваць фармальнае вызначэнне гэтага памеру, але карысную працоўную вызначэнне, што цалкам лічбавыя эксперыменты эксперыменты , якія выкарыстоўваюць лічбавую інфраструктуру для набіраюць ўдзельнік, Рандомайз, прамаўляюць лячэння і ацэнкі вынікаў. Напрыклад, Restivo і ван дэ Rijt - х (2012) даследаванні barnstars і Wikipedia было цалкам лічбавы эксперымент , таму што ён выкарыстаў лічбавыя сістэмы для ўсіх гэтых чатырох крокаў. Акрамя таго, цалкам аналагавыя эксперыменты не выкарыстоўваць лічбавую інфраструктуру для любога з гэтых чатырох крокаў. Многія з класічных эксперыментаў у псіхалогіі цалкам аналагавыя эксперыменты. У прамежку паміж гэтымі двума крайнасцямі, ёсць часткова лічбавыя эксперыменты, якія выкарыстоўваюць камбінацыю аналагавых і лічбавых сістэм.

Калі некаторыя людзі думаюць пра лічбавыя эксперыментах, яны адразу думаюць онлайн эксперыментаў. Гэта сумна, таму што магчымасці для запуску лічбавых эксперыментаў не толькі ў Інтэрнэце. Даследчыкі могуць працаваць часткова лічбавыя эксперыменты з выкарыстаннем лічбавых прылад у фізічным свеце для таго, каб даставіць лячэнне або ацэнкі вынікаў. Напрыклад, даследчыкі могуць выкарыстоўваць смартфоны для забеспячэння лячэння або датчыкаў ў штучнай асяроддзі для ацэнкі вынікаў. На самай справе, як мы ўбачым далей у гэтым раздзеле, даследчыкі ўжо выкарыстоўвалі метр дома магутнасці для вымярэння вынікаў у эксперыментах аб спажыванні энергіі з удзелам 8,5 млн хатніх гаспадарак (Allcott 2015) . Паколькі лічбавыя прылады становяцца ўсё больш і больш інтэграваныя ў жыццё людзей і датчыкі інтэграваліся ў архітэктурнай асяроддзі, гэтыя магчымасці працаваць часткова лічбавыя эксперыменты ў фізічным свеце рэзка ўзрасце. Іншымі словамі, лічбавыя эксперыменты не толькі онлайн эксперыментаў.

Лічбавыя сістэмы ствараюць новыя магчымасці для эксперыментаў ўсюды ўздоўж лабараторнага поля кантынууму. У чыстых лабараторных эксперыментах, напрыклад, даследчыкі могуць выкарыстоўваць лічбавыя сістэмы для вымярэння больш дакладнага паводзін удзельнікаў; Адным з прыкладаў гэтага тыпу палепшанай вымярэння з'яўляецца вочы адсочвання абсталявання, якое забяспечвае дакладныя і бесперапынныя меры погляд месцазнаходжаньня. Лічбавы век таксама стварае магчымасць запуску лабараторыі падобных эксперыментаў у Інтэрнэце. Напрыклад, даследчыкі хутка прыжылося Amazon Mechanical Turk (MTurk) для набору ўдзельнікаў для інтэрнэт-эксперыментаў (малюнак 4.2). MTurk адпавядае «працадаўцаў», якія маюць задачы, якія павінны быць завершаны з «працоўнымі», якія хочуць, каб завяршыць гэтыя задачы за грошы. У адрозненне ад традыцыйных рынкаў працы, аднак, задачы, звязаныя, як правіла, патрабуецца ўсяго толькі некалькі хвілін, і ўсё узаемадзеянне паміж працадаўцам і працаўніком на сайце. Паколькі MTurk пераймае аспекты традыцыйных лабараторных эксперыментаў, якія аплачваюць чалавек для выканання задач, якія яны не зрабілі б для свабоднай яна натуральным чынам падыходзіць для пэўных тыпаў эксперыментаў. Па сутнасці, MTurk стварыла інфраструктуру для кіравання пулам удзельнікаў-рэкрутынгу і аплат на чалавек і даследчыкі скарысталіся гэтай інфраструктурай задзейнічаць у вседоступные пул удзельнікаў.

Малюнак 4.2: Артыкулы, апублікаваныя з выкарыстаннем дадзеных ад Amazon Mechanical Turk (MTurk). MTurk і іншых інтэрнэт-рынкаў працы прапаноўваюць даследчыкам зручны спосаб адбору ўдзельнікаў для эксперыментаў. Адаптавана з Bohannon (2016) .

Лічбавыя сістэмы ствараюць яшчэ больш магчымасцяў для палявых падобных эксперыментаў. У прыватнасці, яны дазваляюць даследчыкам аб'яднаць жорсткі кантроль і апрацоўваць дадзеныя, якія звязаны з лабараторнымі эксперыментамі з больш разнастайнымі ўдзельнікамі і больш натуральнымі ўмовамі, якія звязаны з лабараторнымі эксперыментамі. Акрамя таго, эксперыменты лічбавых палёў таксама прапануюць тры магчымасцяў, якія, як правіла, цяжка ў аналагавых эксперыментах.

Па-першае, у той час як большасць аналагавых лабараторных і палявых эксперыментаў сотні ўдзельнікаў, эксперыменты лічбавыя поля могуць мець мільёны ўдзельнікаў. Гэта змяненне ў маштабе, таму што некаторыя лічбавыя эксперыменты могуць атрымаць дадзеныя па нулявы зменнай кошту. Гэта значыць пасля таго, як даследчыкі стварылі эксперыментальную інфраструктуру, павялічваючы лік удзельнікаў, як правіла, не прыводзіць да павелічэння кошту. Павелічэнне колькасці удзельнікаў на каэфіцыент 100 або больш гэта не толькі колькаснае змяненне; гэта якаснае змяненне, таму што яна дазваляе даследчыкам вывучаць розныя рэчы з эксперыментаў (напрыклад, гетэрагеннасць эфектаў лячэння) і запусціць зусім розныя эксперыментальныя канструкцыі (напрыклад, вялікія групы эксперыментаў). Гэты момант настолькі важны, я вярнуся да яго ў канцы кіраўніка, калі я пракансультаваць аб стварэнні лічбавых эксперыментаў.

Па-другое, у той час як большасць аналагавых лабараторных і палявых эксперыментах з імі звяртаюцца, як неадметныя фішкі, эксперыменты лічбавыя поля часта выкарыстоўваюць даведачную інфармацыю пра ўдзельнікаў распрацоўкі і аналізу этапаў даследавання. Гэтая даведачная інфармацыя, якая называецца інфармацыя для папярэдняй апрацоўкі, часта даступныя ў лічбавых эксперыментах , так як яны працуюць на вяршыні заўсёды на вымяральных сістэмах (глядзіце раздзел 2). Напрыклад, даследчык у Facebook мае значна больш інфармацыі папярэдняй апрацоўкі пра людзей у сваім лічбавым палявым эксперыменце, чым універсітэцкі даследчык пра людзей у сваім аналагавым палявым эксперыменце. Гэтая папярэдняя апрацоўка забяспечвае больш эфектыўныя эксперыментальныя канструкцыі, такія як блакаванне (Higgins, Sävje, and Sekhon 2016) і мэтавай набор удзельнікаў (Eckles, Kizilcec, and Bakshy 2016) -О больш глыбокі аналіз-такіх як ацэнка неаднастайнасці эфектаў лячэння (Athey and Imbens 2016a) і ковариата рэгулявання для паляпшэння дакладнасці (Bloniarz et al. 2016) і (Bloniarz et al. 2016) .

Па-трэцяе, у той час як многія аналагавыя лабараторныя і палявыя эксперыменты забяспечваюць лячэнне і вымяраюць рашэнне задач у адносна сціснутага перыяду часу, некаторыя эксперыменты лічбавага поля адбудзецца на працягу значна больш працяглыя часовыя рамкі. Напрыклад, эксперымент Restivo ван дэ Rijt мела вынік вымяраецца штодня ў працягу 90 дзён, і адзін з эксперыментаў , якія я вам распавяду пазней у гэтым раздзеле (Ferraro, Miranda, and Price 2011) адсочваюцца вынікі ў працягу трох гадоў у асноўным няма кошт. Гэтыя тры магчымасці памеру, інфармацыя папярэдняй апрацоўкі, а таксама падоўжнае лячэнне і зыходы дадзеных ўзнікаюць часцей за ўсё, калі эксперыменты выконваюцца на вяршыні заўсёды на вымярэнні сістэм (глядзі раздзел 2 для атрымання больш падрабязнай заўсёды на вымяральных сістэмах).

У той час як эксперыменты лічбавых палёў прапануюць шмат магчымасцяў, яны таксама маюць некаторыя недахопы, як з аналагавай лабараторыяй і эксперыментамі аналагавых палявымі. Напрыклад, эксперыменты не могуць быць выкарыстаны для вывучэння мінулага, і яны могуць толькі ацаніць эфекты лячэння, якія можна маніпуляваць. Акрамя таго , хоць эксперыменты, несумненна , карысныя для распрацоўкі палітыкі, дакладныя ўказанні , яны могуць прапанаваць некалькі абмежаваныя з - за ўскладненні , такія як экалагічная залежнасць, праблемы захавання і раўнаважкіх эфекты (Banerjee and Duflo 2009; Deaton 2010) . Эксперыменты Лічбавыя поля таксама павялічваюць этычныя праблемы, створаныя палявыя эксперыменты-топіцы я зьвярнуся пазней у гэтым раздзеле і ў главе 6.