4.3 две димензии на експерименти: лабораториски поле и аналогни дигитални

Лабораториски експерименти нудат контрола, полето експерименти понуди реализам и дигитални експерименти поле комбинираат контрола и реализмот на скалата.

Експериментите доаѓаат во многу различни форми и големини. Но, и покрај овие разлики, научниците откриле дека е корисно да се организира експерименти по континуумот меѓу лабораториски експерименти и теренски експерименти. Сега, меѓутоа, научниците исто така треба да се организираат експерименти по континуумот помеѓу аналогни и дигитални експерименти експерименти. Оваа две-димензионални дизајн простор ќе ви помогне да разберат предностите и слабостите на различните пристапи и да предложат области на најголем потенцијал (Слика 4.1).

Слика 4.1: Шематски приказ на дизајнот простор за експерименти. Во минатото, експерименти различни по димензија на лабораториски област. Сега, тие, исто така, се разликуваат на аналогни дигитални димензија. Според мое мислење, од областа на најголема можност е дигитални експерименти област.

Во минатото, главниот начин што истражувачите експерименти беше организиран заедно димензија на лабораториски област. Поголемиот дел од експерименти во областа на општествените науки се лабораториски експерименти, каде што студентите на додипломски студии изврши чудно задачи во лабораторија за текот на кредит. Овој вид на експеримент доминира истражување во психологијата, бидејќи им овозможува на истражувачите да се создаде многу специфични третмани со цел да се тестира многу специфични теории за социјално однесување. За одредени проблеми, сепак, нешто се чувствува малку чудно за цртање силни заклучоци за човековото однесување од такви необични луѓе вршење на тие необични задачи на таков необичен амбиент. Овие проблеми доведоа до движење кон полето експерименти. експерименти поле комбинираат силна дизајн на рандомизирани експерименти контрола со повеќе претставник групи на учесници, вршење на повеќе заеднички задачи, во повеќе природни услови.

Иако некои луѓе мислат на лабораториски и теренски експерименти што се натпреваруваат методи, тоа е најдобро да се размислува за нив како комплементарни методи со различни предности и слабости. На пример, Correll, Benard, and Paik (2007) се користи и лабораториски експеримент и експеримент поле во обид да се најде извори на "мајчинство казна". Во САД, мајките заработуваат помалку пари од бездетни жени, дури и кога споредување на жени со слични вештини кои работат во слични работни места. Има многу објаснувања за овој модел, а еден е дека работодавачите се пристрасни против мајки. (Интересно е, спротивното чини дека е вистина за татковци: тие се стремат да освојат повеќе од споредлива бездетни мажи). Со цел да се направи проценка за евентуалната пристрасност против мајки, Correll и колеги истрча два експерименти: една во лабораторија и еден во оваа област.

Прво, во лабораториски експеримент Correll и неговите колеги, пред учесниците, кои беа колеџ студенти, кои со седиште во Калифорнија start-up комуникации компанија е спроведување пребарување за вработување на едно лице да го води својот нов источниот брег на одделот за маркетинг. Студентите им било кажано дека компанијата сака нивната помош во процесот на вработување и од нив било побарано да се видат продолжува на неколку потенцијални кандидати и да ја рангираат кандидатите за голем број на димензии, како што нивната интелигенција, топлина, и посветеност кон работата. Понатаму, учениците беа прашани дали тие ќе им препорачаат на вработување на барателот и она што тие би го препорачал како почетна плата. Без знаење на студентите, сепак, продолжува беа специјално направени да бидат слични, освен за една работа: некои од резимеа сигнализираше мајчинство (со наведување на учество во здружение на родител-наставник), а некои не. Correll откриле дека студентите се со помала веројатност да се препорача вработување на мајки и им понуди пониска почетна плата. Понатаму, преку статистичка анализа и на рејтингот, а одлуката за вработување поврзани со, Correll најде дека недостатоците на мајките во голема мера се објаснува со фактот дека мајките беа рангирани пониско во однос на компетентност и посветеност. Со други зборови, Correll тврди дека овие карактеристики се механизмот преку кој мајките се обесправени. Така, оваа лабораториски експеримент дозволено Correll и колеги да се измери причинска ефект и да се обезбеди можно објаснување за тоа.

Се разбира, може да се скептични во врска со носење на заклучоци за целиот пазар на труд врз основа на одлуките на неколку стотици студенти кои веројатно никогаш не сте имале со полно работно време, а камоли да вработи луѓе. Затоа, Correll и неговите колеги, исто така, спроведе комплементарни областа експеримент. Истражувачите одговори на стотици огласени работни места со испраќање на лажни покрие букви и продолжува. Слично на материјали прикажани на студенти, некои биографии покажува дека мајчинството, а некои не. Correll и неговите колеги откриле дека мајките се со помала веројатност да се повика назад за интервјуа од подеднакво квалификувани бездетни жени. Со други зборови, во реално работодавците кои што значајни одлуки во природниот амбиент однесувал слично како на студенти. Дали тие се слични одлуки за истата причина? За жал, ние не знаеме. Истражувачите не беа во можност да побара од работодавачите да го оценувате кандидатите или објасни своите одлуки.

Овој пар на експерименти открива многу за лабораториски и теренски експерименти во целина. Лабораториски експерименти, научниците нудат речиси целосна контрола на околината во која учесниците се донесување на одлуки. Така, на пример, во лабораториски експеримент, Correll беше во можност да се осигура дека сите резимеа беа прочитани во тивка околина; во областа експеримент, некои од резимеа не би можеле да имаат дури и се прочита. Понатаму, бидејќи учесниците во поставување на лабораториски знаат дека тие се изучуваат, истражувачите често се во можност да се соберат дополнителни податоци кои можат да помогнат да се разбере зошто учесниците ги носат своите одлуки. На пример, Correll побараа од учесниците во лабораториски експеримент да го оценувате кандидатите на различни димензии. Овој вид на процесот на податоци може да помогне на истражувачите да се разбере механизми зад разлики во тоа како учесниците се третираат на резимеа.

Од друга страна, овие исти карактеристики кои јас само се опише како предности се, исто така, понекогаш се смета недостатоци. Истражувачите кои сакаат полето експерименти тврдат дека учесниците во лабораториски експерименти може да делува многу различно кога тие се внимателно да се следат. На пример, во лабораториски експеримент, учесниците може да се претпостави дека целта на истражувањето и се менуваат своето однесување за да не се појави пристрасен. Понатаму, истражувачите кои сакаат полето експерименти може да тврдат дека малите разлики на резимеа само што може да се издвоите во многу чиста, стерилни лабораториски услови, а со тоа и лабораториски експеримент прекумерно ќе се процени ефектот на мајчинството врз одлуките вистински вработување. На крајот, многу поборници на полето експерименти критикуваат лабораториски експерименти потпирање на чудни учесници: главно студенти од Западна, образовани, индустријализирана, богат и демократски земји (Henrich, Heine, and Norenzayan 2010) . На експерименти со Correll и колеги (2007) илустрира две крајности на лабораториски поле континуум. Помеѓу овие две крајности, постојат голем број на хибридни дизајни вклучувајќи пристапи како што се носат не-студенти во лабораторија или да оди во областа, но сепак учесниците да се изврши една необична задача.

Во прилог на димензија на лабораториски област, кои се постоеле во минатото, дигиталната ера значи дека истражувачите сега мора втората голема димензија по кој експерименти може да се разликуваат: аналогни дигитални. Исто како што постојат чисто лабораториски експерименти, чисто експерименти поле, и разни хибриди меѓу нив, постојат чисто аналогни експерименти, чиста дигитални експерименти, и разни хибриди. Тоа е незгодно да им понуди на формална дефиниција на оваа димензија, но корисни работната дефиниција е дека целосно дигитален експерименти се експериментите кои го прават користењето на дигиталната инфраструктура за регрутирање на учесници, случајни, избави третмани, и мерење на резултатите. На пример, Restivo и ван де Rijt е (2012) студија на barnstars и Википедија е целосно дигитален експеримент поради тоа што користат дигитални системи за сите четири од овие чекори. Исто така целосно аналогни експерименти се експерименти, кои не го прават користењето на дигитална инфраструктура за било кој од овие четири чекори. Многу од класичните експерименти во психологијата се аналогни експерименти. Помеѓу овие две крајности има делумно дигитални експерименти коишто користат комбинација на аналогни и дигитални системи за четири чекори.

Критички, можностите да се кандидира дигитални експерименти не се само онлајн. Истражувачите може да работи делумно дигитални експерименти со помош на дигиталните уреди во физичкиот свет со цел за реализација третмани или мерење на резултатите. На пример, истражувачите можат да ги користат паметни телефони за да овозможи третмани или сензори во изградена средина за мерење на резултатите. Всушност, како што ќе видиме подоцна во ова поглавје, истражувачите веќе се користи дома мерачи на моќност за мерење на резултатите во експериментите за социјалните норми и потрошувачката на енергија, вклучувајќи 8,5 милиони домаќинства (Allcott 2015) . Како дигитални уреди се повеќе и повеќе интегрирани во животот на луѓето и сензори се интегрира во изградена средина, овие можности да се кандидира делумно дигитални експерименти во физичкиот свет ќе се зголеми драстично. Со други зборови, дигитални експерименти не се само онлајн експерименти.

Дигитални системи создаде нови можности за експерименти насекаде заедно со фото-лабораториски поле континуум. Во чистата лабораториски експерименти, на пример, истражувачите можат да користат дигитални системи за пофини мерења на однесувањето на учесниците; еден пример за овој тип на подобрување на мерење е око-СЛЕДЕЊЕ опрема која обезбедува прецизна и континуирани мерки на локацијата поглед. Дигиталната ера, исто така, создава можност да се кандидира како лабораториски експерименти онлајн. На пример, истражувачите брзо усвоен Амазон Машински Турк (MTurk) за регрутирање на учесници за онлајн експерименти (слика 4.2). MTurk натпревари "работодавци", кои имаат задачи што треба да се заврши со "работници" кои сакаат да ги завршат овие задачи за пари. За разлика од традиционалните пазари на труд, сепак, задачите кои се вклучени обично бара само неколку минути за да заврши и целата интеракција помеѓу работодавачот и работникот е виртуелен. Бидејќи MTurk имитира аспекти на традиционалната лабораториски експерименти плаќаат луѓето да ги завршат задачите кои тие не би го направил за слободен-тоа е природно одговара за одредени видови на експерименти. Во суштина, MTurk создаде инфраструктура за управување со група на учесници-регрутирање и плаќаат луѓето и истражувачи се преземаа предноста на таа инфраструктура да се сместат во еден секогаш на располагање базен на учесниците.

Слика 4.2: трудови објавени со користење на податоци од Амазон Машински Турк (MTurk) (Bohannon 2016) . MTurk и други онлајн пазари на трудот нудат истражувачи лесен начин да се регрутирање на учесници за експерименти.

Дигитални експерименти се создаде уште поголеми можности за терен како експерименти. Дигитални експерименти поле може да понуди тесни податоци за контрола и процесот да се разбере можни механизми (како лабораториски експерименти) и повеќе различни учесници донесување вистински одлуки во природна средина (како на полето експерименти). Во прилог на оваа комбинација на добри карактеристики на претходните експерименти, дигитални експерименти поле, исто така, нудат три можности, кои беа тешко во аналоген лабораториски и теренски експерименти.

Прво, додека повеќето аналоген лабораториски и теренски експерименти имаат стотици учесници, дигитални експерименти поле може да имаат милиони учесници. Оваа промена во размер е затоа што некои дигитални експерименти може да произведе податоци на нула на варијабилни трошоци. Тоа е, еднаш истражувачи создадоа експериментални инфраструктура, зголемување на бројот на учесниците обично не се зголеми цената. Зголемување на бројот на учесниците со фактор од 100 или повеќе не е само за квалитативна промена, тоа е квалитативна промена, бидејќи тоа им овозможува на истражувачите да научат различни работи од експерименти (на пример, хетерогеноста на третман ефекти) и да ја стартувате целосно различни експериментални дизајни ( на пример, големи експерименти група). Оваа точка е толку важно, јас ќе се врати тоа кон крајот на поглавјето кога ќе нудат совети за креирање на дигитални експерименти.

Второ, додека повеќето аналоген лабораториски и теренски експерименти лекување на учесниците како се разликува додатоци, дигитални експерименти поле често ги користат позадина информации за учесниците во дизајн и анализа фази на истражувањето. Оваа позадина информации, кој се нарекува информации за пред-третман, често се достапни во дигитални експерименти, бидејќи тие се одржи во целосно мери средини. На пример, истражувач на Фејсбук има многу повеќе информации за пред-третман од истражувач изработката на стандарден лабораториски експеримент со студенти. Оваа информација пред-третман овозможува на истражувачите да се движат надвор од лекување на учесниците како се разликува графичките контроли. Поконкретно, информации за пред-третман овозможува поефикасно експериментални дизајни, како што се блокирање (Higgins, Sävje, and Sekhon 2016) и насочени регрутирање на учесници (Eckles, Kizilcec, and Bakshy 2016) -и повеќе остроумен анализа, како што се процена на хетерогеност на третман ефекти (Athey and Imbens 2016a) и коваријација прилагодување за подобрување на прецизноста (Bloniarz et al. 2016) .

Трето, додека многу аналоген лабораториски и теренски експерименти испорача третмани и резултатите мерка во релативно компримиран износ на време, некои дигитални експерименти поле вклучува третмани кои може да бидат доставени со текот на времето и ефектите исто така, може да се мери со текот на времето. На пример, Restivo и ван де Rijt експеримент има исходот мери дневно за 90 дена, а еден од експериментите, јас ќе ви кажам за подоцна во ова поглавје (Ferraro, Miranda, and Price 2011) ги следи резултатите од над 3 години во основа нема трошоци. Овие три можности големина, информации за пред-третман, и надолжно третманот и исходот на податоци, е најчеста кога експерименти се извршуваат на врвот на секогаш-на мерења системи (види Глава 2 за повеќе информации за секогаш на системи за мерење).

Додека дигитални експерименти поле нудат многу можности, тие исто така имаат некои слабости и со аналоген лабораториски и теренски експерименти. На пример, експерименти не може да се користи за проучување на минатото, и тие само може да се процени влијанието на третмани кои може да се манипулира. Исто така, иако експерименти се несомнено корисни за водење на политика, точните насоки тие можат да понудат е малку ограничен поради компликации како што зависноста на животната средина, проблеми усогласеност, како и рамнотежа ефекти (Banerjee and Duflo 2009; Deaton 2010) . Конечно, дигитални експерименти поле зголемите етичка загриженост создадена од областа експерименти. Застапниците на полето експерименти труба нивната способност да ненаметливо и случајно се интервенира во последователни одлуки донесени од страна на милиони луѓе. Овие карактеристики нудат одредени научни предности, но тие исто така може да се направи полето експерименти етички комплекс (мислам за тоа како истражувачи лекување на луѓето како "лабораторија стаорци" во огромни количини). Исто така, во прилог на можни штети на учесниците, дигитални експерименти област, бидејќи на нивното ниво, исто така, може да предизвика загриженост за прекин на работа на социјалните системи (на пример, се однесува за нарушување на систем за наградување на Википедија ако Restivo и ван дер Rijt даде премногу barnstars) .