4.3 Две измерения на експерименти: лу-полеви и аналогово-цифрови

Лабораторни експерименти предлагат контрол, полеви експерименти предлагат реализъм, и дигитални експерименти полеви съчетават контрол и реализъм в мащаб.

Експерименти идват в много различни форми и размери. Но въпреки тези различия, изследователите са открили, че е полезно да се организира експерименти по континуум между лабораторни експерименти и полеви експерименти. Сега, обаче, изследователите трябва също така да организират експерименти по континуум между аналогови експерименти и дигитални експерименти. Това двумерен дизайн пространство ще ви помогне да разберете силните и слабите страни на различните подходи и предлагане на области за най-голяма възможност (Фигура 4.1).

Фигура 4.1: Схема на дизайн пространство за експерименти. В миналото, експерименти варират заедно измерение на лабораторията-област. Сега, те също се различават от аналогово-цифров измерение. По мое мнение, в района на най-голямата възможност е дигитални експерименти поле.

В миналото, основният начин, че изследователите, организирани експерименти беше заедно измерение на лабораторията-област. По-голямата част от експерименти в областта на социалните науки са лабораторни експерименти, където студенти изпълняват странни задачи в лаборатория за курс кредит. Този вид експеримент доминира изследвания в областта на психологията, защото тя дава възможност на учените да създадат много специфични процедури, предназначени да проверят много специфични теории за социално поведение. За някои проблеми, обаче, нещо се чувства малко странно за съставяне силни изводи за поведението на хората от тези необикновени хора, извършващи такива необичайни задачи в една такава необичайна обстановка. Тези опасения са довели до движение към полеви експерименти. експерименти Полеви съчетават силния дизайна на рандомизирани контролни експерименти с повече представителни групи от участници, извършване на по-общи задачи, в по-естествена среда.

Въпреки че някои хора мислят за лабораторни и полеви експерименти като конкуриращи методи, най-добре е да се мисли за тях като допълващи методи с различни силни и слаби страни. Например, Correll, Benard, and Paik (2007) се използва както в лаборатория експеримент и експеримент поле в опит да открие източниците на "майчинството наказание". В Съединените щати, майки получават по-малко пари, отколкото бездетните жени, дори когато сравняващи жени с подобни умения, работещи в подобни работни места. Има много възможни обяснения за този модел, и един е, че работодателите са предубедени срещу майките. (Интересно е, че обратното изглежда да е вярно за бащи: те са склонни да печелят повече, отколкото сравнимите бездетни жени). За да се оцени възможно предубеждение към майките, Корел и колеги тичаха два експеримента: един в лабораторията и един в областта.

Първо, в лаборатория експеримент Корел и колеги казаха участници, които са били в колежа студенти, че базираната в Калифорния стартиращи комуникации компания бе провеждане на търсене на работа, за да може човек да води своя нов East Coast отдел маркетинг. Учениците бяха казали, че компанията иска тяхната помощ в процеса на наемане и те бяха помолени да преразгледа автобиографии на няколко потенциални кандидати и да оцените кандидатите за няколко измерения като тяхната интелигентност, топлина, и ангажимент да работят. Освен това, студентите са били запитани дали биха препоръчали наемането на кандидата и това, което те биха препоръчали като изходен заплата. Без знанието на учениците, обаче, автобиографии бяха специално конструиран да бъде сходна с изключение на едно нещо: някои от автобиографии сигнализира майчинството (с изброяването участие в сдружение родител-учител), а някои не. Correll установи, че студентите са по-малко склонни да препоръчат неговото назначаване майките и ги предлагат по-ниска начална заплата. Освен това, чрез статистически анализ на двете рейтингите и решенията за наемане свързани, Correll установено, че недостатъците на майките са били до голяма степен се обяснява с факта, че майките са били оценени по-ниски от гледна точка на компетентност и ангажимент. С други думи, Correll твърди, че тези черти са механизма, чрез които майките са в неравностойно положение. По този начин, тази лаборатория експеримент позволено Корел и колеги, за да се измери причинна ефект и осигуряване на възможно обяснение за тази цел.

Разбира се, човек може да бъде скептичен за да се направят изводи за целия пазар на труда в САЩ въз основа на решенията на няколкостотин студенти, които вероятно никога не са имали работа на пълно работно време, да не говорим, наети хора. Ето защо, Корел и колеги също провеждат допълнителен експеримент. Изследователите са отговорили на стотици обявените свободни работни места чрез изпращане на фалшиви мотивационни писма и автобиографии. Подобно на материалите, показани на студентите, някои автобиографии сигнализират майчинството и някои не са. Корел и колеги установили, че майките са по-малко вероятно да се обади за интервюта, отколкото еднакво квалифицирани бездетни жени. С други думи, реални работодатели правят последващи решения в природна среда се държаха много прилича на студентите. Дали те правят подобни решения по същата причина? За съжаление, ние не знаем. Изследователите не са били в състояние да поиска работодателите да оценяват кандидатите или обясни своите решения.

Тази двойка експерименти разкрива много за лабораторни и полеви опити с общ. Лабораторни експерименти предлагат изследователи близо до пълен контрол на околната среда, в която участниците се вземат решения. Така, например, в лабораторията на експеримента, Корел е в състояние да гарантира, че всички автобиографии бяха прочетени на тихо място; в поле експеримента, някои от автобиографии, може да не са дори били прочетени. Освен това, тъй като участниците в създаването на лабораторията да знаят, че те са обект на проучване, изследователите често са в състояние да събират допълнителни данни, които могат да им помогнат да разберат защо участниците са вземането на решенията си. Например, Correll попита участниците в лабораторията на експеримента да оценят кандидатите за различни размери. Този вид обработка на данните може да помогне на учените да разберат механизмите зад разлики в това как участниците лечение на автобиографии.

От друга страна, тези точно същите характеристики, които току-що описани като предимства са също така понякога се считат за недостатъци. Изследователите, които предпочитат полеви експерименти твърдят, че участниците в лабораторни експерименти могат да действат много по-различно, когато те са били внимателно наблюдавани. Например, в лабораторията на участниците в експеримента би се досещате, че целта на изследването и променят поведението си, за да не изглеждат пристрастни. Освен това, изследователите, които предпочитат полеви експерименти може да се твърди, че малките разлики от автобиографии може само да се открояват в много чиста, стерилна лаборатория среда, и по този начин на лабораторията експеримента ще свръх-прецени ефектът на майчинството на решения в реално наемане. И накрая, много привърженици на полеви експерименти критикуват лабораторни експерименти се разчита на странни участници: предимно студенти от Западна, образовани, индустриализираните, богат, и демократични страни (Henrich, Heine, and Norenzayan 2010) . Експериментите с Корел и колеги (2007) илюстрират двете крайности на лабораторията-област континуум. Между тези две крайности има голямо разнообразие на хибридни проекти, включително подходи като привеждане чуждестранни студенти в лаборатория или да навлиза в полето, но все още има участници изпълняват необичайна задача.

В допълнение към измерението на лабораторията-поле, което е съществувало в миналото, дигиталната епоха означава, че учените вече имат втора голяма величина, по която експерименти могат да варират: аналогови-цифрови. Точно както има чисти експерименти Lab, чисти експерименти поле, както и разнообразие от хибриди между тях, там са чисти аналогови експерименти, чисти дигитални експерименти, както и разнообразие от хибриди. Това е трудно да се предложи официално определение на това измерение, но полезна работна дефиниция е, че изцяло дигитални експерименти са експерименти, които да се възползват от цифровата инфраструктура за привличане на участници, случайност, предаде лечения, и измерване на резултатите. Например, Restivo и ван де Rijt му (2012) проучване на barnstars и Wikipedia е напълно цифров експеримент, защото използва цифрови системи за всички четири от тези стъпки. По същия начин напълно аналогови експерименти са експерименти, които не се възползват от цифровата инфраструктура за всяка от тези четири стъпки. Много от класически експерименти в психологията са аналогови експерименти. Между тези две крайности са частично цифрови експерименти, използващи комбинация от аналогови и цифрови системи за четири стъпки.

Критично, възможностите да се движат дигитални експерименти, които не са само онлайн. Изследователите могат да работят частично дигитални експерименти с помощта на цифрови устройства във физическия свят, за да се достави лечения или измерване на резултатите. Например, учените могат да използват смартфони, за да достави лечения или сензори в архитектурната среда за измерване на резултатите. В действителност, както ще видим по-късно в тази глава, изследователите са вече използвани дома електромерни табла за измерване на резултатите от експерименти за социалните норми и консумацията на енергия, включваща 8,5 милиона домакинства (Allcott 2015) . Както цифрови устройства стават все по-интегрирани в живота на хората и сензори се интегрираш в архитектурната среда, тези възможности да работят частично дигитални експерименти във физическия свят ще се увеличи драстично. С други думи, дигитални експерименти, които не са само онлайн експерименти.

Цифрови системи създават нови възможности за експерименти навсякъде по лу-област континуум. В чисти лабораторни експерименти, например, изследователите могат да използват цифрови системи за по-фини измерване на поведението на участниците; един пример за този тип подобрена измерване е следене на погледа оборудване, което осигурява точни и постоянни мерки на място погледа. В дигиталната епоха също създава възможност да се изпълнява лабораторни-подобни експерименти онлайн. Например, учените са бързо приети Amazon Mechanical Turk (MTurk) за набиране на участници за онлайн експерименти (Фигура 4.2). MTurk мачове "работодатели", които имат задачи, които трябва да бъдат завършени с "работници", които искат да завършат тези задачи за пари. За разлика от традиционните пазари на труда, обаче, задачите, които участват обикновено изискват само няколко минути, за да завърши и цялата взаимодействието между работодател и работник е виртуална. Защото MTurk имитира аспекти на традиционните лабораторни експерименти-плащат хората при изпълнение на задачи, които те не биха направили безплатно-то е естествено подходящи за някои видове експерименти. По същество, MTurk създаде инфраструктура за управление на басейна на участниците-набиране и обръща към хората и изследователи са се възползвали от тази инфраструктура, за да се включи в една винаги на разположение басейн на участниците.

Фигура 4.2: Papers публикувани използване на данни от Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk и други онлайн пазарите на труда предлагат изследователи удобен начин за набиране на участници за експерименти.

Цифрови експерименти създават още повече възможности за полеви-подобни експерименти. Цифрови експерименти полеви могат да предложат стегнати данни за контрол и процеса да се разбере възможни механизми (като лабораторни експерименти) и по-разнообразни участници правят реални решения в естествена среда (като полеви експерименти). В допълнение към тази комбинация от добри характеристики на по-ранни експерименти, дигитални експерименти полеви също предлагат три възможности, които са трудно в аналогови лабораторни и полеви експерименти.

Първо, докато повечето аналогови лабораторни и полеви експерименти имат стотици участници, дигитални експерименти полеви могат да имат милиони участници. Тази промяна в мащаб е така, защото някои цифрови експерименти могат да произвеждат данни при нулево променливи разходи. Това означава, че след като изследователи са създадени експериментално инфраструктура, увеличаване на броя на участниците обикновено не води до увеличаване на разходите. Увеличаването на броя на участниците с коефициент от 100 или повече, не е само количествена промяна, тя е качествена промяна, тъй като тя дава възможност на учените да научат различни неща от експерименти (например, хетерогенност на лечебни ефекти) и управлявана изцяло различни експериментални дизайни ( например, големи експерименти група). Тази точка е толкова важно, че ще се завърне в нея към края на главата, когато се предлага съвети за създаване на дигитални експерименти.

Второ, докато повечето аналогови лабораторни и полеви експерименти лечение на участниците като неразличими джаджи, дигитални експерименти полеви често използват фон информация за участниците в проектирането и анализа на етапите на изследването на. Тази основна информация, която се нарича информация предварително третиране, често е на разположение в цифрови експерименти, тъй като те се провеждат в напълно измерени среди. Например, изследовател в Facebook има много повече информация предварително третиране, отколкото изследовател проектиране стандартен лабораторен експеримент с студенти. Тази информация предварителна обработка позволява на изследователите да се премине отвъд лечение на участниците като неразличими джаджи. По-конкретно, информация предварителна обработка позволява по-ефективни експериментални проекти, като например блокиране (Higgins, Sävje, and Sekhon 2016) и целенасочено набиране на участници (Eckles, Kizilcec, and Bakshy 2016) -и интуитивна анализ, като например оценка на хетерогенност на лечебни ефекти (Athey and Imbens 2016a) и коварианта корекция за подобрена точност (Bloniarz et al. 2016) .

На трето място, докато много аналогови лабораторни и полеви експерименти доставят лечения и резултати мярка в сравнително сгъстен период от време, някои цифрови експерименти полеви включват процедури, които могат да бъдат доставени с течение на времето и последиците могат да бъдат измерени с течение на времето. Например, Restivo и ван де Rijt е експеримент има за резултата измерва ежедневно в продължение на 90 дни, а един от експериментите аз ще ви разкажа за по-късно в главата (Ferraro, Miranda, and Price 2011) проследява резултатите от над 3 години в общи линии не разходи. Тези три възможности размер, информационните предварително третиране, и надлъжна лечение и резултатните данни са най-често срещаните при експерименти се провеждат в началото на винаги-на измервания системи (виж глава 2 за повече от винаги-на системи за измерване).

Докато дигитални експерименти полеви предлагат много възможности, те също имат някои слабости с аналогови лаборатория и полеви експерименти. Например, експерименти, които не могат да се използват за изучаване на миналото, и те могат да преценят само въздействието на лечения, които могат да бъдат манипулирани. Също така, въпреки че експериментите са безспорно полезни за насочване на политиката, точно указанията те могат да предложат е донякъде ограничен поради усложнения като зависимостта на околната среда, проблеми на съответствието, и равновесни реакции (Banerjee and Duflo 2009; Deaton 2010) . Накрая, дигитални експерименти полеви величаем етичните опасения, създадени от полеви експерименти. Привържениците на полеви експерименти тромпет способността им да ненатрапчиво и случайно се намеси в последващи решения, взети от милиони хора. Тези функции предлагат някои научни предимства, но те също могат да правят полеви експерименти етично комплекс (мисля за него като изследователи лекуват хора като "опитни мишки" в голям мащаб). Освен това, в допълнение към възможните вреди на участниците, дигитални експерименти поле, поради техния мащаб, могат да пораждат загриженост и прекъсването на работа на социалните системи (например, опасения за нарушаване на системата за възнаграждение на Wikipedia, ако Restivo и ван дер Rijt даде твърде много barnstars) ,