4.3 Dwa wymiary eksperymentów: laboratorium polowe i analogowo-cyfrowe

Eksperymenty laboratoryjne oferują kontrolę doświadczenia polowe oferują realizmu i cyfrowe doświadczenia polowe łączą kontrolę i realizm w skali.

Eksperymenty są w wielu różnych kształtach i rozmiarach. Ale pomimo tych różnic, naukowcy odkryli, że warto organizować eksperymenty kontinuum pomiędzy eksperymentów laboratoryjnych i doświadczeń polowych. Teraz jednak naukowcy powinni zorganizować eksperymenty kontinuum pomiędzy eksperymentów analogowych i cyfrowych eksperymentów. Ta dwuwymiarowa przestrzeń projekt pomoże ci zrozumieć mocne i słabe strony różnych podejść i zaproponować obszary największej szansy (rysunek 4.1).

Rysunek 4.1: Schemat przestrzeni projektowej dla eksperymentów. W przeszłości eksperymenty zmieniać wzdłuż wymiaru laboratorium pola. Teraz, również różnią się od wymiaru analogowo-cyfrowy. Moim zdaniem, obszar największego szans jest cyfrowe doświadczenia polowe.

W przeszłości, głównym sposobem, że naukowcy eksperymentów było zorganizowane wzdłuż wymiaru lab-polowej. Większość eksperymentów w naukach społecznych są eksperymenty laboratoryjne, gdzie licencjackich studenci wykonują dziwne zadania w laboratorium na kredyt oczywiście. Ten rodzaj eksperymentu dominuje badań w psychologii, ponieważ pozwala naukowcom stworzyć bardzo specyficzne zabiegi mające na celu przetestowanie bardzo konkretne teorie na temat zachowań społecznych. W przypadku niektórych problemów, jednak coś czuje się nieco dziwne o rysunek silne wnioski na temat ludzkich zachowań z takich niezwykłych ludzi wykonujących takie nietypowe zadania w tak niezwykłym otoczeniu. Problemy te doprowadziły do ruchu w kierunku doświadczeniach polowych. Doświadczenia polowe łączą silną konstrukcję randomizowanych badań kontrolnych z bardziej reprezentatywnych grup uczestników, wykonując bardziej typowych zadań, w ustawieniach bardziej naturalne.

Chociaż niektórzy ludzie myślą o eksperymentach laboratoryjnych i polowych w konkurencyjnych metod, najlepiej jest myśleć o nich jako komplementarnych metod z różnych mocnych i słabych stron. Na przykład, Correll, Benard, and Paik (2007) stosowany zarówno eksperyment laboratoryjny i doświadczeniu polowym w próbie znalezienia źródeł "kary macierzyństwa". W Stanach Zjednoczonych, matki zarabiają mniej pieniędzy niż bezdzietnych kobiet, nawet jeśli porównujące kobiety o podobnych umiejętnościach pracujących na podobnych stanowiskach. Istnieje wiele możliwych wyjaśnień tego wzorca, a jeden jest, że pracodawcy są dociskane matek. (Co ciekawe, przeciwnie wydaje się być prawdą dla ojców mają tendencję, aby zarobić więcej niż porównywalne bezdzietnych mężczyzn). Aby ocenić ewentualne uprzedzenia wobec matek, Correll i współpracownicy prowadził dwa eksperymenty: jeden w laboratorium i jeden w tej dziedzinie.

Po pierwsze, w eksperymencie laboratoryjnym Correll i współpracownicy powiedział uczestnikom, którzy byli Studenci uczelni, które Kalifornii firma telekomunikacyjna rozruchu został prowadzenia szukanie zatrudnienia dla osoby, która ma prowadzić swój nowy dział marketingu Wschodnim Wybrzeżu. Uczniowie zostali poinformowani, że firma chciała ich pomoc w procesie rekrutacji i oni zostali poproszeni o opinie życiorysy kilku potencjalnych kandydatów i ocenić kandydatów na wielu wymiarach, takich jak ich inteligencji, ciepło i zaangażowanie do pracy. Ponadto, uczniowie zostali zapytani czy polecam wynajęcie wnioskodawcę i co poleciliby jako wynagrodzenia początkowego. Bez wiedzy studentów, jednak wznowione zostały specjalnie skonstruowane tak, aby być podobne z wyjątkiem jednej rzeczy: niektóre CV zasygnalizował macierzyństwa (wymieniając zaangażowania w związku rodzic-nauczyciel), a niektóre nie. Correll okazało się, że uczniowie byli mniej skłonni do zaleceń w sprawie zatrudniania matek i zaproponował im niższe wynagrodzenia początkowego. Ponadto, poprzez analizę statystyczną obu ocen i decyzji związanych z najmu, Correll stwierdzili, że wady matek były w dużej mierze wytłumaczyć faktem, że matki były oceniane niższe pod względem kompetencji i zaangażowania. Innymi słowy, Correll twierdzi, że cechy te są mechanizmem, poprzez który matki są w niekorzystnej sytuacji. Tak więc, ten eksperyment laboratoryjny dozwolone Correll i kolegów do zmierzenia efektu przyczynowego i zapewnić ewentualne wyjaśnienie tego efektu.

Oczywiście, można być sceptyczny wyciąganie wniosków na temat całego rynku pracy w USA na podstawie decyzji kilkuset studentów, którzy prawdopodobnie nigdy nie mieli pełnym wymiarze czasu pracy, nie mówiąc już zatrudnionych osób. Dlatego Correll wraz ze współpracownikami przeprowadził również komplementarny doświadczeniu polowym. Naukowcy odpowiedziały setki otworów reklamowanych pracy wysyłając fałszywe listów motywacyjnych i CV. Podobnie jak w przypadku materiałów przedstawionych do studentów, niektórzy wznawia zasygnalizował macierzyństwo, a niektóre nie. Correll i jego koledzy odkryli, że matki są mniej prawdopodobne, aby oddzwonił do rozmów niż jednakowo wykwalifikowanych kobiet bezdzietnych. Innymi słowy, prawdziwe pracodawcy podejmowania decyzji następcze w otoczeniu przyrody zachowywał podobnie jak studentów. Czy oni podejmowanie podobnych decyzji, z tego samego powodu? Niestety, nie wiemy. Naukowcy nie byli w stanie zwrócić się do pracodawcy, aby ocenić kandydatów lub wyjaśnić swoje decyzje.

Ta para eksperymentów objawia się dużo o eksperymentach laboratoryjnych i polowych w ogóle. Eksperymenty laboratoryjne oferują naukowcom blisko całkowitą kontrolę nad środowiskiem, w którym uczestnicy podejmują decyzje. Tak więc, na przykład, w eksperymencie laboratoryjnym, Correll był w stanie zapewnić, że wszystkie życiorysy były odczytywane w spokojnej okolicy; W doświadczeniu polowym niektóre CV może nawet nie został odczytany. Ponadto, ponieważ uczestnicy w warunkach laboratoryjnych, wiemy, że są one przedmiotem badań, naukowcy są często w stanie zebrać dodatkowe dane, które mogą pomóc im zrozumieć, dlaczego uczestnicy robią swoje decyzje. Na przykład, Correll poprosił uczestników eksperymentu laboratoryjnego, aby ocenić kandydatów na różnych wymiarach. Ten rodzaj danych procesowych może pomóc naukowcom zrozumieć mechanizmy odpowiedzialne za różnice w jaki sposób uczestnicy traktują CV.

Z drugiej strony, dokładnie te same cechy charakterystyczne, które właśnie opisano jako zalety są czasem za wady. Naukowcy, którzy wolą doświadczeniach polowych twierdzą, że uczestnicy eksperymentów laboratoryjnych może działać zupełnie inaczej, gdy są one ściśle przestrzegane. Na przykład, w laboratorium uczestnicy eksperymentu mogą się domyślić cel badań i zmienił swoje zachowanie, tak aby nie wydawać tendencyjne. Ponadto, naukowcy, którzy wolą doświadczeniach polowych mogą twierdzić, że niewielkie różnice w CV może tylko stać się w bardzo czystym, sterylnym środowisku laboratoryjnym, a więc eksperyment laboratoryjny będzie przeceniają wpływ na decyzje prawdziwe macierzyństwo zatrudniania. Wreszcie, wielu zwolenników eksperymentów polowych krytykują eksperymenty laboratoryjne polegania na dziwne uczestników: Głównie studentów z Zachodu, wykształcony, uprzemysłowionych i bogatych państw demokratycznych (Henrich, Heine, and Norenzayan 2010) . Eksperymenty by Correll i współpracowników (2007) ilustrują dwie skrajności na kontinuum lab-polowej. Pomiędzy tymi dwoma skrajnościami istnieje wiele projektów hybrydowych, w tym podejścia takie jak wprowadzenie nie-studentów w laboratorium lub wchodząc w dziedzinie, ale nadal występują uczestnicy wykonywać niezwykłe zadanie.

Oprócz wymiaru lab-polowych, które istniały w przeszłości, wiek cyfrowego oznacza, że ​​naukowcy mają teraz drugi główny wymiar wzdłuż której eksperymenty mogą być różne: analogowo-cyfrowy. Tak jak istnieją czyste eksperymenty laboratoryjne, czyste doświadczenia polowe i wiele mieszańców pomiędzy nimi, są czyste eksperymenty analogowe, cyfrowe, czyste eksperymenty i wiele mieszańców. Jest to trudne do zaoferowania formalną definicję tego wymiaru, ale użytecznym robocza definicja jest taka, że eksperymenty w pełni cyfrowe są eksperymenty, które korzystają z infrastruktury cyfrowej rekrutacji uczestników, losowy, dostarczania zabiegi i pomiaru rezultatów. Na przykład, Restivo i van de Rijt użytkownika (2012) Badanie barnstars i Wikipedia był eksperyment w pełni cyfrowa, ponieważ stosowane systemy cyfrowe dla wszystkich czterech z tych etapów. Podobnie pełni eksperymenty analogowe są eksperymenty, które nie korzystają z infrastruktury cyfrowej dla każdego z tych czterech etapów. Wiele klasycznych eksperymentów w psychologii są eksperymenty analogowe. Pomiędzy tymi dwoma skrajnościami istnieje częściowo eksperymenty cyfrowe, które wykorzystują połączenie analogowych i cyfrowych systemów czterech krokach.

Krytycznie, na możliwości prowadzenia eksperymentów cyfrowe nie są po prostu w Internecie. Naukowcy mogą prowadzić eksperymenty częściowo cyfrowych za pomocą urządzeń cyfrowych w świecie fizycznym w celu dostarczenia zabiegi lub pomiaru rezultatów. Na przykład, naukowcy mogliby używać smartfonów dostarczyć zabiegi lub czujników w środowisku zbudowanym do pomiaru rezultatów. W rzeczywistości, jak zobaczymy w dalszej części tego rozdziału, naukowcy już stosowany miernik mocy domu mierzyć wyniki w doświadczeniach dotyczących norm społecznych i zużycia energii z udziałem 8,5 mln gospodarstw domowych (Allcott 2015) . Ponieważ urządzenia cyfrowe stają się coraz bardziej zintegrowane w życiu ludzi oraz czujniki zostają zintegrowane środowiska zbudowanego, te możliwości prowadzenia eksperymentów częściowo cyfrowych w fizycznym świecie wzrośnie dramatycznie. Innymi słowy, eksperymenty cyfrowe są nie tylko eksperymenty line.

Systemy cyfrowe stworzyć nowe możliwości dla eksperymentów wszędzie wzdłuż kontinuum lab-polowej. W eksperymentach laboratoryjnych czystych, na przykład, naukowcy mogą wykorzystywać systemy cyfrowe do pomiaru drobniejszej zachowań uczestników; Jednym z przykładów tego typu pomiarów jest ulepszony sprzęt eye-tracking, która zapewnia precyzyjne i ciągłe pomiary położenia spojrzeniem. Era cyfrowa stwarza również możliwość przeprowadzania eksperymentów laboratoryjnych, jak w Internecie. Na przykład, badacze szybko przyjęte Amazon Mechanical Turk (MTurk) rekrutację uczestników do eksperymentów online (rysunek 4.2). MTurk mecze "pracodawców", którzy mają zadania, które muszą być uzupełnione o "pracowników", którzy chcą wypełnić te zadania dla pieniędzy. W przeciwieństwie do tradycyjnych rynków pracy, jednak zadania związane zwykle wymagają tylko kilka minut, a cała interakcja pomiędzy pracodawcą a pracownikiem jest wirtualny. Ponieważ naśladuje MTurk aspekty tradycyjnych eksperymentów laboratoryjnych płacących osób do wykonywania zadań, że nie zrobi za darmo, jest naturalnie nadaje się do pewnych typów eksperymentów. Zasadniczo MTurk stworzyła infrastrukturę do zarządzania basen uczestników-rekrutacji i płacąc na ludzi i naukowcy wykorzystali tej infrastruktury wykorzystać na zawsze dostępnej puli uczestników.

Rysunek 4.2: Dokumenty opublikowane przy użyciu danych z Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk i innych internetowych rynki pracy oferują naukowcom wygodny sposób rekrutacji uczestników do eksperymentów.

Eksperymenty cyfrowe stworzyć jeszcze więcej możliwości eksperymentów polowych-podobne. Cyfrowe doświadczenia polowe może zaoferować ścisłej kontroli i przetwarzania danych, aby zrozumieć możliwych mechanizmów (jak eksperymentów laboratoryjnych) i bardziej zróżnicowane uczestników czyni prawdziwe decyzje w środowisku naturalnym (np doświadczeniach polowych). Poza tym połączenie dobrych właściwości wcześniejszych eksperymentach cyfrowe doświadczenia polowe również trzy możliwości, które trudno się w analogowych laboratoryjnych i polowych eksperymentów.

Po pierwsze, podczas gdy większość analogowych laboratoryjne i polowe eksperymenty mają setki uczestników, cyfrowe doświadczenia polowe może mieć miliony uczestników. Ta zmiana w skali tak, ponieważ niektóre eksperymenty cyfrowe mogą produkować dane zerowym kosztem zmiennym. Oznacza to, że gdy tworzony badacze infrastruktury eksperymentalnych, zwiększenie liczby uczestników zazwyczaj nie zwiększają kosztów. Zwiększenie liczby uczestników o czynnik 100 lub więcej to nie tylko zmiana ilościowa, jest to zmiana jakościowa, ponieważ pozwala naukowcom dowiedzieć różnych rzeczy z eksperymentów (np niejednorodność efektów terapeutycznych) i uruchomić całkowicie różne projekty eksperymentalne ( na przykład, duże eksperymenty grupę). Punkt ten jest tak ważny, że wrócę do niego pod koniec tego rozdziału, kiedy oferować porady na temat tworzenia cyfrowych eksperymentów.

Po drugie, podczas gdy większość analogowych laboratoryjnych i polowych eksperymentów uczestnikom traktować jako odróżnienia widgety, cyfrowe doświadczenia polowe często wykorzystują podstawowe informacje na temat uczestników w zakresie projektowania i analizy etapów badań. Te dodatkowe informacje, które nazywa się informacja wstępna obróbka, jest często dostępny w doświadczeniach cyfrowych, ponieważ odbywają się w środowiskach pełni zmierzyć. Na przykład, badacz z Facebook ma znacznie więcej informacji wstępnej obróbki niż badacza projektowanie standardowego eksperyment laboratoryjny ze studentów. Informacja ta obróbka wstępna pozwala naukowcom wyjść poza traktowanie uczestników jako nieodróżnialne widgety. Dokładniej, informacja wstępna obróbka umożliwia bardziej efektywne projekty, takie jak blokowanie eksperymentalne (Higgins, Sävje, and Sekhon 2016) i ukierunkowane rekrutacji uczestników (Eckles, Kizilcec, and Bakshy 2016) -I analizy, takich jak bardziej wnikliwej oceny niejednorodności efektów leczenia (Athey and Imbens 2016a) oraz współzmiennej skorygowaniu o lepszej precyzji (Bloniarz et al. 2016) .

Po trzecie, podczas gdy wiele laboratoryjne analogowe i terenowe eksperymenty dostarczają zabiegi i mierzyć efekty w stosunkowo sprężonego ilości czasu, niektóre cyfrowe doświadczenia polowe obejmować zabiegi, które mogą być dostarczane w miarę upływu czasu, a efekty mogą być również mierzone w miarę upływu czasu. Na przykład, Restivo i van de Rijt za eksperyment ma wynik mierzony codziennie przez 90 dni, a jeden z eksperymentów powiem wam o dalszej części rozdziału (Ferraro, Miranda, and Price 2011) śledzi wyniki w ciągu 3 lat w zasadzie nie koszt. Te trzy możliwości rozmiarze, informacja wstępna obróbka i podłużna leczenia i wyników danych-są najczęściej, gdy eksperymenty prowadzone są na górze zawsze w systemach pomiarowych (patrz rozdział 2 dla bardziej na zawsze w systemach pomiarowych).

Podczas doświadczenia polowe cyfrowe oferują wiele możliwości, ale także dzielić się pewne słabości zarówno z laboratorium analogowego i doświadczeń polowych. Przykładowo, eksperymenty nie mogą być wykorzystywane do badania przeszłości, można oszacować, że efekty leczenia, które może być ustawiane. Ponadto, chociaż eksperymenty są niewątpliwie przydatne do prowadzenia polityki, dokładne wytyczne mogą zaoferować jest nieco ograniczona z powodu powikłań, takich jak uzależnienie od środowiska, problemy zgodności i efekty równowagi (Banerjee and Duflo 2009; Deaton 2010) . Wreszcie, cyfrowe doświadczenia polowe powiększyć obawy etyczne stworzone przez doświadczeniach polowych. Zwolennicy doświadczeń polowych trąbka ich zdolność do dyskretnie i losowo do ingerowania wtórne decyzji podejmowanych przez miliony ludzi. Funkcje te oferują pewne korzyści naukowe, ale mogą również doświadczenia polowe etycznie skomplikowane (myśleć o tym, jak naukowcy traktując ludzi jak "Szczury laboratoryjne" na masową skalę). Ponadto, oprócz ewentualnych szkód dla uczestników, cyfrowe doświadczenia polowe, ze względu na ich skalę, może również budzić obawy o zakłócenia pracy systemów społecznych (np obawy o zakłócenie systemu nagradzania Wikipedii jeśli Restivo i van der Rijt dał zbyt wiele barnstars) ,