4.5.2 Zbuduj swój własny eksperyment

Budowa własnego eksperymentu może być kosztowne, ale będzie to umożliwiają tworzenie eksperymentu, który chcesz.

Oprócz nakładania eksperymentów na istniejące środowiska możesz też zbudować własny eksperyment. Główną zaletą tego podejścia jest kontrola; jeśli budujesz eksperyment, możesz stworzyć środowisko i zabiegi, które chcesz. Te niestandardowe środowiska eksperymentalne mogą stworzyć możliwości testowania teorii, których nie można przetestować w środowisku naturalnie występującym. Główną wadą budowania własnego eksperymentu jest to, że może on być drogi, a środowisko, które jesteś w stanie stworzyć, może nie mieć realizmu naturalnie występującego systemu. Badacze budujący własny eksperyment muszą również mieć strategię rekrutacji uczestników. Podczas pracy w istniejących systemach badacze zasadniczo przeprowadzają eksperymenty na swoich uczestnikach. Ale kiedy naukowcy zbudują własny eksperyment, muszą przynieść do niego uczestników. Na szczęście usługi takie jak Amazon Mechanical Turk (MTurk) mogą zapewnić badaczom wygodny sposób przyciągnięcia uczestników do ich eksperymentów.

Jednym z przykładów ilustrujących zalety środowisk projektowanych na zamówienie do testowania abstrakcyjnych teorii jest eksperyment laboratorium cyfrowego autorstwa Gregory'ego Hubera, Setha Hilla i Gabriela Lenza (2012) . Ten eksperyment bada możliwe praktyczne ograniczenie funkcjonowania demokratycznych rządów. Wcześniejsze nieeksperymentalne badania rzeczywistych wyborów sugerowały, że wyborcy nie są w stanie dokładnie ocenić wydajności obecnych polityków. W szczególności wydaje się, że wyborcy cierpią z powodu trzech uprzedzeń: (1) koncentrują się na wynikach ostatnich, a nie kumulatywnych; (2) mogą być manipulowane przez retorykę, tworzenie ramek i marketing; oraz (3) na ich wpływy mogą mieć wpływ zdarzenia niezwiązane z obecną wydajnością, takie jak sukces lokalnych drużyn sportowych i pogoda. Jednak w tych wcześniejszych badaniach trudno było wyodrębnić którykolwiek z tych czynników spośród wszystkich innych rzeczy, które zdarzają się w prawdziwych, brudnych wyborach. Dlatego Huber i współpracownicy stworzyli wysoce uproszczone środowisko głosowania, aby wyizolować, a następnie eksperymentalnie zbadać każdą z tych trzech możliwych stronniczości.

Kiedy opisuję poniżej ustawienia eksperymentalne, będzie to brzmiało bardzo sztucznie, ale pamiętaj, że realizm nie jest celem w eksperymentach w stylu laboratoryjnym. Przeciwnie, celem jest wyraźne odizolowanie procesu, który próbujesz studiować, i ta ścisła izolacja czasami nie jest możliwa w badaniach z większym realizmem (Falk and Heckman 2009) . Ponadto w tym konkretnym przypadku badacze twierdzili, że jeśli wyborcy nie będą w stanie skutecznie ocenić wydajności w tak bardzo uproszczonym otoczeniu, nie będą w stanie zrobić tego w bardziej realistycznym, bardziej złożonym otoczeniu.

Huber i współpracownicy wykorzystali MTurk do rekrutacji uczestników. Gdy uczestnik wyraził świadomą zgodę i zdał krótki test, powiedziano jej, że brała udział w 32-rundzie grę, aby zarobić żetony, które można przeliczyć na prawdziwe pieniądze. Na początku gry każdemu uczestnikowi powiedziano, że przydzielono jej "organizatora", który rozdawał jej darmowe żetony w każdej rundzie, a niektórzy z alokatorów byli bardziej hojni niż inni. Ponadto każdemu uczestnikowi powiedziano również, że będzie miała szansę albo zachować swój przydział lub przydzielić nowy po 16 rundach gry. Biorąc pod uwagę to, co wiesz o celach badawczych Huber i współpracowników, możesz zauważyć, że alokator reprezentuje rząd, a ten wybór stanowi wybory, ale uczestnicy nie byli świadomi ogólnych celów badań. W sumie Huber i jego współpracownicy rekrutowali około 4000 uczestników, którzy otrzymali około 1,25 USD za zadanie, które zajęło około ośmiu minut.

Przypomnijmy, że jednym z wniosków z wcześniejszych badań było to, że głosujący nagradzają i karają operatorów zasiedziałych za wyniki, które są wyraźnie poza ich kontrolą, takie jak sukces lokalnych drużyn sportowych i pogoda. Aby ocenić, czy uczestniczący w głosowaniu decyzje mogą mieć wpływ na czysto losowe wydarzenia w ich otoczeniu, Huber i jego współpracownicy dołożyli do swojego systemu eksperymentalnego loterię. W 8 rundzie lub 16 rundzie (tj. Tuż przed szansą na zastąpienie przydziału) uczestnicy zostali losowo umieszczeni w loterii, gdzie niektórzy zdobyli 5000 punktów, niektórzy zdobyli 0 punktów, a niektórzy stracili 5000 punktów. Celem tej loterii było naśladowanie dobrych lub złych wiadomości, niezależnych od działania polityka. Mimo, że uczestnicy zostali wyraźnie poinformowani, że loteria nie była powiązana z wynikami ich organizatora, wynik loterii nadal wpływał na decyzje uczestników. Uczestnicy, którzy skorzystali z loterii, częściej zachowywali swój przydział, a efekt ten był silniejszy, gdy loteria odbyła się w rundzie 16 - tuż przed decyzją o zastąpieniu - niż gdy miała miejsce w rundzie 8 (rysunek 4.15). Wyniki te, wraz z kilkoma innymi eksperymentami w gazecie, doprowadziły Huber'a i jego współpracowników do wniosku, że nawet w uproszczonym otoczeniu wyborcy mają trudności w podejmowaniu mądrych decyzji, co wpłynęło na przyszłe badania dotyczące podejmowania decyzji przez wyborców (Healy and Malhotra 2013) . Eksperyment Huber'a i jego współpracowników pokazuje, że MTurk może być wykorzystywany do rekrutowania uczestników do eksperymentów w stylu laboratoryjnym w celu precyzyjnego przetestowania bardzo konkretnych teorii. Pokazuje również wartość budowania własnego środowiska eksperymentalnego: trudno sobie wyobrazić, jak te same procesy mogły zostać wyizolowane tak czysto w każdym innym otoczeniu.

Wykres 4.15: Wyniki Huber, Hill, and Lenz (2012) . Uczestnicy, którzy skorzystali z loterii, byli bardziej skłonni do zatrzymania swojego przydziału, a efekt ten był silniejszy, gdy loteria odbyła się w rundzie 16 - tuż przed decyzją o zastąpieniu - niż gdy miała miejsce w rundzie 8. Przystosowana przez Huber, Hill, and Lenz (2012) , rysunek 5.

Oprócz budowania laboratoryjnych eksperymentów naukowcy mogą również tworzyć eksperymenty bardziej przypominające pole. Na przykład Centola (2010) zbudował cyfrowy eksperyment terenowy, aby zbadać wpływ struktury sieci społecznej na rozprzestrzenianie się zachowań. Jego pytanie badawcze wymagało od niego obserwowania tego samego zachowania, które rozprzestrzeniało się w populacjach, które miały różne struktury sieci społecznych, ale w inny sposób były nie do odróżnienia. Jedynym sposobem na to było zrobienie niestandardowego, niestandardowego eksperymentu. W tym przypadku Centola zbudowała internetową społeczność zdrowia.

Centola zrekrutowała około 1500 uczestników poprzez reklamę na stronach internetowych poświęconych zdrowiu. Kiedy uczestnicy dotarli do społeczności internetowej, która została nazwana siecią zdrowego stylu życia, udzielili świadomej zgody, a następnie zostali przydzieleni "zdrowi kumple". Ze względu na sposób, w jaki Centola przypisywał tych kumpli ze względów zdrowotnych, mógł łączyć ze sobą różne struktury sieci społecznościowych. różne grupy. Niektóre grupy zostały zbudowane w taki sposób, aby miały losowe sieci (gdzie wszyscy byli równie dobrze połączeni), podczas gdy inne grupy zostały zbudowane w celu utworzenia sieci klastrowej (gdzie połączenia są gęstsze lokalnie). Następnie Centola wprowadziła nowe zachowanie do każdej sieci: możliwość zarejestrowania nowej strony internetowej z dodatkowymi informacjami na temat zdrowia. Za każdym razem, gdy ktoś zapisał się na tę nową stronę, wszyscy jej kumple z dziedziny zdrowia otrzymali wiadomość e-mail z ogłoszeniem tego zachowania. Centola odkrył, że to zachowanie - rejestracja nowej witryny - rozprzestrzenia się dalej i szybciej w sieci klastrowej niż w sieci losowej, co było sprzeczne z niektórymi istniejącymi teoriami.

Ogólnie rzecz biorąc, zbudowanie własnego eksperymentu daje ci znacznie większą kontrolę; umożliwia budowanie najlepszego możliwego środowiska, aby wyizolować to, co chcesz studiować. Trudno sobie wyobrazić, że dwa eksperymenty, które właśnie opisałem, mogły zostać przeprowadzone w już istniejącym środowisku. Co więcej, budowanie własnego systemu zmniejsza obawy natury etycznej związane z eksperymentowaniem w istniejących systemach. Jednak podczas tworzenia własnego eksperymentu napotkasz wiele problemów napotkanych w eksperymentach laboratoryjnych: rekrutacja uczestników i obawy o realizm. Ostatnim minusem jest to, że budowanie własnego eksperymentu może być kosztowne i czasochłonne, chociaż, jak pokazują te przykłady, eksperymenty mogą sięgać od stosunkowo prostych środowisk (takich jak badanie głosowania Huber, Hill, and Lenz (2012) ) do stosunkowo złożonych środowisk (takich jak badanie sieci i rozprzestrzenianie się choroby przez Centola (2010) ).