4.6.1 Tworzenie zerowe zmiennych danych o kosztach

Kluczem do prowadzenia dużych eksperymentów jest obniżenie kosztów zmiennych do zera. Najlepszym sposobem na to jest automatyzacja i projektowanie przyjemnych eksperymentów.

Eksperymenty cyfrowe mogą mieć znacznie różne struktury kosztów, co umożliwia naukowcom prowadzenie eksperymentów, które były niemożliwe w przeszłości. Jednym ze sposobów myślenia o tej różnicy jest zauważenie, że eksperymenty mają zazwyczaj dwa rodzaje kosztów: koszty stałe i koszty zmienne. Stałe koszty to koszty, które pozostają niezmienione bez względu na liczbę uczestników. Na przykład w eksperymencie laboratoryjnym koszty stałe mogą być kosztami wynajmu powierzchni i zakupu mebli. Z drugiej strony koszty zmienne zmieniają się w zależności od liczby uczestników. Na przykład w eksperymencie laboratoryjnym koszty zmienne mogą pochodzić od płacących pracowników i uczestników. Ogólnie eksperymenty analogowe mają niskie koszty stałe i wysokie koszty zmienne, podczas gdy eksperymenty cyfrowe mają wysokie koszty stałe i niskie koszty zmienne (rysunek 4.19). Nawet jeśli eksperymenty cyfrowe mają niskie koszty zmienne, możesz stworzyć wiele ekscytujących możliwości, gdy koszty zmienne zostaną zredukowane do zera.

Rysunek 4.19: Schemat struktur kosztów w eksperymentach analogowych i cyfrowych. Ogólnie rzecz biorąc eksperymenty analogowe mają niskie koszty stałe i wysokie koszty zmienne, podczas gdy eksperymenty cyfrowe mają wysokie koszty stałe i niskie koszty zmienne. Różne struktury kosztów oznaczają, że eksperymenty cyfrowe mogą przebiegać w skali, która nie jest możliwa w przypadku eksperymentów analogowych.

Istnieją dwa główne elementy zmiennych kosztów ponoszonych przez pracowników i płatności dla uczestników - a każdy z nich może zostać wyzerowany przy użyciu różnych strategii. Płatności na rzecz personelu wynikają z pracy, jaką asystenci naukowcy przeprowadzają w celu rekrutacji uczestników, dostarczania terapii i mierzenia wyników. Na przykład, analogowy eksperyment w terenie Schultza i jego współpracowników (2007) dotyczący zużycia energii elektrycznej wymagał od asystentów badaczy podróży do każdego domu w celu przeprowadzenia leczenia i odczytu licznika elektrycznego (rysunek 4.3). Wszystkie te wysiłki asystentów badawczych oznaczały, że dodanie do badania nowego gospodarstwa domowego zwiększyłoby koszty. Z drugiej strony, w przypadku eksperymentu cyfrowego w Restivo i van de Rijt (2012) dotyczącego wpływu nagród na redaktorów Wikipedii, naukowcy mogli dodać więcej uczestników praktycznie bez żadnych kosztów. Ogólna strategia zmniejszania zmiennych kosztów administracyjnych ma zastąpić pracę ludzką (która jest droga) pracą komputerową (która jest tania). Z grubsza możesz zadać sobie pytanie: czy ten eksperyment może się uruchomić, gdy wszyscy członkowie mojego zespołu badawczego śpią? Jeśli odpowiedź brzmi "tak", wykonałeś świetną robotę automatyzacji.

Drugim głównym rodzajem kosztów zmiennych są płatności dla uczestników. Niektórzy badacze wykorzystali Amazon Mechanical Turk i inne rynki pracy w celu zmniejszenia płatności potrzebnych uczestnikom. Aby jednak ograniczyć koszty całkowite do zera, potrzebne jest inne podejście. Przez długi czas naukowcy opracowali eksperymenty, które są tak nudne, że muszą płacić ludziom za udział. Ale co by było, gdybyś mógł stworzyć eksperyment, w którym ludzie chcą być? To może wydawać się naciągane, ale dam ci przykład poniżej z mojej własnej pracy, i jest więcej przykładów w tabeli 4.4. Zwróćmy uwagę, że ten pomysł projektowania przyjemnych eksperymentów odzwierciedla niektóre z tematów z rozdziału 3, dotyczące projektowania bardziej przyjemnych ankiet oraz w rozdziale 5 dotyczącym projektowania masowej współpracy. Dlatego uważam, że przyjemność uczestników - co również można nazwać doświadczeniem użytkownika - będzie coraz ważniejszą częścią projektowania badań w erze cyfrowej.

Jeśli chcesz tworzyć eksperymenty z zerowymi danymi o kosztach zmiennych, musisz upewnić się, że wszystko jest w pełni zautomatyzowane i że uczestnicy nie wymagają żadnych płatności. Aby pokazać, jak to jest możliwe, opiszę moje rozprawy doktorskie dotyczące sukcesu i porażki produktów kultury.

Moja dysertacja była motywowana zagadkową naturą sukcesu produktów kultury. Hit piosenki, najlepiej sprzedające się książki i hity filmowe są o wiele bardziej udane niż średnie. Z tego powodu rynki tych produktów są często nazywane rynkami "zwycięzcy biorą wszystko". Jednak jednocześnie, która piosenka, książka lub film odniesie sukces, jest niesamowicie nieprzewidywalna. Scenarzysta William Goldman (1989) elegancko podsumował wiele badań akademickich, mówiąc, że jeśli chodzi o przewidywanie sukcesu, "nikt nic nie wie". Nieprzewidywalność rynków, na których zwycięzca bierze wszystko, sprawiło, że zastanawiałem się, na ile sukces jest wynikiem jakości, a ile to tylko szczęście. Albo, wyrażając się nieco inaczej, gdybyśmy mogli stworzyć równoległe światy i aby wszyscy ewoluowali niezależnie, czy te same piosenki staną się popularne w każdym świecie? A jeśli nie, jaki może być mechanizm powodujący te różnice?

Aby odpowiedzieć na te pytania, we-Peter Dodds, Duncan Watts (mój doradca ds. Rozprawy) i ja przeprowadziliśmy serię internetowych eksperymentów polowych. W szczególności stworzyliśmy stronę internetową o nazwie MusicLab, w której ludzie mogli odkrywać nową muzykę i wykorzystaliśmy ją do serii eksperymentów. Zwerbowaliśmy uczestników, wyświetlając banery reklamowe na stronie zainteresowanej nastolatkami (ryc. 4.20) oraz poprzez wzmianki w mediach. Uczestnicy odwiedzający naszą stronę wyrazili świadomą zgodę, wypełnili krótki kwestionariusz w tle i zostali losowo przydzieleni do jednego z dwóch warunków eksperymentalnych - niezależnego i społecznego wpływu. W stanie niezależnym uczestnicy podejmowali decyzje o tym, które utwory należy słuchać, biorąc pod uwagę tylko nazwy zespołów i piosenek. Podczas słuchania piosenki uczestnicy zostali poproszeni o ocenę jej, po czym mieli możliwość (ale nie obowiązek) pobrania tej piosenki. W warunku wpływu społecznego uczestnicy mieli to samo doświadczenie, z wyjątkiem tego, że mogli zobaczyć, ile razy każda piosenka została pobrana przez poprzednich uczestników. Ponadto uczestnicy warunku wpływu społecznego zostali losowo przydzieleni do jednego z ośmiu równoległych światów, z których każdy ewoluował niezależnie (rysunek 4.21). Korzystając z tego projektu, przeprowadziliśmy dwa powiązane eksperymenty. W pierwszym zaprezentowaliśmy piosenki uczestnikom w niesortowanej siatce, co zapewniło im słaby sygnał popularności. W drugim eksperymencie prezentowaliśmy piosenki na liście rankingowej, co dawało znacznie silniejszy sygnał popularności (ryc. 4.22).

Rysunek 4.20: Przykład reklamy banerowej, którą moi koledzy i ja używaliśmy do rekrutowania uczestników do eksperymentów (Salganik, Dodds, and Watts 2006) . Reprodukcja za zgodą Salganik (2007) , rysunek 2.12.

Rysunek 4.21: Eksperymentalny projekt eksperymentów (Salganik, Dodds, and Watts 2006) . Uczestnicy zostali losowo przydzieleni do jednego z dwóch warunków: niezależnego i społecznego wpływu. Uczestnicy niezależnego warunku dokonywali wyborów bez żadnych informacji o tym, co zrobili inni ludzie. Uczestnicy warunku wpływu społecznego zostali losowo przydzieleni do jednego z ośmiu równoległych światów, gdzie mogli zobaczyć popularność - mierzoną przez pobrania poprzednich uczestników - każdej piosenki w ich świecie, ale nie mogli zobaczyć żadnych informacji na temat, ani też nie nawet wiedzieć o istnieniu któregokolwiek z innych światów. Adaptacja z Salganik, Dodds, and Watts (2006) , rysunek s1.

Odkryliśmy, że popularność utworów różni się w zależności od świata, co sugeruje, że szczęście odegrało ważną rolę w sukcesie. Na przykład w jednym świecie utwór "Lockdown" autorstwa 52Metro pojawił się na 1. miejscu spośród 48 piosenek, podczas gdy w innym świecie pojawił się na 40 miejscu. To była dokładnie ta sama piosenka konkurująca z tymi samymi innymi piosenkami, ale w jednym świecie miała szczęście, w innych nie. Następnie, porównując wyniki z dwóch eksperymentów, stwierdziliśmy, że wpływ społeczny zwiększa zwyciężający charakter tych rynków, co być może sugeruje znaczenie umiejętności. Ale patrząc na świat (czego nie można zrobić poza tym rodzajem równoległego eksperymentu na świecie), stwierdziliśmy, że wpływ społeczny rzeczywiście zwiększył znaczenie szczęścia. Co więcej, zaskakująco, były to pieśni o najwyższej atrakcyjności, w których liczy się najwięcej szczęścia (ryc. 4.23).

Rysunek 4.22: Zrzuty z warunków wpływu społecznego w eksperymentach (Salganik, Dodds, and Watts 2006) . W warstwie wpływu społecznego w eksperymencie 1 utwory wraz z liczbą pobranych plików zostały przedstawione uczestnikom w układzie prostokątnym 16 \(\times\) 3, gdzie pozycje utworów zostały losowo przypisane do każdego z nich. uczestnik. W eksperymencie 2 uczestnikom warunku wpływu społecznego pokazano utwory, z liczbą pobrań, prezentowaną w jednej kolumnie w malejącej kolejności aktualnej popularności.

Rysunek 4.23: Wyniki eksperymentów MusicLab pokazujących związek pomiędzy apelem a sukcesem (Salganik, Dodds, and Watts 2006) . The \(x\) -axis to udział rynkowy utworu w niezależnym świecie, który służy jako miara atrakcyjności utworu, a \(y\) -axis jest udziałem rynkowym tej samej piosenki w osiem światów wpływów społecznych, które służą jako miara sukcesu piosenek. Odkryliśmy, że zwiększenie wpływu społecznego, którego doświadczali uczestnicy - konkretnie zmiana układu od eksperymentu 1 do eksperymentu 2 (rysunek 4.22) - spowodowało, że sukces stał się bardziej nieprzewidywalny, szczególnie w przypadku piosenek o najwyższej atrakcyjności. Adaptacja z Salganik, Dodds, and Watts (2006) , rysunek 3.

MusicLab był w stanie uruchomić przy zasadniczo zerowym koszcie zmiennym ze względu na sposób, w jaki został zaprojektowany. Po pierwsze, wszystko było w pełni zautomatyzowane, więc mogłem biec, gdy spałem. Po drugie, rekompensata była darmową muzyką, więc nie było kosztów rekompensaty dla uczestników. Wykorzystanie muzyki jako rekompensaty ilustruje również, jak często dochodzi do kompromisu między kosztami stałymi i zmiennymi. Korzystanie z muzyki zwiększyło koszty stałe, ponieważ musiałem poświęcić czas na uzyskanie pozwolenia od zespołów i przygotowanie dla nich raportów na temat reakcji uczestników na ich muzykę. Ale w tym przypadku poprawne koszty stałe w celu zmniejszenia kosztów zmiennych były słuszne; to pozwoliło nam przeprowadzić eksperyment, który był około 100 razy większy niż standardowy eksperyment laboratoryjny.

Co więcej, eksperymenty z MusicLab pokazują, że zerowy koszt zmienny nie musi być celem samym w sobie; może to być raczej sposób na przeprowadzenie nowego rodzaju eksperymentu. Zwróć uwagę, że nie użyliśmy wszystkich naszych uczestników do przeprowadzenia 100-krotnego eksperymentu ze standardowymi eksperymentami dotyczącymi eksperymentów z wpływami społecznościowymi. Zamiast tego zrobiliśmy coś innego, co można by pomyśleć jako przejście od eksperymentu psychologicznego do eksperymentu socjologicznego (Hedström 2006) . Zamiast koncentrować się na indywidualnym podejmowaniu decyzji, skoncentrowaliśmy nasz eksperyment na popularności, wspólnym wyniku. Zmiana na wynik zbiorowy oznaczała, że ​​potrzebowaliśmy około 700 uczestników do stworzenia jednego punktu danych (w każdym równoległym świecie było 700 osób). Ta skala była możliwa tylko ze względu na strukturę kosztów eksperymentu. Ogólnie rzecz biorąc, jeśli badacze chcą zbadać, w jaki sposób wyniki zbiorowe wynikają z indywidualnych decyzji, eksperymenty grupowe, takie jak MusicLab, są bardzo ekscytujące. W przeszłości były one logistycznie trudne, ale te trudności blakną ze względu na możliwość braku danych o zmiennych kosztach.

Oprócz zilustrowania korzyści płynących z zerowych danych o kosztach zmiennych, eksperymenty MusicLab pokazują również wyzwanie związane z tym podejściem: wysokie koszty stałe. W moim przypadku miałem ogromne szczęście, że mogłem pracować z utalentowanym twórcą stron internetowych, Peterem Hauselem, przez około sześć miesięcy, aby skonstruować eksperyment. Było to możliwe tylko dlatego, że mój doradca, Duncan Watts, otrzymał wiele grantów na wsparcie tego rodzaju badań. Technologia poprawiła się od czasu, gdy zbudowaliśmy MusicLab w 2004 roku, więc teraz znacznie łatwiej będzie zbudować taki eksperyment. Jednak strategie o wysokich kosztach stałych są naprawdę możliwe tylko dla naukowców, którzy mogą w jakiś sposób pokryć te koszty.

Podsumowując, eksperymenty cyfrowe mogą mieć znacznie różne struktury kosztów niż eksperymenty analogowe. Jeśli chcesz uruchomić naprawdę duże eksperymenty, powinieneś spróbować zmniejszyć swój koszt zmienny w maksymalnym możliwym stopniu, a najlepiej aż do zera. Możesz to zrobić, automatyzując mechanikę eksperymentu (np. Zastępując czas ludzki czasem komputera) i projektując eksperymenty, w które ludzie chcą być. Naukowcy, którzy mogą projektować eksperymenty z tymi funkcjami, będą mogli uruchamiać nowe rodzaje eksperymentów, które były niemożliwe w przeszłości. Jednak możliwość tworzenia eksperymentów o zerowym koszcie zmiennym może powodować nowe pytania etyczne, temat, który teraz omówię.