4.6.1 Tworzenie zerowe zmiennych danych o kosztach

Kluczem do uruchomionych dużych eksperymentów jedzie zmienną kosztów do zera. Najlepszym sposobem, aby to zrobić jest automatyzacja i projektowanie przyjemnych doświadczeń.

Eksperymenty cyfrowe mogą mieć drastycznie różne struktury kosztów i umożliwia to naukowców do przeprowadzania eksperymentów, które były niemożliwe w przeszłości. Dokładniej, eksperymenty na ogół mają dwa główne rodzaje kosztów. Kosztów koszty stałe i zmienne koszty stałe są to koszty, które nie zmieniają się w zależności od liczby uczestników masz. Na przykład w eksperymencie laboratoryjnym, koszty stałe mogą być koszty wynajmu miejsca i zakup mebli. Koszty zmienne, z drugiej strony, zmienia się w zależności od tego, ile uczestnicy masz. Na przykład w eksperymencie laboratoryjnym, koszty zmienne mogą pochodzić z płacenia pracownikom i uczestnikom. Ogólnie rzecz biorąc, eksperymenty analogowe mają niskie koszty stałe i wysokie koszty zmienne, a eksperymenty cyfrowe mają wysokie koszty stałe i niskie koszty zmienne (rysunek 4.18). Dzięki odpowiedniej konstrukcji, można jeździć na koszty zmienne eksperymentu aż do zera, a to może stworzyć ekscytujące możliwości badawczych.

Rysunek 4.18: Schemat struktury kosztów w analogowych i cyfrowych eksperymentów. Ogólnie rzecz biorąc, eksperymenty analogowe mają niskie koszty stałe i wysokie koszty zmienne natomiast eksperymenty cyfrowe mają wysokie koszty stałe i niskie koszty zmienne. Poszczególne struktury kosztów oznacza, że ​​eksperymenty cyfrowe mogą działać na skalę nie jest to możliwe z eksperymentami analogowych.

Istnieją dwa główne elementy zmienne kosztów i płatności dla pracowników i wypłaty dla uczestników, a każdy z nich może być doprowadzony do zera stosując różne strategie. Płatności dla pracowników wynikają z prac, które asystenci mają rekrutację uczestników, oferując zabiegi, a wyniki pomiaru. Na przykład, analogowe Eksperyment pole Schultz i jego współpracownicy (2007) na temat norm społecznych i użytkowania energii elektrycznej asystentów badawczych wymagane do podróży do każdego domu, aby dostarczyć leczenie i odczytu licznika elektrycznego (rysunek 4.3). Cały ten wysiłek przez asystentów badawczych oznaczało, że dodanie nowego gospodarstwa domowego studium byłoby dodanie do kosztu. Z drugiej strony, dla cyfrowych doświadczeniu polowym z Restivo i van de Rijt (2012) na nagrody w Wikipedii, naukowcy mogliby dodać kolejnych uczestników praktycznie bez żadnych kosztów. Ogólna strategia zmniejszenie zmienne koszty administracyjne jest zastąpienie ludzkiej pracy (która jest kosztowna) przy pracy z komputerem (który jest tani). Mniej więcej, można zadać sobie pytanie: może uruchomić ten eksperyment, podczas gdy wszyscy na mój zespół badawczy jest snem? Jeśli odpowiedź brzmi tak, zrobiłeś świetną robotę automatyzacji.

Drugim głównym typem zmiennej opłatą płatności na rzecz uczestników. Niektórzy badacze wykorzystali Amazon Mechanical Turk i innych rynków pracy on-line w celu zmniejszenia płatności, które są potrzebne dla uczestników. Aby prowadzić kosztów zmiennych aż do zera, jednak potrzebne jest inne podejście. Przez długi czas naukowcy opracowali eksperymenty, które są tak nudne, że trzeba zapłacić ludzi do udziału. Ale co, jeśli można utworzyć eksperyment, że ludzie chcą być? Może się to wydawać naciągane, ale dam wam przykład poniżej z własnej pracy, a istnieje więcej przykładów w tabeli 4.4. Należy pamiętać, że takie podejście do projektowania przyjemne eksperymenty powtarza niektóre z tematów w rozdziale 3 dotyczące projektowania bardziej przyjemne badania oraz w rozdziale 5 w odniesieniu do projektowania współpracy masowej. Tak więc myślę, że uczestnik radość, co może być również wywoływany użytkownik doświadczeniu będzie coraz ważniejszym elementem projektu badawczego w erze cyfrowej.

Jeśli chcesz stworzyć zerowe koszty zmienne eksperymenty będziemy chcieli, aby upewnić się, że wszystko jest w pełni zautomatyzowany i że uczestnicy nie wymaga żadnych opłat. W celu pokazania jak to jest możliwe, opiszę moje badania pracy doktorskiej na temat sukcesów i porażek produktów kulturowych. Przykład ten pokazuje również, że zerowe koszty zmienne dane nie tylko o robienie rzeczy tańsze. Raczej chodzi o umożliwienie eksperymenty, które nie byłyby możliwe w inny sposób.

Moja rozprawa była motywowana zagadkowej natury sukces produktów rolnych. piosenki hit, najlepiej sprzedające się książki i blockbuster filmy są o wiele bardziej skuteczne niż średnia. Z tego powodu, rynki te produkty są często nazywane "zwycięzca bierze wszystko" rynki. Jednak w tym samym czasie, co szczególnie piosenka, książka, czy film będzie odnieść sukces jest bardzo nieprzewidywalna. Scenarzysta William Goldman (1989) elegancko podsumować wiele badań naukowych, mówiąc, że jeśli chodzi o przewidywania sukcesu "nikt nic nie wie." Nieprzewidywalności zwycięzca bierze wszystko rynki mnie zastanawiać, jak bardzo sukces jest wynikiem jakości i ile to tylko szczęście. Albo, wyrażone nieco inaczej, gdybyśmy mogli stworzyć światy równoległe i mieć je wszystkie ewoluować niezależnie, czy te same utwory stały się popularne w każdym świecie? A jeśli nie, to co może być mechanizm, który powoduje te różnice?

Aby odpowiedzieć na te pytania, my-Peter Dodds, Duncan Watts (moja rozprawa konsultant) i I-zorganizował szereg doświadczeń polowych internetowych. W szczególności, stworzyliśmy stronę internetową o nazwie MusicLab gdzie ludzie mogli odkrywać nową muzykę i użyliśmy go serii eksperymentów. Zatrudniliśmy uczestników uruchamiając banerów reklamowych na stronie internetowej teen procentowej (rysunek 4.19) i poprzez wzmianki w mediach. Uczestnicy przybywający na naszej stronie internetowej pod warunkiem świadomej zgody, zakończona krótką ankietę tła i przydzielano losowo do jednej z dwóch eksperymentalnych warunkach, niezależnego i społecznego oddziaływania. W niezależnej stanu uczestnicy podejmowali decyzje, o których utwory do słuchania, biorąc pod uwagę tylko te nazwy zespołów i piosenek. Podczas słuchania utworu, uczestnicy zostali poproszeni o ocenę tego po których mieli możliwość (ale nie obowiązek), aby pobrać piosenkę. W społecznej kondycji wpływ uczestnicy mieli takie same doświadczenia, z wyjątkiem mogli także zobaczyć, ile razy każdy utwór został pobrany przez poprzednich uczestników. Ponadto uczestnicy społecznej kondycji wpływ przydzielano losowo do jednej z ośmiu równoległych światów, z których każdy wyewoluowały niezależnie (rysunek 4.20). Korzystanie z tej konstrukcji, prowadziliśmy dwa powiązane ze sobą eksperymenty. W pierwszym przedstawiliśmy uczestnikom utwory w niesegregowanymi siatki, która dostarczyła im słaby sygnał popularności. W drugim eksperymencie, zaprezentowaliśmy utwory w ranking, który przewidywał znacznie silniejszy sygnał popularności (rysunek 4.21).

Rysunek 4.19: Przykład banerów reklamowych, że moi koledzy i ja wykorzystywane do rekrutacji uczestników do eksperymentów MusicLAB (Salganik, Dodds, and Watts 2006) .

Rysunek 4.20: Eksperymentalna konstrukcja eksperymentów MusicLAB (Salganik, Dodds, and Watts 2006) . Uczestnicy zostali losowo przydzieleni do jednej z dwóch warunków: niezależny i społecznego oddziaływania. Uczestnicy niezależnej stanie się ich wybory bez żadnych informacji o tym, co inni zrobili. Uczestnicy społecznej kondycji wpływ przydzielano losowo do jednej z ośmiu równoległych światów, gdzie mogli zobaczyć popularność-mierzony pliki do pobrania z poprzednich uczestników-każdego utworu w ich świecie, ale nie było widać żadnych informacji, ani nie mają nawet wiedzą o istnieniu, którykolwiek z pozostałych światów.

Okazało się, że popularność piosenek różniły całym światem, co sugeruje istotną rolę szczęścia. Na przykład, w jednym świecie piosenka "Lockdown" przez 52Metro przyszedł 1, a w innym świecie przyszło w 40. z 48 utworów. To był dokładnie ten sam utwór konkurencyjny w stosunku do wszystkich tych samych piosenek, ale w jednym świecie, że szczęście i w innych nie. Ponadto, porównując wyniki w dwóch eksperymentów okazało się, że wpływ społeczny prowadzi do bardziej nierówne powodzenie, które być może tworzy wygląd przewidywalności. Ale patrząc na światów (które nie mogą być wykonane poza tego rodzaju równoległych światów eksperymentu), okazało się, że wpływ społeczny faktycznie wzrosły nieprzewidywalność. Ponadto, o dziwo, to właśnie utwory z najwyższej odwołania, które mają najbardziej nieprzewidywalne efekty (rysunek 4.22).

Rysunek 4.21: Zrzuty ekranu z warunkami wpływu społecznego w eksperymentach MusicLAB (Salganik, Dodds, and Watts 2006) . W społecznym warunkiem wpływów w eksperymencie 1, utwory, wraz z liczbą wcześniejszych pobrania, zostały przedstawione uczestnikom ułożonych w 16 X 3 prostokątnej siatce, gdzie pozycje piosenek losowo przypisany do każdego uczestnika. W eksperymencie 2, uczestnicy społecznej kondycji wpływ pokazano utwory z pobierania liczy, prezentowanych w jednej kolumnie w porządku malejącym obecnej popularności.

Rysunek 4.22: Wyniki eksperymentów MusicLAB pokazujących relacje między odwołania i sukcesu (Salganik, Dodds, and Watts 2006) . Oś x jest udział rynkowy piosenki w niezależnym świecie, który służy jako miara atrakcyjności piosenki, a na osi y jest udział w rynku tego samego utworu w 8 wpływających światów społecznych, który służy jako miara sukcesu piosenek. Okazało się, że zwiększenie wpływu społecznego, które uczestnicy doświadczyli specyficznie, zmiany w układzie od 1 do eksperymentu Eksperyment 2 (rysunek 4.21) -caused sukces by stać się bardziej nieprzewidywalne, zwłaszcza dla najwyższych odwoławcze piosenek.

MusicLab był w stanie pracować na zasadzie zerowe koszty zmienne ze względu na sposób, w jaki został on zaprojektowany. Po pierwsze, wszystko było w pełni zautomatyzowany, więc było w stanie uruchomić kiedy spałem. Po drugie, rekompensata była wolna muzyka, więc nie było koszt zmienny kompensacja uczestnikiem. Wykorzystanie muzyki w formie rekompensaty pokazuje również, jak tam jest czasem kompromis pomiędzy kosztami stałymi a kosztami zmiennymi. Korzystanie muzyki wzrosły koszty stałe, bo miałem spędzić czas zabezpieczania pozwolenie od pasm oraz przygotowanie raportów dla pasm o reakcji uczestników do ich muzyki. Ale w tym przypadku zwiększenie kosztów stałych w celu zmniejszenia kosztów zmiennych była właściwa rzecz do zrobienia; to, co pozwoliło nam przeprowadzić eksperyment, który był około 100 razy większy niż standardowy eksperymencie laboratoryjnym.

Ponadto eksperymenty pokazują, że MusicLAB zerowych kosztach zmiennych nie musi być celem samym w sobie; Przeciwnie, może być środkiem do prowadzenia nowy rodzaj doświadczenia. Zauważ, że nie używaliśmy wszystkich naszych uczestników do prowadzenia typowym eksperymencie laboratoryjnym wpływu społecznego 100 razy. Zamiast tego zrobił coś innego, co można myśleć jako o przejściu z eksperymentu psychologicznego z socjologicznego eksperymentu (Hedström 2006) . Zamiast skupiać się na indywidualnym procesie decyzyjnym, skupiliśmy naszą eksperyment na popularności, zbiorowy wynik. Ten przełącznik do zbiorowego wynik oznacza, że ​​mamy około 700 uczestników wymagana do wytworzenia pojedynczego punktu danych (było 700 osób w każdym z równoległych światów). To skalę było możliwe tylko ze względu na strukturę kosztów eksperymentu. W ogóle, jeśli naukowcy chcą zbadać, jak zbiorowe efekty wynikają z indywidualnych decyzji, eksperymenty takie jak grupa MusicLAB są bardzo ekscytujące. W przeszłości zostały one logistycznie trudne, ale te trudności zanika ze względu na możliwość zero zmiennych danych kosztów.

Oprócz ilustrujących korzyści z zerowymi zmiennych danych kosztowych, eksperymenty MusicLAB pokazują również wyzwanie z takim podejściem: wysokie koszty stałe. W moim przypadku, był bardzo szczęśliwy, aby móc pracować z utalentowanego dewelopera o nazwie Peter Hausel przez około sześć miesięcy na budowę eksperymentu. Było to możliwe tylko dlatego, że mój doradca, Duncan Watts, otrzymał szereg dotacji wspierających tego rodzaju badań. Technologia poprawiła się od czasu zbudowaliśmy MusicLAB w 2004 roku, byłoby znacznie łatwiej budować eksperyment jak to teraz. Jednak wysokie koszty stałe strategie są naprawdę możliwe tylko dla naukowców, którzy mogą w jakiś sposób pokryć te koszty.

Podsumowując, eksperymenty cyfrowe mogą mieć drastycznie różne struktury kosztów niż eksperymentów analogowych. Jeśli chcesz uruchomić naprawdę duże eksperymenty, należy starać się obniżyć koszty zmienne jak najwięcej, a najlepiej przez całą drogę do 0. Można to zrobić poprzez automatyzację mechanikę eksperymentu (np zastąpienia ludzkiego czasu z czasem komputera) i projektowanie eksperymentów, że ludzie chcą być w. Naukowcy, którzy mogą zaprojektować eksperymenty z tych funkcji będzie mógł uruchomić nowe rodzaje eksperymentów, które nie były możliwe w przeszłości.