4.2 Jakie są eksperymenty?
Randomizowanych kontrolowanych eksperymenty mają cztery główne składniki: rekrutacja uczestników, losowego leczenia, dostawa leczenia i pomiar wyników.
Losowo kontrolowane eksperymenty mają cztery główne składniki: rekrutację uczestników, randomizację leczenia, dostarczenie leczenia i pomiar wyników. Era cyfrowa nie zmienia podstawowej natury eksperymentów, ale ułatwia logistykę. Na przykład w przeszłości trudno było zmierzyć zachowanie milionów ludzi, ale obecnie dzieje się tak często w wielu systemach cyfrowych. Naukowcy, którzy potrafią wymyślić, jak wykorzystać te nowe możliwości, będą mogli przeprowadzić eksperymenty, które wcześniej były niemożliwe.
Aby to wszystko było bardziej konkretne - zarówno to, co pozostało takie samo, jak i to, co się zmieniło - rozważmy eksperyment Michaela Restivo i Arnouta van de Rijta (2012) . Chcieli zrozumieć wpływ nieformalnych korzyści dla rówieśników na wkłady redakcyjne do Wikipedii. W szczególności badali skutki barnstars , nagrodę, którą każdy Wikipedysta może dać każdemu innemu Wikipedystowi, aby uznać ciężką pracę i należytą staranność. Restivo i van de Rijt nadali barnstars 100 zasługującym na to Wikipedystom. Następnie śledzili późniejszy wkład odbiorców do Wikipedii w ciągu najbliższych 90 dni. Ku ich zdziwieniu, ludzie, którym nagrodzili barnstars, robili mniej zmian po otrzymaniu jednego. Innymi słowy, barnstars wydawały się raczej zniechęcające niż zachęcające.
Na szczęście Restivo i van de Rijt nie prowadzili eksperymentu "perturbuj i obserwuj"; prowadzili randomizowany kontrolowany eksperyment. Oprócz wyboru 100 najlepszych współpracowników, którzy otrzymali gwiazdę, wybrali również 100 najlepszych współpracowników, którym ich nie dali. Te 100 służyło jako grupa kontrolna. I krytycznie, kto był w grupie leczenia i który był w grupie kontrolnej został ustalony losowo.
Kiedy Restivo i van de Rijt przyglądali się zachowaniom ludzi z grupy kontrolnej, stwierdzili, że ich składki również maleją. Ponadto, gdy Restivo i van de Rijt porównali osoby z grupy leczenia (tj. Otrzymane barnstars) do osób w grupie kontrolnej, odkryli, że osoby w grupie leczonej przyczyniły się o około 60% więcej. Innymi słowy, wkład obydwu grup umarł, ale ci z grupy kontrolnej robili to znacznie szybciej.
Jak pokazuje to badanie, grupa kontrolna w eksperymentach jest krytyczna w sposób nieco paradoksalny. Aby dokładnie zmierzyć wpływ barnstars, Restivo i van de Rijt musieli obserwować ludzi, którzy nie otrzymywali stajni. Wiele razy badacze, którzy nie są zaznajomieni z eksperymentami, nie doceniają niewiarygodnej wartości grupy kontrolnej. Gdyby Restivo i van de Rijt nie mieli grupy kontrolnej, wyciągnęliby dokładnie błędny wniosek. Grupy kontrolne są tak ważne, że dyrektor generalny dużej firmy kasynowej powiedział, że istnieją tylko trzy sposoby, w których pracownicy mogą zostać zwolnieni ze swojej firmy: za kradzież, molestowanie seksualne lub za przeprowadzenie eksperymentu bez grupy kontrolnej (Schrage 2011) .
Badania Restivo i van de Rijta ilustrują cztery główne składniki eksperymentu: rekrutację, randomizację, interwencję i wyniki. Łącznie te cztery składniki pozwalają naukowcom wykroczyć poza korelacje i zmierzyć przyczynowo-skutkowy efekt leczenia. W szczególności randomizacja oznacza, że ludzie w grupach leczonych i kontrolnych będą podobni. Jest to ważne, ponieważ oznacza to, że wszelkie różnice w wynikach między obiema grupami można przypisać leczeniu, a nie dezorientacji.
Oprócz bycia ładną ilustracją mechaniki eksperymentów, badania Restivo i van de Rijta pokazują również, że logistyka cyfrowych eksperymentów może być zupełnie inna niż w analogowych eksperymentach. W eksperymencie Restivo i van de Rijta łatwo było dać każdemu komodę i łatwo było śledzić liczbę zmian - przez dłuższy czas (ponieważ historia edycji jest automatycznie rejestrowana przez Wikipedię). Ta zdolność do dostarczania leczenia i mierzenia wyników bez żadnych kosztów jest jakościowo odmienna od eksperymentów w przeszłości. Chociaż eksperyment ten obejmował 200 osób, mógł on działać z 2000 lub nawet 20 000 osób. Najważniejszą rzeczą, która uniemożliwiła naukowcom zwiększenie skali eksperymentu o współczynnik 100, nie były koszty; to była etyka. Oznacza to, że Restivo i van de Rijt nie chcieli udostępniać barnstars nieznajomym redaktorom i nie chcieli, aby ich eksperyment zakłócił społeczność Wikipedii (Restivo and Rijt 2012, 2014) . Powrócę do niektórych zagadnień etycznych, które powstały w wyniku eksperymentów w dalszej części tego rozdziału i w rozdziale 6.
Podsumowując, eksperyment Restivo i van de Rijt wyraźnie pokazuje, że chociaż podstawowa logika eksperymentowania nie zmieniła się, logistyka eksperymentów w dziedzinie cyfrowej epoki może być drastycznie odmienna. Następnie, aby lepiej wyodrębnić możliwości stworzone przez te zmiany, porównę eksperymenty, które naukowcy mogą teraz zrobić z eksperymentami, które zostały zrobione w przeszłości.
