4.2 Jakie są eksperymenty?

Randomizowanych kontrolowanych eksperymenty mają cztery główne składniki: rekrutacja uczestników, losowego leczenia, dostawa leczenia i pomiar wyników.

Eksperymenty kontrolowane randomizowane może przybierać różne formy i może być wykorzystywany do badania wielu typów zachowań. Ale w ich rdzeniu, randomizowane kontrolowane eksperymenty mają cztery główne składniki: rekrutacja uczestników, losowego leczenia, dostawa leczenia i pomiar wyników. Era cyfrowa nie zmienia fundamentalny charakter eksperymentowania, ale czyni je łatwiejsze logistycznie. Na przykład, w przeszłości, że może być trudne do zmierzenia zachowania milionów ludzi, ale które są rutynowo dzieje się w wielu systemach cyfrowych. Naukowcy, którzy mogą dowiedzieć się, jak wykorzystać te nowe możliwości będą mogły prowadzić eksperymenty, które były niemożliwe wcześniej.

Aby to wszystko nieco bardziej konkretne, zarówno co pozostał taki sam i co się zmieniło, rozważmy Michael Restivo i Arnout van de Rijt na (2012) . Naukowcy chcieli zrozumieć wpływ nieformalnych nagród równorzędnych dotyczących wkładów redakcyjne Wikipedii. W szczególności, badali wpływ barnstars, nagrodę, że każdy wikipedysta może dać innemu wikipedysta przyznać, ciężkiej pracy i staranności. Restivo i van de Rijt dał barnstars 100 zasługujących wikipedystów. Następnie Restivo i van de Rijt śledzone kolejnych wkładów przez beneficjentów pomocy do Wikipedii w ciągu najbliższych 90 dni. Ku ich zaskoczeniu, ludzie, którym przyznano barnstars tendencję do mniejszej liczby zmian po otrzymaniu jednego. Innymi słowy, barnstars wydawał się być zniechęcanie zamiast zachęcać wkład.

Na szczęście Restivo i van de Rijt nie prowadzenie "perturb i obserwować" eksperyment; kończyły się randomizowane badanie kontrolowane. Tak więc, oprócz wybiera 100 najlepszych współpracowników, aby otrzymać barnstar, ale także wziął 100 największych płatników do których nie dają barnstar. Te sto służyły jako grupa kontrolna, a kto dostał barnstar i która nie została ustalona w sposób losowy. Gdy Restivo i van de Rijt spojrzał w grupie kontrolnej okazało się, że miał stromy spadek składek też. Wreszcie, gdy naukowcy porównali ludzi w grupie leczonej (tj otrzymał barnstars) oraz osoby z grupy kontrolnej, okazało się, że barnstar spowodowane redaktorzy przyczynić się około 60% więcej. Ale ten wzrost składki miał miejsce w ramach ogólnego spadku w obu grupach.

Ponieważ to badanie pokazuje, w grupie kontrolnej w doświadczeniach jest krytyczna w sposób, który jest nieco paradoksalny. W celu dokładnego zmierzenia wpływu barnstars, Restivo i van der Rijt potrzebne do obserwacji osób, które nie otrzymały barnstars. Wiele razy badacze, którzy nie są zaznajomieni z eksperymentów nie docenić niezwykłą wartość w grupie kontrolnej. Jeśli Restivo i van de Rijt nie mają grupę kontrolną, mogliby wyciągnąć dokładnie niewłaściwy wniosek. Grupy kontrolne są tak ważne, że prezes dużej firmy kasyna powiedział, że istnieją tylko trzy sposoby, że pracownicy mogą być zwolniony z firmy: kradzież, molestowanie seksualne, i działa eksperyment bez grupy kontrolnej (Schrage 2011) .

Restivo i van de Rijt w badaniu przedstawiono cztery główne składniki eksperymentu: rekrutacja, randomizacji interwencyjnego, a rezultaty. Razem te cztery składniki pozwalają naukowcom wyjść poza korelacji i zmierzyć przyczynowy wpływ zabiegów. Konkretnie, randomizacja oznacza, że ​​jeśli porównać wyniki dla grup leczenia i kontroli można uzyskać oszacowanie przyczynowego wpływu tej interwencji dla danego zbioru uczestników. Innymi słowy, z randomizowanego kontrolowanego eksperymentu można mieć pewność, że wszelkie różnice w wynikach są spowodowane interwencją a nie confounder, a twierdzenie, że robię precyzyjna w dodatku technicznym pomocą ram potencjalnych rezultatów.

Oprócz bycia dobrym przykładem mechanice eksperymentach Restivo i van de Rijt za badanie pokazuje również, że logistyka eksperymentów cyfrowych mogą być całkowicie odmienne od doświadczeń analogowych. W Restivo i eksperymentu van de Rijt za łatwo było dać barnstar nikomu na świecie i łatwo można było śledzić na wyniki liczbę edycji, przez dłuższy okres czasu (bo edytuj historia jest automatycznie rejestrowane przez Wikipedia). Ta zdolność do dostarczania zabiegi i mierzyć efekty bez żadnych kosztów jest jakościowo przeciwieństwie do doświadczeń z przeszłości. Choć ten eksperyment udział 200 osób, to mogły być uruchamiane z 2.000 lub 20.000 osób. Najważniejsze zapobiegania badaczy z intensyfikacji ich eksperyment o czynnik 100 nie kosztują, to etyka. Oznacza to, że Restivo i van de Rijt nie chcą dać barnstars do zasługującym redaktorów i nie chcą ich eksperyment przerwać społeczność Wikipedii (Restivo and Rijt 2012; Restivo and Rijt 2014) . Tak więc, chociaż eksperyment Restivo i van de Rijt jest stosunkowo prosta, to wyraźnie pokazuje, że niektóre rzeczy na temat eksperymentów pozostały te same, a niektóre uległy zmianie. W szczególności, podstawowy logika eksperymentów jest taki sam, ale logistyczne zmianie. Następnie, w celu bardziej wyraźnie odizolować możliwości stworzonych przez tę zmianę, ja porównać eksperymenty, które naukowcy mogą teraz zrobić, aby rodzaju eksperymentów, które zostały dokonane w przeszłości.