4.6.2 Buduj etykę w swoim projekcie: wymieniaj, udoskonalaj i zmniejszaj

Zrób eksperyment bardziej humanitarny wymieniając doświadczenia z badań nieeksperymentalnych, rafinacji zabiegi, a zmniejszenie liczby uczestników.

Druga rada, którą chciałbym zaoferować w zakresie projektowania eksperymentów cyfrowych, dotyczy etyki. Jak pokazuje eksperyment Restivo i van de Rijta na barnstars w Wikipedii, obniżenie kosztów oznacza, że ​​etyka stanie się coraz ważniejszą częścią projektowania badań. Poza ramami etycznymi prowadzącymi badania nad przedmiotami ludzkimi, które opiszę w rozdziale 6, naukowcy projektujący cyfrowe eksperymenty mogą również czerpać z etycznych pomysłów z innego źródła: zasady etyczne opracowane w celu prowadzenia eksperymentów z udziałem zwierząt. W szczególności w swojej przełomowej książce " Zasady humanitarnej techniki eksperymentalnej" Russell and Burch (1959) zaproponowali trzy zasady, które powinny kierować badaniami nad zwierzętami: zastąpić, udoskonalić i zredukować. Chciałbym zaproponować, aby te trzy R mogły być również użyte - w nieco zmodyfikowanej formie - do kierowania projektami ludzkich eksperymentów. W szczególności,

• Zastąp: Zastąp eksperymenty metodami mniej inwazyjnymi, jeśli to możliwe.
• Uściślij: Usprawnij leczenie, aby było ono jak najbardziej nieszkodliwe.
• Zmniejsz: Zredukuj liczbę uczestników eksperymentu tak bardzo, jak to możliwe.

Aby stworzyć te trzy R-konkretne i pokazać, w jaki sposób mogą one potencjalnie prowadzić do lepszego i bardziej humanitarnego projektu eksperymentalnego, opiszę eksperyment polowy online, który wywołał etyczną debatę. Następnie opiszę, w jaki sposób trzy R sugerują konkretne i praktyczne zmiany w projekcie eksperymentu.

Jeden z najbardziej etycznych eksperymentów w polu cyfrowym został przeprowadzony przez Adama Kramera, Jamie Guillroy i Jeffreya Hancocka (2014) i nadszedł czas, by nazwać go "Emocjonalną kontagioną". Eksperyment odbył się na Facebooku i był motywowany przez połączenie praktyczne pytania. W tamtym czasie dominującym sposobem, w jaki użytkownicy wchodzili w interakcję z Facebookiem, był kanał informacyjny, algorytmicznie opracowany zestaw aktualizacji statusu Facebooka od znajomych Facebooka. Niektórzy krytycy Facebooka zasugerowali, że ponieważ kanał informacyjny ma w większości pozytywne wpisy - znajomi pokazujący swoją ostatnią imprezę - może to powodować, że użytkownicy będą smutni, ponieważ ich życie wydaje się mniej ekscytujące w porównaniu. Z drugiej strony, może efekt jest dokładnie odwrotny: może zobaczenie, że twój przyjaciel dobrze się bawił, sprawiłoby, że poczujesz się szczęśliwy. Aby rozwiązać te konkurencyjne hipotezy i pogłębić naszą wiedzę na temat tego, w jaki sposób emocje są odczuwalne przez emocje przyjaciół, Kramer i jego współpracownicy przeprowadzili eksperyment. Umieścili około 700 000 użytkowników w czterech grupach na jeden tydzień: grupę "zredukowaną pod względem negatywności", dla której posty z negatywnymi słowami (np. "Smutne") zostały losowo zablokowane w kanale informacyjnym; grupa "o obniżonej pozytywności", dla której posty z pozytywnymi słowami (np. "szczęśliwy") były losowo blokowane; i dwie grupy kontrolne. W grupie kontrolnej grupy "zmniejszonej negatywności" posty były losowo blokowane w tym samym tempie, co grupa "zmniejszonej negatywności", ale bez względu na zawartość emocjonalną. Grupa kontrolna grupy "zmniejszonej dodatni" została skonstruowana w sposób równoległy. Projekt tego eksperymentu pokazuje, że odpowiednia grupa kontrolna nie zawsze jest tą bez zmian. Zamiast tego, czasami, grupa kontrolna otrzymuje leczenie w celu stworzenia dokładnego porównania, którego wymaga pytanie badawcze. We wszystkich przypadkach posty zablokowane w kanale wiadomości były nadal dostępne dla użytkowników za pośrednictwem innych części witryny Facebooka.

Kramer i współpracownicy stwierdzili, że dla uczestników w stanie obniżonej dodatni, procent pozytywnych słów w ich aktualizacjach statusu zmniejszył się, a odsetek negatywnych słów wzrósł. Z drugiej strony, dla uczestników w stanie obniżonej negatywności, procent słów dodatnich wzrósł, a słów ujemnych spadł (rysunek 4.24). Jednak efekty te były dość małe: różnica między dodatnimi i ujemnymi słowami między terapiami i kontrolami wynosiła około 1 na 1000 słów.

Rysunek 4.24: Dowody na przenikanie emocji (Kramer, Guillory, and Hancock 2014) . Uczestnicy stanu obniżonej negatywności używali mniej negatywnych słów i bardziej pozytywnych słów, a uczestnicy stanu obniżonej pozytywności używali bardziej negatywnych słów i mniej pozytywnych słów. Słupki oznaczają szacowane błędy standardowe. Adaptacja z Kramer, Guillory, and Hancock (2014) , rysunek 1.

Przed omówieniem kwestii etycznych poruszonych w tym eksperymencie, chciałbym opisać trzy problemy naukowe, korzystając z niektórych pomysłów z wcześniejszych rozdziałów. Po pierwsze, nie jest jasne, w jaki sposób rzeczywiste szczegóły eksperymentu łączą się z twierdzeniami teoretycznymi; innymi słowy, są pytania dotyczące trafności konstrukcji. Nie jest jasne, czy liczba słów dodatnich i ujemnych jest rzeczywiście dobrym wskaźnikiem stanu emocjonalnego uczestników, ponieważ (1) nie jest jasne, czy słowa, które ludzie publikują, są dobrym wskaźnikiem ich emocji i (2) to nie jest wyjaśnić, że technika analizy uczuć, którą zastosowali badacze, jest w stanie rzetelnie wnioskować o emocjach (Beasley and Mason 2015; Panger 2016) . Innymi słowy, może istnieć zła miara stronniczego sygnału. Po drugie, projekt i analiza eksperymentu nie mówią nam nic o tym, kto był najbardziej dotknięty (tj. Nie ma analizy niejednorodności efektów leczenia) i jaki może być mechanizm. W tym przypadku badacze mieli dużo informacji o uczestnikach, ale w analizie byli zasadniczo traktowani jako widgety. Po trzecie, wielkość efektu w tym eksperymencie była bardzo mała; różnica między warunkami leczenia i kontroli wynosi około 1 na 1000 słów. W swojej pracy Kramer i współpracownicy twierdzą, że efekt tej wielkości jest ważny, ponieważ każdego dnia setki milionów ludzi uzyskuje dostęp do swoich kanałów informacyjnych. Innymi słowy, twierdzą oni, że nawet jeśli efekty są małe dla każdej osoby, są one duże w sumie. Nawet gdyby przyjąć ten argument, wciąż nie jest jasne, czy efekt tej wielkości jest ważny w odniesieniu do bardziej ogólnego pytania naukowego na temat rozprzestrzeniania się emocji (Prentice and Miller 1992) .

Oprócz tych naukowych pytań, kilka dni po opublikowaniu tego artykułu w Proceedings of National Academy of Sciences , pojawił się ogromny protest zarówno ze strony badaczy, jak i prasy (opiszę szczegółowo argumenty w tej debacie w rozdziale 6 ). Kwestie poruszone w tej debacie spowodowały, że dziennik opublikował rzadki "komentarz redakcyjny" dotyczący etycznego i etycznego procesu przeglądu badań (Verma 2014) .

Biorąc pod uwagę to tło dotyczące emocjonalnej kontagii, chciałbym teraz pokazać, że trzy R mogą sugerować konkretne, praktyczne ulepszenia dla prawdziwych badań (cokolwiek byś osobiście pomyślał o etyce tego konkretnego eksperymentu). Pierwsze R jest zastąpione : naukowcy powinni starać się zastąpić eksperymenty mniej inwazyjnymi i ryzykownymi technikami, jeśli to możliwe. Na przykład zamiast przeprowadzać randomizowany kontrolowany eksperyment, naukowcy mogli wykorzystać naturalny eksperyment . Jak opisano w rozdziale 2, naturalne eksperymenty to sytuacje, w których coś dzieje się w świecie, który jest zbliżony do losowego przyporządkowania terapii (np. Loteria decydująca o tym, kto zostanie wcielony do wojska). Zaletą etyczną naturalnego eksperymentu jest to, że badacz nie musi dostarczać zabiegów: środowisko to robi dla ciebie. Na przykład prawie równocześnie z eksperymentem z emocjonalnym kontagionem, Lorenzo Coviello et al. (2014) wykorzystali to, co można by nazwać eksperymentem naturalnym emocjonalnym kontagionem. Coviello i współpracownicy odkryli, że w dni, w których pada deszcz, ludzie publikują więcej negatywnych słów i mniej pozytywnych słów. W związku z tym, korzystając z przypadkowych zmian pogody, byli oni w stanie zbadać wpływ zmian w kanale informacyjnym bez konieczności interwencji w ogóle. Wyglądało to tak, jakby pogoda była dla nich eksperymentem. Szczegóły ich procedury są nieco skomplikowane, ale najważniejszym punktem dla naszych celów jest to, że używając naturalnego eksperymentu, Coviello i współpracownicy mogli dowiedzieć się o rozprzestrzenianiu emocji bez potrzeby prowadzenia własnego eksperymentu.

Drugi z trzech R jest udoskonalony : naukowcy powinni starać się udoskonalić swoje leczenie, aby uczynić je tak nieszkodliwymi, jak to tylko możliwe. Na przykład zamiast blokować treści, które były albo pozytywne, albo negatywne, naukowcy mogli zwiększyć zawartość, która była pozytywna lub negatywna. Ten wzmacniający projekt zmieniłby emocjonalną zawartość kanałów informacyjnych uczestników, ale rozwiązałby jedną z obaw wyrażanych przez krytykę: eksperymenty mogły spowodować, że uczestnicy przegapili ważne informacje w swoich kanałach informacyjnych. Dzięki projektowi używanemu przez Kramera i współpracowników ważna wiadomość jest prawdopodobnie blokowana jako taka, która nie jest. Jednak dzięki ulepszonemu projektowi wiadomości, które zostaną przesiedlone, będą mniej istotne.

Wreszcie trzecie R jest redukowane : badacze powinni dążyć do ograniczenia liczby uczestników w swoim eksperymencie do minimum niezbędnego do osiągnięcia ich naukowego celu. W analogowych eksperymentach stało się to naturalnie z powodu wysokich kosztów zmiennych uczestników. Ale w eksperymentach cyfrowych, szczególnie tych o zerowym koszcie zmiennym, naukowcy nie muszą ograniczać kosztów ich eksperymentu, a to może prowadzić do niepotrzebnie dużych eksperymentów.

Na przykład Kramer i współpracownicy mogli użyć informacji o czynnościach wstępnych na temat ich uczestników - takich jak zachowanie na etapie leczenia przed rozpoczęciem leczenia - w celu zwiększenia skuteczności ich analizy. Mówiąc dokładniej, zamiast porównywać odsetek pozytywnych słów w warunkach leczenia i kontroli, Kramer i jego współpracownicy mogli porównać zmiany w proporcji pozytywnych słów między warunkami; podejście, które jest czasami nazywane mieszanym projektem (rysunek 4.5) i czasami nazywane estymatorem różnicy w różnicach. Oznacza to, że dla każdego uczestnika naukowcy mogliby uzyskać wynik zmiany (zachowanie po zabiegu \(-\) leczeniu), a następnie porównać wyniki zmian uczestników w warunkach leczenia i kontroli. Podejście różnic w różnicach jest bardziej skuteczne statystycznie, co oznacza, że ​​naukowcy mogą osiągnąć tę samą pewność statystyczną przy użyciu znacznie mniejszych próbek.

Bez surowych danych trudno jest dokładnie określić, o ile skuteczniejszy byłby w tym przypadku estymator różnicy w różnicach. Ale możemy przyjrzeć się innym pokrewnym eksperymentom z grubsza. Deng et al. (2013) podali, że stosując formę estymatora różnicy w różnicach, byli w stanie zmniejszyć wariancję swoich oszacowań o około 50% w trzech różnych eksperymentach online; podobne wyniki zostały zgłoszone przez Xie and Aurisset (2016) . Ta 50-procentowa redukcja wariancji oznacza, że ​​badacze Emocjonalnego Kontagionu mogliby zmniejszyć próbkę o połowę, gdyby zastosowali nieco inną metodę analizy. Innymi słowy, przy niewielkiej zmianie w analizie, 350.000 osób mogło zostać oszczędzonych na udział w eksperymencie.

W tym momencie możesz się zastanawiać, dlaczego naukowcy powinni się przejmować, czy 350 000 ludzi nie jest niepotrzebnie w kontakcie emocjonalnym. Istnieją dwie szczególne cechy emocjonalnej kontagii, które sprawiają, że obawy związane z nadmierną wielkością są odpowiednie, i te cechy są wspólne dla wielu eksperymentów polowych: (1) nie ma pewności, czy eksperyment wyrządzi szkodę przynajmniej niektórym uczestnikom i (2) uczestnictwo nie był dobrowolny. Wydaje się uzasadnione, aby starać się utrzymać eksperymenty, które mają te funkcje tak małe, jak to tylko możliwe.

Aby było jasne, chęć zmniejszenia wielkości eksperymentu nie oznacza, że ​​nie należy przeprowadzać dużych eksperymentów z zerowym kosztem zmiennym. Oznacza to jedynie, że twoje eksperymenty nie powinny być większe niż potrzebujesz do osiągnięcia swojego naukowego celu. Jednym z ważnych sposobów upewnienia się, że eksperyment ma odpowiednią wielkość, jest przeprowadzenie analizy mocy (Cohen 1988) . W erze analogowej badacze generalnie przeprowadzali analizę mocy, aby upewnić się, że ich badania nie były zbyt małe (tj. Teraz jednak naukowcy powinni przeprowadzić analizę mocy, aby upewnić się, że ich badanie nie jest zbyt duże (tj. Nadmierne zasilanie).

Podsumowując, trzy R-zastąpić, udoskonalić i zmniejszyć dostarczają zasady, które mogą pomóc naukowcom budować etykę w swoich eksperymentalnych projektów. Oczywiście każda z tych możliwych zmian w Emocjonalnej kontagionie wprowadza kompromisy. Na przykład dowody z naturalnych eksperymentów nie zawsze są tak czyste, jak z eksperymentów z randomizacją, a zwiększanie zawartości może być trudniejsze do implementacji logistycznej niż blokowanie treści. Celem sugestii tych zmian nie było więc odgadnięcie decyzji innych badaczy. Przeciwnie, miało to ilustrować, w jaki sposób trzy R można zastosować w realistycznej sytuacji. W rzeczywistości kwestia kompromisów pojawia się cały czas w projektach badawczych, a w erze cyfrowej te kompromisy będą w coraz większym stopniu uwzględniać kwestie etyczne. Później, w rozdziale 6, przedstawię pewne zasady i ramy etyczne, które mogą pomóc badaczom zrozumieć i omówić te kompromisy.