Eksperymenty pomiaru, co się stało. Mechanizmy wyjaśnić, dlaczego i jak to się stało.
Trzecim kluczowym pomysłem na wyjście poza proste eksperymenty są mechanizmy . Mechanizmy mówią nam, dlaczego i jak leczenie spowodowało efekt. Proces poszukiwania mechanizmów nazywany jest niekiedy szukaniem zmiennych interwencyjnych lub zmiennych pośredniczących . Chociaż eksperymenty są dobre do oceny efektów przyczynowych, często nie są zaprojektowane do ujawnienia mechanizmów. Eksperymenty cyfrowe mogą nam pomóc w zidentyfikowaniu mechanizmów na dwa sposoby: (1) pozwalają nam gromadzić więcej danych procesowych i (2) umożliwiają nam testowanie wielu powiązanych terapii.
Ponieważ mechanizmy są trudne do zdefiniowania formalnie (Hedström and Ylikoski 2010) , zacznę od prostego przykładu: limonki i szkorbutu (Gerber and Green 2012) . W osiemnastym wieku lekarze mieli dość dobre poczucie, że gdy żeglarze jedli limonki, nie dostali szkorbutu. Szkorbut to straszna choroba, więc była to potężna informacja. Ale ci lekarze nie wiedzieli, dlaczego limonki zapobiegają szkorbutowi. Dopiero w 1932 roku, prawie 200 lat później, naukowcy mogli rzetelnie wykazać, że witamina C była przyczyną, że wapno zapobiegało szkorbutowi (Carpenter 1988, 191) . W tym przypadku witamina C jest mechanizmem, dzięki któremu limonki zapobiegają szkorbutowi (ryc. 4.10). Oczywiście identyfikacja mechanizmu jest również bardzo ważna z naukowego punktu widzenia - wiele nauki dotyczy zrozumienia, dlaczego tak się dzieje. Identyfikacja mechanizmów jest również bardzo ważna w praktyce. Kiedy zrozumiemy, dlaczego leczenie działa, możemy potencjalnie opracować nowe metody leczenia, które będą jeszcze lepsze.
Niestety mechanizmy izolujące są bardzo trudne. W przeciwieństwie do wapna i szkorbutu, w wielu środowiskach, zabiegi prawdopodobnie działają poprzez wiele powiązanych ze sobą ścieżek. Jednakże, w przypadku norm społecznych i zużycia energii, badacze próbowali wyizolować mechanizmy, zbierając dane procesowe i badając związane z nimi terapie.
Jednym ze sposobów sprawdzenia możliwych mechanizmów jest zbieranie danych procesowych o tym, w jaki sposób leczenie wpłynęło na możliwe mechanizmy. Przypomnijmy na przykład, że Allcott (2011) wykazał, że Home Energy Reports spowodowały zmniejszenie zużycia energii przez ludzi. Ale w jaki sposób te raporty obniżały zużycie energii elektrycznej? Jakie były mechanizmy? W kolejnym badaniu Allcott and Rogers (2014) nawiązali współpracę z firmą energetyczną, która poprzez program rabatowy uzyskała informacje o tym, którzy konsumenci zmodernizowali swoje urządzenia do bardziej energooszczędnych modeli. Allcott and Rogers (2014) stwierdzili, że nieco więcej osób otrzymujących raporty Home Energy uaktualniło swoje urządzenia. Różnica ta była jednak tak mała, że mogła stanowić jedynie 2% spadku zużycia energii w leczonych gospodarstwach domowych. Innymi słowy, modernizacje urządzeń nie były dominującym mechanizmem, dzięki któremu raport o zużyciu energii elektrycznej zmniejszył zużycie energii.
Drugim sposobem badania mechanizmów jest prowadzenie eksperymentów z nieco odmiennymi wersjami leczenia. Na przykład w eksperymencie Schultz et al. (2007) i wszystkie późniejsze eksperymenty z Home Energy Report, uczestnicy otrzymali zabieg, który miał dwie główne części (1) wskazówki dotyczące oszczędności energii i (2) informacje o ich zużyciu energii w porównaniu do ich rówieśników (rysunek 4.6). W związku z tym możliwe jest, że wskazówki dotyczące oszczędzania energii były przyczyną zmian, a nie informacji o peerach. Aby ocenić, czy same wskazówki mogły być wystarczające, Ferraro, Miranda, and Price (2011) nawiązały współpracę z firmą wodociągową w pobliżu Atlanty w stanie Georgia i przeprowadziły podobny eksperyment dotyczący ochrony wody obejmujący około 100 000 gospodarstw domowych. Istniały cztery warunki:
Naukowcy odkryli, że leczenie tylko z końcówkami nie miało wpływu na zużycie wody w krótkim (jeden rok), średnim (dwa lata) i długim (trzy lata) okresie. Wskazówki i apelacja spowodowały, że uczestnicy zmniejszyli zużycie wody, ale tylko w krótkim okresie. Wreszcie, porady plus odwołanie oraz przetwarzanie informacji o rówieśnikach spowodowały zmniejszenie użycia w krótkim, średnim i długim okresie (rysunek 4.11). Tego rodzaju eksperymenty z uwolnionymi terapiami są dobrym sposobem na ustalenie, która część leczenia - lub które części razem - są tymi, które powodują efekt (Gerber and Green 2012, sec. 10.6) . Na przykład, eksperyment Ferraro i współpracowników pokazuje nam, że samo oszczędzanie wody nie jest wystarczające, aby zmniejszyć zużycie wody.
Najlepiej byłoby, gdybyśmy wykroczyli poza warstwowe komponenty (wskazówki, porady i odwołania, porady oraz odwołania i informacje o rówieśnikach) do pełnego projektu czynnikowego - zwanego także czasem \(2^k\) projektem czynnikowym - gdzie każda możliwa kombinacja testowane są trzy elementy (tabela 4.1). Testując każdą możliwą kombinację składników, badacze mogą w pełni ocenić wpływ każdego komponentu w izolacji i w połączeniu. Na przykład eksperyment Ferraro i współpracowników nie pokazuje, czy samo porównanie rówieśników byłoby wystarczające, aby doprowadzić do długoterminowych zmian w zachowaniu. W przeszłości te pełne projekty czynnikowe były trudne do uruchomienia, ponieważ wymagają dużej liczby uczestników i wymagają od badaczy precyzyjnej kontroli i dostarczania dużej liczby terapii. Ale w niektórych sytuacjach era cyfrowa usuwa te ograniczenia logistyczne.
Leczenie | Charakterystyka |
---|---|
1 | Kontrola |
2 | Wskazówki |
3 | Apel |
4 | Informacje o rówieśnikach |
5 | Wskazówki + odwołanie |
6 | Wskazówki + informacje o rówieśnikach |
7 | Odwołanie + informacje o peerach |
8 | Wskazówki + odwołanie + informacje o peerach |
Podsumowując, mechanizmy - ścieżki, przez które leczenie ma wpływ - są niezwykle ważne. Eksperymenty w zakresie cyfrowej epoki mogą pomóc naukowcom w poznaniu mechanizmów poprzez (1) zbieranie danych procesowych i (2) umożliwienie pełnych projektów czynnikowych. Mechanizmy sugerowane przez te podejścia mogą być następnie testowane bezpośrednio przez eksperymenty zaprojektowane specjalnie do testowania mechanizmów (Ludwig, Kling, and Mullainathan 2011; Imai, Tingley, and Yamamoto 2013; Pirlott and MacKinnon 2016) .
W sumie te trzy pojęcia - trafność, niejednorodność efektów leczenia i mechanizmy - dostarczają potężnego zestawu pomysłów do projektowania i interpretowania eksperymentów. Koncepcje te pomagają badaczom wykroczyć poza proste eksperymenty dotyczące tego, co "działa", a także bogatszych eksperymentów, które mają ściślejsze powiązania z teorią, które ujawniają, gdzie i dlaczego działają zabiegi, a to może pomóc naukowcom w opracowaniu bardziej skutecznych metod leczenia. Biorąc pod uwagę to konceptualne tło dotyczące eksperymentów, powrócę teraz do tego, w jaki sposób można przeprowadzić eksperymenty.