4.4 Wyjście poza prostych eksperymentów

Przejdźmy poza proste eksperymenty. W przypadku bogatych eksperymentów przydatne są trzy koncepcje: trafność, niejednorodność efektów leczenia i mechanizmy.

Badacze, którzy dopiero zaczynają eksperymentować, często koncentrują się na bardzo specyficznym, wąskim pytaniu: czy to leczenie "działa"? Na przykład, czy telefon od wolontariusza zachęca kogoś do głosowania? Czy zmiana przycisku witryny z niebieskiego na zielony zwiększa współczynnik klikalności? Niestety, luźne frazowanie o tym, co "działa", zaciemnia fakt, że wąsko skoncentrowane eksperymenty naprawdę nie mówią, czy leczenie "działa" w sensie ogólnym. Zamiast tego, wąsko ukierunkowane eksperymenty odpowiadają na znacznie bardziej konkretne pytanie: Jaki jest średni efekt tego konkretnego leczenia z tą konkretną implementacją dla tej populacji uczestników w tym czasie? Nazwie eksperymenty, które koncentrują się na prostych pytaniach.

Proste eksperymenty mogą dostarczyć cennych informacji, ale nie są w stanie odpowiedzieć na wiele pytań, które są zarówno ważne, jak i interesujące, na przykład, czy istnieją osoby, dla których leczenie miało większy lub mniejszy efekt; czy istnieje inne leczenie, które byłoby bardziej skuteczne; i czy ten eksperyment dotyczy szerszych teorii społecznych.

Aby pokazać wartość wychodzenia poza proste eksperymenty, rozważmy analogiczny eksperyment terenowy P. Wesleya Schultza i jego współpracowników na temat związku między normami społecznymi a zużyciem energii (Schultz et al. 2007) . Schultz i jego współpracownicy zawiesili doorhangers na 300 domach w San Marcos w Kalifornii, a właściciele drzwi przekazali różne komunikaty mające na celu zachęcenie do oszczędzania energii. Następnie Schultz i współpracownicy ocenili wpływ tych komunikatów na zużycie energii elektrycznej, zarówno po tygodniu, jak i po trzech tygodniach; patrz: rysunek 4.3, aby uzyskać bardziej szczegółowy opis eksperymentalnego projektu.

Rysunek 4.3: Schemat projektu eksperymentalnego z Schultz et al. (2007) . Eksperyment terenowy obejmował pięć razy w ciągu ośmiu tygodni odwiedzin około 300 gospodarstw domowych w San Marcos w Kalifornii. Przy każdej wizycie badacze ręcznie brali odczyt z miernika mocy domu. Podczas dwóch wizyt w każdym domu umieścili drzwi, dostarczając informacji o zużyciu energii w domu. Pytanie badawcze dotyczyło tego, w jaki sposób treść tych komunikatów wpłynie na zużycie energii.

Eksperyment miał dwa warunki. W pierwszym przypadku gospodarstwa domowe otrzymywały ogólne wskazówki dotyczące oszczędzania energii (np. Wykorzystują wentylatory zamiast klimatyzatorów) oraz informacje o ich zużyciu energii w porównaniu ze średnim zużyciem energii w ich sąsiedztwie. Schultz i współpracownicy nazwali to opisowym warunkiem normatywnym , ponieważ informacja o zużyciu energii w sąsiedztwie dostarczyła informacji o typowym zachowaniu (tj. Normie opisowej). Gdy Schultz i współpracownicy przyjrzeli się zużyciu energii w tej grupie, leczenie okazało się nie mieć żadnego skutku, ani w krótkim, ani długim okresie; innymi słowy, leczenie nie wydawało się "działać" (rysunek 4.4).

Na szczęście Schultz i współpracownicy nie zadowalali się tą uproszczoną analizą. Przed rozpoczęciem eksperymentu przekonali się, że ciężcy użytkownicy elektryczności - ludzie powyżej średniej - mogą zmniejszyć zużycie energii, a słabi użytkownicy elektryczności - ludzie poniżej średniej - mogą faktycznie zwiększyć swoje zużycie. Kiedy spojrzeli na dane, znaleźli dokładnie to, co znaleźli (rysunek 4.4). Tak więc to, co wyglądało jak leczenie, które nie miało żadnego efektu, było w rzeczywistości leczeniem, które miało dwa efekty kompensujące. Ten nieproduktywny wzrost wśród użytkowników światła jest przykładem efektu bumerangu , w którym leczenie może mieć odwrotny skutek niż zamierzony.

Figura 4.4: Wyniki od Schultz et al. (2007) . Panel (a) pokazuje, że leczenie normą opisową ma szacunkowy zerowy średni efekt leczenia. Jednak panel (b) pokazuje, że ten średni efekt leczenia składa się faktycznie z dwóch efektów kompensujących. W przypadku ciężkich użytkowników leczenie zmniejszyło zużycie, ale w przypadku lekkich użytkowników leczenie zwiększyło zużycie. Na koniec, panel (c) pokazuje, że drugie traktowanie, które stosowało normy opisowe i przynoszące zadośćuczynienie, miało z grubsza taki sam wpływ na ciężkich użytkowników, ale złagodziło efekt bumerangu dla użytkowników światła. Zaadaptowane z Schultz et al. (2007) .

Równolegle do pierwszego warunku, Schultz i współpracownicy również poprowadzili drugi warunek. Gospodarstwa domowe w drugim stanie otrzymywały dokładnie takie samo leczenie - ogólne wskazówki dotyczące oszczędzania energii i informacje na temat zużycia energii przez ich gospodarstwa domowe w porównaniu ze średnią dla ich sąsiedztwa - z jednym małym dodatkiem: dla ludzi o poniżej średniej konsumpcji, naukowcy dodali: ) i dla osób o ponadprzeciętnej konsumpcji dodali :( Te emotikony zostały zaprojektowane, by wywołać to, co naukowcy nazwali normami przyzwoitymi. Normy injunkcyjne odnoszą się do postrzegania tego, co jest powszechnie akceptowane (i odrzucane), podczas gdy normy opisowe odnoszą się do percepcji co się powszechnie robi (Reno, Cialdini, and Kallgren 1993) .

Dodając ten malutki emotikon, badacze dramatycznie zmniejszyli efekt bumerangu (rysunek 4.4). Tak więc, dokonując tej jednej prostej zmiany - zmiany, która była motywowana abstrakcyjną teorią psychologii społecznej (Cialdini, Kallgren, and Reno 1991) - naukowcy byli w stanie zmienić program, który nie wydawał się działać w taki, który działał, i jednocześnie byli w stanie przyczynić się do ogólnego zrozumienia, w jaki sposób normy społeczne wpływają na zachowanie człowieka.

W tym momencie jednak możesz zauważyć, że w tym eksperymencie coś jest nieco inne. W szczególności eksperyment Schultza i jego współpracowników nie ma tak naprawdę grupy kontrolnej w taki sam sposób, jak robią to eksperymenty z randomizacją. Porównanie tego projektu i projektu Restivo i van de Rijta ilustruje różnice między dwoma głównymi projektami eksperymentalnymi. W projektach międzyosobniczych , takich jak Restivo i van de Rijt, istnieje grupa terapeutyczna i grupa kontrolna. Z drugiej strony, w projektach z osobnikami porównuje się zachowanie uczestników przed i po leczeniu (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . W eksperymencie wewnątrz podmiotowym to tak, jakby każdy z uczestników działał jak jej własna grupa kontrolna. Siła projektów międzyosobniczych polega na tym, że zapewniają ochronę przed konfunderami (jak opisałem wcześniej), podczas gdy siła eksperymentów wewnątrz-przedmiotów zwiększa precyzję szacunków. Na koniec, aby zapowiedzieć ideę, która pojawi się później, kiedy będę doradzać w projektowaniu cyfrowych eksperymentów, "wymieszany projekt" łączy lepszą precyzję projektów wewnątrz przedmiotów i ochronę przed pomieszaniem projektów między podmiotami (rysunek 4.5).

Rysunek 4.5: Trzy projekty eksperymentalne. Standardowe randomizowanych doświadczeń użyto między-przedmiotów wzorów. Przykładem projektu między-podmiotami jest Restivo i van de Rijt (2012) eksperyment na barnstars i wkład do Wikipedii: badacze losowo podzielili uczestników na grupy terapeutyczne i kontrolne, dali uczestnikom grupy leczenia gwiazdę barnsteru i porównali wyniki dla dwie grupy. Drugi rodzaj projektu to projekt obejmujący przedmioty . Dwa eksperymenty z badań Schultza i współpracowników (2007) na temat norm społecznych i zużycia energii ilustrują projekt wewnątrz-przedmiotów: badacze porównali zużycie energii przez uczestników przed i po otrzymaniu leczenia. Projekty w obrębie przedmiotów oferują lepszą statystyczną precyzję, ale są otwarte na ewentualne zakłócenia (np. Zmiany pogody między okresami leczenia wstępnego i leczenia) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Projekty w ramach przedmiotów są czasami nazywane projektami powtarzalnych miar. Wreszcie, projekty mieszane łączą zwiększoną precyzję projektów wewnątrz-tematycznych i ochronę przed pomieszaniem projektów międzyosobniczych. W mieszanym projekcie badacz porównuje zmiany w wynikach dla osób w grupach leczonych i kontrolnych. Kiedy naukowcy mają już informacje dotyczące leczenia wstępnego, tak jak ma to miejsce w przypadku wielu eksperymentów cyfrowych, projekty mieszane są na ogół lepsze niż projekty międzyosobnicze, ponieważ skutkują poprawą dokładności ocen.

Ogólnie rzecz biorąc, projekt i wyniki badania Schultza i współpracowników (2007) pokazują wartość wykraczającą poza proste eksperymenty. Na szczęście nie trzeba być kreatywnym geniuszem, aby projektować takie eksperymenty. Naukowcy społeczni opracowali trzy koncepcje, które poprowadzą cię ku bogatszym eksperymentom: (1) trafność, (2) niejednorodność efektów leczenia i (3) mechanizmy. Oznacza to, że jeśli będziesz pamiętać o tych trzech pomysłach podczas projektowania eksperymentu, w naturalny sposób stworzysz bardziej interesujący i przydatny eksperyment. Aby zilustrować te trzy koncepcje w działaniu, opiszę kilka uzupełniających, częściowo cyfrowych eksperymentów terenowych, które opierają się na eleganckim designie i ekscytujących wynikach Schultza i współpracowników (2007) . Jak się okaże, dzięki dokładniejszemu projektowi, implementacji, analizie i interpretacji, ty również możesz wyjść poza proste eksperymenty.