4.4 Wyjście poza prostych eksperymentów
Przejdźmy poza proste eksperymenty. Trzy koncepcje są użyteczne dla bogatych doświadczeniach: ważność, różnorodność efektów leczenia oraz mechanizmu.
Naukowcy, którzy są nowicjuszami w doświadczeniach często koncentrują się na bardzo konkretnej, wąskiej pytanie: czy ten zabieg "praca"? Na przykład, czy jeden telefon z wolontariuszem zachęcić kogoś do głosowania? Czy zmieniając przycisk www z niebieskiego na zielony wzrost klikalności? Niestety, luźne sformułowanie o tym, co "działa" zaciemnia fakt, że zawężone eksperymenty naprawdę nie powiedzieć, czy leczenie "działa" w sensie ogólnym. Raczej zawężone eksperymenty odpowiedzieć znacznie bardziej konkretne pytanie: jaki jest średni efekt tego konkretnego leczenia tej konkretnej implementacji dla tej populacji uczestników w tym czasie? Zadzwonię do eksperymentów, które koncentrują się na tym wąskim zapytania prostych eksperymentów.
Proste eksperymenty mogą dostarczyć cennych informacji, ale nie udaje im się odpowiedzieć na wiele pytań, które są ważne i ciekawe, takie jak: są tam ludzie, dla których zabieg miał większy lub mniejszy wpływ ?; Jest tam innego leczenia, które byłyby bardziej skuteczne ?; i jak ten eksperyment odnosi się do szerszych teorii społecznych?
W celu pokazania wartości wyjście poza proste eksperymenty, rozważmy jeden z moich ulubionych analogowych doświadczeniach polowych, opracowanie P. Wesley Schultz i jego współpracowników na temat relacji między normami społecznymi i zużycia energii (Schultz et al. 2007) . Schultz i jego współpracownicy wisiał doorhangers na 300 gospodarstw domowych w San Marcos w Kalifornii, a te doorhangers dostarczane różne komunikaty w celu zachęcania do oszczędzania energii. Następnie, Schultz i jego współpracownicy zmierzyli wpływ tych komunikatów dotyczących zużycia energii elektrycznej, zarówno po tygodniu i trzy tygodnie; patrz figura 4.3 bardziej szczegółowym opisem projektu doświadczalnego.
Rysunek 4.3: Schemat konstrukcji z Schultz et al. (2007) . Eksperyment polegał na odwiedzenie pola około 300 gospodarstw domowych w San Marcos w Kalifornii pięć razy w ciągu ośmiu tygodni. Na każdej wizycie naukowcy ręcznie wziął odczyt z domu w mierniku. Na dwóch wizyt naukowcy umieszczone doorhangers w domu, zapewniając pewne informacje na temat ich zużycia energii. Kwestia badań było to, jak treść tych wiadomości, które wpływają na zużycie energii.
Eksperyment miał dwa warunki. W pierwszym stanie, gospodarstw domowych otrzymali wskazówki oszczędzania energii (np ogólnego, wentylatory użyty zamiast klimatyzatory) oraz informacje na temat zużycia energii swojego gospodarstwa domowego w porównaniu do średniej z wykorzystaniem energii w ich sąsiedztwie. Schultz i jego współpracownicy nazwał to opisową stan normatywny, ponieważ informacje na temat zużycia energii w ich sąsiedztwie umieszczono informacje na temat typowych zachowań (tj opisowe NORM). Gdy Schultz i jego współpracownicy spojrzał na zużycie energii uzyskanej w tej grupie, leczenie wydają się mieć żadnego wpływu, zarówno w perspektywie krótkoterminowej lub długoterminowej; Innymi słowy, leczenie nie wydaje się "praca" (rysunek 4.4).
Ale, na szczęście, Schultz et al. (2007) nie zadowalać się tym uproszczonej analizy. Przed rozpoczęciem eksperymentu były przekonane, że ciężkie użytkownicy elektryczność osób powyżej średniej, może zmniejszyć ich zużycie, a tym świetle użytkownicy elektryczność osób poniżej średniej, może faktycznie zwiększyć ich konsumpcję. Kiedy spojrzał na danych, to jest dokładnie to, co znaleźli (rysunek 4.4). Tak więc, co wyglądało na leczenie, które zostało pozbawione skutku faktycznie zabieg, który miał dwa skutki kompensowania. Naukowcy nazwali to nieproduktywne wzrost wśród użytkowników lekkich efekt bumerangu.
Rysunek 4.4: Wyniki z Schultz et al. (2007) . Pierwszy panel pokazuje, że leczenie norma ma charakter opisowy szacowany zerową średnią skuteczność leczenia. Jednak drugi panel pokazuje, że średni efekt leczenia jest faktycznie składa się z dwóch efektów kompensujących. Dla ciężkich użytkowników, leczenie zmniejszyło zużycie ale dla lekkich użytkowników, leczenie zwiększone zużycie. Wreszcie trzeci panel pokazuje, że drugie podejście, które stosowane normy opisowych i sądowych, miał mniej więcej taki sam wpływ na ciężkich użytkowników, ale złagodzony bumerang wpływ na lekkich użytkowników.
Ponadto, Schultz i jego współpracownicy przewiduje taką możliwość, a w drugim stanie się je nieco odmienne traktowanie, jeden został opracowany w celu wyeliminowania efektu bumerangu. Gospodarstw domowych w drugim warunku otrzymał dokładnie takie samo traktowanie generalnych wskazówek oszczędzania energii i informacji o zużyciu energii swojego gospodarstwa domowego w porównaniu z ich sąsiedztwa, z jednym maleńkim dodatkowo: dla osób poniżej średniego zużycia naukowcy dodał :) i dla osoby o ponadprzeciętnej konsumpcji dodali :(. te emotikony zostały zaprojektowane tak, aby wyzwolić to, co naukowcy nazywa norm sądowych. injunctive normy odnoszą się do postrzegania tego, co jest powszechnie zatwierdzone (i odrzucone), podczas gdy normy opisowe odnoszą się do postrzegania tego, co jest powszechnie wykonywane (Reno, Cialdini, and Kallgren 1993) .
Dodając ten jeden mały emotikon, naukowcy radykalnie zmniejsza efekt bumerangu (rysunek 4.4). W ten sposób, poprzez jedno proste zmiany-zmiany, które były podyktowane abstrakcyjnej teorii psychologicznej społecznej (Cialdini, Kallgren, and Reno 1991) -The naukowcy byli w stanie włączyć program z jednego, które nie wydają się działać na taki, który pracował, a jednocześnie byli w stanie przyczynić się do ogólnego zrozumienia jak normy społeczne wpływają na ludzkie zachowanie.
W tym momencie jednak, można zauważyć, że coś jest nieco inny o tym eksperymencie. W szczególności, eksperyment Schultz i współpracowników tak naprawdę nie ma grupę kontrolną w ten sam sposób, randomizowanych, kontrolowanych eksperymenty robić. Porównanie tej konstrukcji i projektowania Restivo i van de Rijt ilustruje różnice między dwoma głównymi wzorów stosowanych przez badaczy. W między-tematów projektów, takich jak Restivo i van de Rijt, istnieje grupa leczenie i grupą kontrolną, w obrębie badanych wzorów zachowań uczestników jest porównywana przed i po leczeniu (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . W doświadczeniu obrębie tematu to tak jakby każdy uczestnik działa jako własnej grupy kontrolnej. Siła międzyosobniczej poddaje konstrukcji jest to, że zapewnia ochronę przed zakłócających (jak opisano wcześniej), a siła pomiędzy zwierzętami eksperymentów zwiększa precyzję szacunków. Gdy każdy uczestnik działa jako własne sterowanie, między-uczestnika odmianą jest eliminowany (patrz dodatek techniczny). Zwiastować, że przyjdzie później, kiedy oferować porady na temat projektowania eksperymentów cyfrowych, nie jest ostateczny projekt, zwany mieszany projekt, który łączy się z lepszą precyzję wewnątrzlaboratoryjnych tematów projektów oraz ochronę przed mylenia między-tematy wzorów.
Rysunek 4.5: Trzy projekty eksperymentalne. Standardowe randomizowanych kontrolowanych eksperymenty używać między-poddaje projekty. Przykładem projektu między-tematów jest Restivo i van de Rijt za (2012) eksperyment na barnstars oraz składek na Wikipedii: naukowcy losowo podzielono uczestników na leczenie i grup kontrolnych, dał uczestników w grupie leczonej z barnstar i porównaniu wyników dla dwóch grup. Drugi typ konstrukcji jest konstrukcja pomiędzy zwierzętami. Dwa eksperymenty w Schultz i kolegi (2007) badania na temat norm społecznych i wykorzystania energii przedstawiają konstrukcję wewnątrz-przedmiotów: Naukowcy porównali zużycie energii elektrycznej uczestników przed i po otrzymaniu leczenia. Wewnątrz przedmiotów projekty oferują lepszą precyzję statystyczną eliminując między wariancji przedmiotu (patrz dodatek techniczny), ale są otwarte dla potencjalnych czynników zakłócających (np zmiany w pogodzie między wstępnego oczyszczania i uzdatniania okresie) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Wewnątrz przedmiotów projekty są czasem nazywane również powtarzające się wzory środki. Wreszcie, mieszane wzory łączą zwiększoną precyzję obrębie poddaje wzory i ochronę przed mylenia między-tematy wzorów. W mieszanym projektu, badacz porównuje zmiany w wynikach dla osób w grupach leczonych i kontrolnych. Kiedy badacze już informacje sprzed leczenia, jak to ma miejsce w wielu eksperymentach cyfrowych, mieszane wzory są preferowane między-tematy projektów ze względu na zyski w precyzyjnym (patrz dodatek techniczny).
Ogólnie rzecz biorąc, projekt i wyniki Schultz et al. (2007) wskazują wartość wyjścia poza prostych eksperymentów. Na szczęście nie trzeba być geniuszem, aby utworzyć eksperymenty jak ten. Socjologowie opracowali trzy koncepcje, które poprowadzi Cię ku bogatsze i bardziej twórczych eksperymentów: 1) ważność, 2) niejednorodność efektów leczenia, 3) mechanizmy. Oznacza to, że jeśli trzymać te trzy pomysły na uwadze podczas projektowania eksperymentu, będzie w naturalny sposób tworzyć bardziej interesujące i użyteczne eksperymentów. W celu zilustrowania tych trzech pojęć w działaniu, opiszę kilka następczych częściowo cyfrowych eksperymentów polowych, które zbudowane na eleganckim wyglądzie i ciekawych wyników w Schultz et al. (2007) . Jak widać, poprzez bardziej starannego projektowania, wdrażania, analizy i interpretacji, Ty też możesz wyjść poza proste eksperymenty.
