4.1 Wprowadzenie

W dotychczasowych podejściach w tym zachowaniu dotyczącym obserwacji książki (rozdział 2) i zadawaniu pytań (rozdział 3) - badacze zbierają dane bez celowej i systematycznej zmiany świata. Podejście omówione w tym rozdziale - eksperymenty z uruchomieniem - jest zasadniczo odmienne. Kiedy badacze przeprowadzają eksperymenty, systematycznie interweniują w świecie, tworząc dane, które idealnie nadają się do odpowiadania na pytania o związki przyczynowo-skutkowe.

Pytania o przyczyny i skutku są bardzo powszechne w badaniach społecznych, a przykłady obejmują takie pytania, jak: Czy zwiększenie wynagrodzeń nauczycieli zwiększa uczenie się uczniów? Jaki jest wpływ minimalnego wynagrodzenia na stopy zatrudnienia? W jaki sposób wyścig kandydatów do pracy wpływa na jej szanse na znalezienie pracy? Oprócz tych jednoznacznie przyczynowych pytań, czasami pytania przyczynowo-skutkowe są ukryte w bardziej ogólnych pytaniach dotyczących maksymalizacji niektórych wskaźników wydajności. Na przykład pytanie "Jaki kolor powinien mieć przycisk dotacji na stronie organizacji pozarządowej?" To naprawdę wiele pytań dotyczących wpływu różnych kolorów przycisków na darowizny.

Jednym ze sposobów odpowiedzi na pytania o przyczynę i skutek jest poszukiwanie wzorców w istniejących danych. Na przykład, powracając do pytania o wpływ wynagrodzeń nauczycieli na uczenie się przez uczniów, możesz obliczyć, że uczniowie uczą się więcej w szkołach, które oferują wysokie wynagrodzenie nauczycieli. Ale czy ta korelacja pokazuje, że wyższe zarobki powodują, że uczniowie uczą się więcej? Oczywiście nie. Szkoły, w których nauczyciele zarabiają więcej, mogą różnić się na wiele sposobów. Na przykład uczniowie w szkołach z wysokimi wynagrodzeniami nauczycieli mogą pochodzić z zamożniejszych rodzin. Zatem to, co wygląda na efekt nauczycieli, może pochodzić z porównywania różnych typów uczniów. Te niezmierzone różnice między uczniami są nazywane łącznikami , a ogólna możliwość pojawienia się czynników zakłócających powoduje spustoszenie w kwestii zdolności badaczy do odpowiedzi na pytania o przyczynę i skutek poprzez wyszukiwanie wzorców w istniejących danych.

Jednym z rozwiązań problemu czynników zakłócających jest próba dokonania uczciwych porównań poprzez dostosowanie do obserwowalnych różnic między grupami. Na przykład możesz pobierać dane o podatku od nieruchomości z wielu rządowych stron internetowych. Następnie możesz porównać wyniki uczniów w szkołach, w których ceny domów są podobne, ale wynagrodzenia nauczycieli są różne, a nadal możesz dowiedzieć się, że uczniowie uczą się więcej w szkołach z wyższym wynagrodzeniem dla nauczycieli. Ale wciąż istnieje wiele możliwych czynników zakłócających. Może rodzice tych uczniów różnią się poziomem wykształcenia. A może szkoły różnią się bliskością bibliotek publicznych. A może szkoły z wyższym wynagrodzeniem dla nauczycieli również mają wyższą pensję dla dyrektorów, a głównym wynagrodzeniem, a nie wynagrodzeniem nauczyciela, jest naprawdę to, co zwiększa uczenie się. Możesz spróbować zmierzyć i dostosować również te czynniki, ale lista możliwych czynników zakłócających jest zasadniczo nieskończona. W wielu sytuacjach po prostu nie można zmierzyć i dostosować do wszystkich możliwych czynników zakłócających. W odpowiedzi na to wyzwanie badacze opracowali szereg technik dokonywania szacunków przyczynowych z danych nieeksperymentalnych - omówiłem niektóre z nich w rozdziale 2 - ale w przypadku niektórych rodzajów pytań techniki te są ograniczone, a eksperymenty obiecują alternatywny.

Eksperymenty umożliwiają naukowcom wykroczenie poza korelacje w naturalnie występujących danych, aby rzetelnie odpowiedzieć na niektóre pytania o przyczynę i skutek. W epoce analogowej eksperymenty były często trudne logistycznie i kosztowne. Teraz, w erze cyfrowej, ograniczenia logistyczne stopniowo zanikają. Nie tylko łatwiej jest przeprowadzać eksperymenty, takie jak te wykonane w przeszłości, ale teraz można uruchamiać nowe rodzaje eksperymentów.

W tym, co napisałem do tej pory, byłem trochę wolny w moim języku, ale ważne jest, aby rozróżnić dwie rzeczy: eksperymenty i randomizowane kontrolowane eksperymenty. W eksperymencie , badacz interweniuje w świecie, a następnie mierzy wynik. Słyszałem, że takie podejście zostało opisane jako "zakłócenie i obserwacja". W randomizowanym, kontrolowanym eksperymencie badacz interweniuje dla niektórych osób, a nie dla innych, a badacz decyduje, które osoby otrzymają interwencję przez randomizację (np. Rzucanie monetą). Randomizowane, kontrolowane eksperymenty tworzą rzetelne porównania między dwiema grupami: jedna, która otrzymała interwencję, a druga nie. Innymi słowy, randomizowane, kontrolowane eksperymenty są rozwiązaniem problemów czynników zakłócających. Eksperymenty typu "obserwuj i obserwuj" obejmują jednak tylko jedną grupę, która otrzymała interwencję, a zatem wyniki mogą doprowadzić badaczy do błędnego wniosku (jak to wkrótce pokażę). Pomimo istotnych różnic między eksperymentami a randomizowanymi kontrolowanymi eksperymentami, badacze społeczni często używają tych terminów zamiennie. Postąpię zgodnie z tą konwencją, ale w pewnych momentach zerwę konwencję, aby podkreślić wartość kontrolowanych eksperymentów z randomizacją w porównaniu z eksperymentami bez randomizacji i grupą kontrolną.

Przeprowadzone losowo eksperymenty kontrolowane okazały się skutecznym sposobem poznania świata społecznego. W tym rozdziale pokażę więcej o tym, jak wykorzystać je w swoich badaniach. W sekcji 4.2 zilustruję podstawową logikę eksperymentowania na przykładzie eksperymentu na Wikipedii. Następnie w sekcji 4.3 opiszę różnicę między eksperymentami laboratoryjnymi a eksperymentami polowymi i różnicami między eksperymentami analogowymi a eksperymentami cyfrowymi. Ponadto będę twierdził, że eksperymenty w polu cyfrowym mogą oferować najlepsze cechy eksperymentów z analogowymi laboratoriami (ścisła kontrola) i analogowe eksperymenty polowe (realizm), wszystkie w skali, która wcześniej nie była możliwa. Następnie, w sekcji 4.4, opiszę trzy pojęcia - trafność, niejednorodność efektów leczenia i mechanizmy - które są kluczowe dla projektowania bogatych eksperymentów. Na tym tle opiszę kompromisy związane z dwiema głównymi strategiami przeprowadzania cyfrowych eksperymentów: robienie tego samemu lub współpraca z potężnymi. Na koniec zakończę kilkoma poradami dotyczącymi projektowania, w jaki sposób można wykorzystać rzeczywistą moc cyfrowych eksperymentów (rozdział 4.6.1) i opisać niektóre z odpowiedzialności, które towarzyszą tej mocy (punkt 4.6.2).