4.2 Milyen kísérletek?

Randomizált, kontrollált vizsgálatok négy fő összetevők: a résztvevők toborzása véletlenszerűség kezelés szállítás és kezelés, és a mérési eredmények.

A randomizált kontrollos kísérletek négy fő összetevőből állnak: a résztvevők toborzása, a kezelés véletlenszerű kezelése, a kezelés leadása és az eredmények mérése. A digitális kor nem változtatja meg a kísérletezés alapvető jellegét, de logisztikai szempontból könnyebbé teszi. Például, a múltban nehéz lett volna mérni több millió ember viselkedését, de ez sok régen történik számos digitális rendszerben. A kutatók, akik rájönnek, hogyan kell kihasználni ezeket az új lehetőségeket, olyan kísérleteket hajthatnak végre, amelyek korábban nem voltak lehetségesek.

Hogy mindezt egy kicsit konkrétabbá tegyük - ugyanazt, ami ugyanaz maradt, és ami megváltozott - vegyük fontolóra Michael Restivo és Arnout van de Rijt (2012) kísérletét. Szerették volna megérteni az informális kortárs jutalmak hatását a Wikipédia szerkesztői hozzájárulásaira. Különösen tanulmányozták a barnstars hatásait, amelyet bármelyik Wikipédián bármely más Wikipédiának adhat, hogy elismerje a kemény munkát és az átvilágítást. Restivo és van de Rijt 100 bár megérdemelte a Wikipédiát. Ezután nyomon követik a címzettek további hozzájárulásait a Wikipédiának a következő 90 napban. Sok meglepetésükre, az emberek, akiknek a barnstars odaítélték, kevésbé szerkesztették, miután megkapták. Más szóval, a barnstars inkább kedvezőtlenebbnek tűnt, mintsem ösztönző hozzájárulásnak.

Szerencsére Restivo és van de Rijt nem "perturb és megfigyelni" kísérletet hajtott végre; randomizált, ellenőrzött kísérletet futtattak. Tehát, amellett, hogy 100 fő hozzászólót választottak a barnstar felvételére, 100 fő hozzászólót is választottak, akiknek nem adtak egyet. Ezek a 100 ellenőrző csoportként működött. És kritikusan, aki a kezelési csoportban volt, és aki a kontroll csoportban volt, véletlenszerűen határozták meg.

Amikor Restivo és van de Rijt megvizsgálta a kontroll csoportban élő emberek viselkedését, úgy találta, hogy hozzájárulásuk is csökken. Továbbá, amikor a Restivo és a van de Rijt összehasonlították a kezelési csoportba tartozó embereket (vagyis a kapott barnstars) a kontrollcsoportba tartozó emberekkel, úgy találták, hogy a kezelésben résztvevő emberek körülbelül 60% -kal többet jártak. Más szóval, mindkét csoport hozzájárulása elájult, de a kontroll csoport sokkal gyorsabban tett.

Ahogy ez a tanulmány szemlélteti, a kontrollcsoport a kísérletekben kritikus fontosságú, ami némileg paradox. Annak érdekében, hogy a barnstars hatását pontosan mérje, Restivo és van de Rijt köteles megfigyelni azokat a személyeket, akik nem kaptak barnstarsot. Sokszor olyan kutatók, akik nem ismerik a kísérleteket, nem értékelik a kontroll csoport hihetetlen értékét. Ha Restivo és van de Rijt nem rendelkezett ellenőrző csoporttal, akkor pontosan rossz következtetésre jutottak volna. A kontrollcsoportok annyira fontosak, hogy egy nagy kaszinó cég vezérigazgatója elmondta, hogy csak háromféle módon lehet kirúgni a céget: a lopás, a szexuális zaklatás vagy egy kísérleti csoport (Schrage 2011) nélkül (Schrage 2011) .

Restivo és van de Rijt tanulmánya egy kísérlet négy fő összetevőjét mutatja be: felvétel, randomizáció, beavatkozás és eredmények. Ez a négy összetevő együttesen lehetővé teszi a tudósok számára, hogy lépjenek túl a korrelációkon és mérjék a kezelések okozati hatását. Pontosabban, a randomizálás azt jelenti, hogy a kezelési és kontrollcsoportokban élő emberek hasonlóak lesznek. Ez azért fontos, mert ez azt jelenti, hogy a két csoport közötti különbségek a kezeléshez kötődnek, és nem összetéveszthetőek.

A kísérletek mechanikájának szép ábrázolása mellett a Restivo és a van de Rijt tanulmánya is azt mutatja, hogy a digitális kísérletek logisztikája teljesen különbözik az analóg kísérletek logikájától. Restivo és van de Rijt kísérletében könnyű volt megadni a barnstar-t bárkinek, és könnyű volt nyomon követni a szerkesztés eredményét - hosszabb idő alatt (mivel a szerkesztési előzményeket a Wikipédia automatikusan rögzíti). Ez a képesség a kezelések átadásához és az eredmények méréséhez költségmentes, minőségi szempontból ellentétes a múltbeli kísérletekkel. Bár ez a kísérlet 200 embert érintett, 2000, de akár 20 000 embert is el lehetett látni. A legfontosabb dolog, hogy megakadályozzák a kutatók 100-as tényezővel történő felmérését a kísérletben, nem volt költség; az etika volt. Ez azt jelenti, hogy Restivo és van de Rijt nem akart barnstars adni a megelevenedett szerkesztőknek, és nem akarták, hogy kísérletük megszakítsa a Wikipédia közösséget (Restivo and Rijt 2012, 2014) . Visszatérhetek a kísérletek által felvetett etikai megfontolásokhoz később ebben a fejezetben és a 6. fejezetben.

Összefoglalva, a Restivo és a van de Rijt kísérlete egyértelműen azt mutatja, hogy míg a kísérletek alapjogi logikája nem változott, a digitális korszak kísérleteinek logisztikája drámai módon eltérő lehet. Ezután a változások által teremtett lehetőségek egyértelműbb elkülönítése érdekében összehasonlítom azokat a kísérleteket, amelyeket a kutatók a múltban elvégzett kísérletekkel végezhetnek.