4.2 Mitä kokeita?

Satunnaistettu kontrolloitu kokeissa on neljä tärkeimmät ainesosat: rekrytointi osallistujien satunnaistamisen hoidon, toimitus hoidon, ja mittaus tuloksia.

Satunnaistetuilla kontrolloiduilla kokeilla on neljä pääainetta: osallistujien rekrytointi, hoidon satunnaistaminen, hoidon antaminen ja tulosten mittaaminen. Digitaalinen ikä ei muuta kokeilun perusluonteisuutta, mutta se helpottaa logistisesti. Aiemmin esimerkiksi miljoonien ihmisten käyttäytymistä olisi ollut vaikea mitata, mutta se tapahtuu rutiininomaisesti monissa digitaalisissa järjestelmissä. Tutkijat, jotka pystyvät selvittämään, miten hyödyntää näitä uusia mahdollisuuksia, voivat kokeilla aikaisemmin mahdottomia kokeita.

Jotta tämä kaikki olisi hieman konkreettisempi - niin mitä on pysynyt samana ja mikä on muuttunut - harkitsemme Michael Restivon ja Arnout van de Rijtin (2012) kokeiluja. He halusivat ymmärtää epävirallisten vertaistuotteiden vaikutuksen Wikipedian toimituksellisiin kommentteihin. Erityisesti he tutkivat barnstarsin vaikutuksia, minkä tahansa Wikipedian antaman palkinnon jollekin muulle Wikipedialle tunnustetaan kova työ ja due diligence. Restivo ja van de Rijt antoivat barnstarsille 100 ansaitsevaa Wikipediasta. Sitten he seurasivat vastaanottajien myöhemmät kommentit Wikipediasta seuraavien 90 päivän aikana. Paljon heidän yllätyksestään ihmiset, joille he antoivat barnstars, pyrkivät tekemään vähemmän muokkauksia sen jälkeen, kun he saivat yhden. Toisin sanoen barnstars näytti olevan lannistavaa eikä rohkaiseva panos.

Onneksi Restivo ja van de Rijt eivät harjoittaneet "perturb and observe" kokeilua; he käyttivät satunnaistettua kontrolloitua kokeilua. Niinpä sen lisäksi, että he valitsivat 100 huippupuheenpitäjää saadakseen barnstarin, he myös ottivat vastaan ​​100 ylimmäistä avustajaa, joille he eivät antaneet. Nämä 100 palvelivat kontrolliryhmänä. Kriittisesti, joka oli hoitoryhmässä ja joka oli kontrolliryhmässä, määritettiin satunnaisesti.

Kun Restivo ja van de Rijt tarkastelivat kontrolliryhmän ihmisten käyttäytymistä, he havaitsivat, että heidän panoksensa vähenivät myös. Lisäksi, kun Restivo ja van de Rijt vertailivat hoitoryhmässä olevia ihmisiä (eli vastaanotettuja barnstareja) verrokkiryhmän ihmisille, he havaitsivat, että hoitoryhmän henkilöt vaikuttivat noin 60% enemmän. Toisin sanoen molempien ryhmien osuus oli kuolemaa, mutta kontrolliryhmän tulokset olivat niin paljon nopeampia.

Kuten tässä tutkimuksessa havainnollistetaan, kokeiden ohjausryhmä on kriittinen tavalla, joka on hieman paradoksaalista. Barnstarsin vaikutuksen tarkkailemiseksi Restivo ja van de Rijt tarvitsivat tarkkailla ihmisiä, jotka eivät saaneet barnstarsia. Monesti, tutkijat, jotka eivät tunne kokeita, eivät ymmärrä valvontaryhmän uskomatonta arvoa. Jos Restivo ja van de Rijt eivät olleet kontrolliryhmä, he olisivat vetäneet täsmälleen väärän johtopäätöksen. Valvontaryhmät ovat niin tärkeitä, että suuren kasinoyrityksen toimitusjohtaja on sanonut, että työntekijöitä voidaan irrottaa yrityksestään vain kolmella tavalla: varkauksille, seksuaaliselle häirinnälle tai kokeilulle, jolla ei ole kontrolliryhmää (Schrage 2011) .

Restivo ja van de Rijtin tutkimus havainnollistaa kokeilun neljä pääainesosaa: rekrytointi, satunnaistoiminta, interventio ja tulokset. Yhdessä nämä neljä aineosaa antavat tutkijoille mahdollisuuden siirtyä korrelaatioiden ulkopuolelle ja mitata hoitojen syy-seuraus. Erityisesti satunnaistamisella tarkoitetaan sitä, että hoito- ja kontrolliryhmien henkilöt ovat samankaltaisia. Tämä on tärkeää, koska se tarkoittaa, että näiden kahden ryhmän väliset erot tuloksista johtuvat hoidosta eikä sekoittimesta.

Sen lisäksi, että kokeiden mekaniikka on hieno kuva, Restivo ja van de Rijtin tutkimus osoittaa myös, että digitaalisten kokeiden logistiikka voi olla täysin erilainen kuin analogisten kokeiden logiikka. Restivon ja van de Rijtin kokeilussa oli helppoa antaa barnstarille kenelle tahansa, ja oli helppo seurata muokkausten lopputulosta - pitemmän aikaa (koska muokkaushistoria on automaattisesti Wikipediassa). Tämä kyky hoitaa hoidot ja mitata tulokset ilman kustannuksia on laadullisesti toisin kuin aikaisemmat kokeet. Vaikka kokeilu käsitti 200 henkilöä, sitä olisi voitu käyttää 2000 tai jopa 20 000 ihmistä. Pääasiallinen tekijä, joka estää tutkijoita kokeneemmasta kokeestaan ​​kertoimella 100, ei ollut kustannus; se oli etiikka. Toisin sanoen Restivo ja van de Rijt eivät halunneet antaa barnstareja epädemokraattisille toimittajille, eikä he halunnut heidän kokeilunsa häiritä Wikipedia-yhteisöä (Restivo and Rijt 2012, 2014) . Palaan eräisiin eettisiin näkökohtiin, joita kokeilut aiheuttavat myöhemmin tässä luvussa ja luvussa 6.

Lopuksi Restivon ja van de Rijtin kokeilu osoittaa selvästi, että vaikka kokeiden peruslogiikka ei ole muuttunut, digitaalisen ikäluokkien logistiikka voi olla dramaattisesti erilainen. Seuraavaksi vertaillaan näiden muutosten tarjoamia mahdollisuuksia entistä selkeämmin, ja vertaillen kokeita, joita tutkijat voivat tehdä nyt sellaisten kokeiden kanssa, jotka on tehty aikaisemmin.