4.2 Mitä kokeita?

Satunnaistettu kontrolloitu kokeissa on neljä tärkeimmät ainesosat: rekrytointi osallistujien satunnaistamisen hoidon, toimitus hoidon, ja mittaus tuloksia.

Satunnaistettu kontrolloitu kokeissa voi olla monenlaisia ​​ja niitä voidaan käyttää tutkia monenlaisia ​​käyttäytymistä. Mutta, niiden ydin, satunnaistettu kontrolloitu kokeissa on neljä tärkeimmät ainesosat: rekrytointi osallistujien satunnaistamisen hoidon, toimitus hoidon, ja mittaus tuloksia. Digitaaliajan ei muuta perusluonne kokeilun, mutta se ei tee niistä helpommin logistisesti. Esimerkiksi aikaisemmin olisi ollut vaikea mitata käyttäytymistä miljoonia ihmisiä, mutta se on nyt rutiininomaisesti tapahtuu monissa digitaalisissa järjestelmissä. Tutkijat, jotka voivat selvittää, miten hyödyntämään näitä uusia mahdollisuuksia voi suorittaa kokeiluja, jotka olivat mahdottomia aikaisemmin.

Jotta tämä kaikki hieman konkreettisemmin-molemmat mitä on pysynyt samana ja mikä on muuttunut-Tarkastellaan Michael Restivo ja Arnout van de Rijt n (2012) . Tutkijat halusivat ymmärtää vaikutusta epävirallisen peer palkintoja toimituksellisen maksuja Wikipediasta. Erityisesti ne tutkittiin vaikutuksia barnstars, palkinto että Wikipedian voi antaa muille Wikipedian tunnustaa kovaa työtä ja huolellisuutta. Restivo ja van de Rijt antoi barnstars 100 ansioituneille Wikipediaaneja. Sitten Restivo ja van de Rijt seurataan vastaanottajien seuraavia maksusuorituksiaan Wikipedia seuraavien 90 päivän aikana. Suureksi yllätyksekseen, kansa, jolle he myönnetty barnstars olleet omiaan tekemään vähemmän muokkauksia saatuaan yhden. Toisin sanoen barnstars näytti lannistaa sijaan rohkaisevia panos.

Onneksi Restivo ja van de Rijt ei käynnissä "hämmentää ja tarkkailla" kokeilu; he olivat käynnissä satunnaistettu kontrolloitu koe. Joten, lisäksi valita 100 ahkerat saada Barnstar, ne myös poimitaan 100 ahkerat, joille ne eivät anna Barnstar. Nämä sata toimi kontrolliryhmässä, ja joka sai Barnstar ja joka ei määritettiin satunnaisesti. Kun Restivo ja van de Rijt katsoi kontrolliryhmän he huomasivat, että se oli jyrkkä lasku maksuja liikaa. Lopulta kun tutkijat vertasivat ihmiset hoitoryhmässä (eli vastaanotettu barnstars) ja ihmiset kontrolliryhmässä, he huomasivat, että Barnstar aiheutti toimittajat edistää noin 60% enemmän. Mutta tämä kasvu osuus oli tapahtumassa osana yleistä laskua molemmissa ryhmissä.

Koska tämä tutkimus osoittaa, verrokkiryhmään kokeissa on kriittinen tavalla, joka on hieman paradoksaalinen. Jotta tarkasti mitata vaikutusta barnstars, Restivo ja van der Rijt tarvitaan tarkkailla ihmisiä, jotka eivät saaneet barnstars. Monta kertaa tutkijat, jotka eivät tunne kokeet eivät arvostamaan uskomattoman arvo kontrolliryhmässä. Jos Restivo ja van de Rijt ei ollut kontrolliryhmä, he olisivat vedetty aivan väärä johtopäätös. Ohjaus ryhmät ovat niin tärkeitä, että toimitusjohtaja suuri kasinon yhtiö on sanonut, että on vain kolme tapaa, että työntekijät voidaan ampua hänen yritys: varkaus, seksuaalinen häirintä, ja kokeilun ilman kontrolliryhmä (Schrage 2011) .

Restivo ja van de Rijt tutkimus havainnollistaa neljä tärkeimmät ainesosat kokeesta: rekrytointi, satunnaistaminen, interventio, ja tuloksia. Yhdessä nämä neljä ainekset avulla tutkijat voivat siirtyä korrelaatioita ja mitata syy vaikutusta hoitoja. Erityisesti satunnaistamista tarkoittaa, että kun vertaa tuloksia hoitoon ja kontrolliryhmissä saat arvio syy vaikutuksen että intervention että joukko osallistujia. Toisin sanoen, jossa satunnaistettu kontrolloitu kokeilu voit olla varma, että mahdolliset erot tuloksissa johtuvat intervention eikä sekoitin, väite, että teen tarkka teknisen lisäyksen avulla mahdollisia tuloksia puitteissa.

Sen lisäksi, että hyvä esimerkki mekaniikka kokeita, Restivo ja van de Rijt tutkimus osoittaa myös, että logistiikan digitaalisten kokeita voi olla täysin erilainen kuin analoginen kokeiluja. Vuonna Restivo ja van de Rijt koe oli helppo antaa Barnstar kenellekään maailmassa ja se oli helppo seurata tuloksiin määrän muokkauksia-pidemmän aikaa (koska muokkaushistoria tallennetaan automaattisesti Wikipedia). Tämä kyky tuottaa hoitoja ja mittaavat tuloksia ilman kustannuksia laadullisesti toisin kokeissa aikaisemmin. Vaikka tämä koe mukana 200 henkilöä, se olisi voinut ajaa 2000 tai 20000 ihmistä. Tärkeintä estää tutkijoita lisäämisen niiden kokeilu tekijällä 100 ei maksa, se oli etiikka. Eli Restivo ja van de Rijt ei halua antaa barnstars jotta undeserving toimittajille ja he eivät halua niiden kokeilu häiritä Wikipedia yhteisö (Restivo and Rijt 2012; Restivo and Rijt 2014) . Joten, vaikka koe Restivo ja van de Rijt on suhteellisen yksinkertainen, se osoittaa selvästi, että joitakin asioita kokeilut ovat pysyneet samana, ja jotkut ovat muuttuneet. Erityisesti perus logiikka kokeilu on sama, mutta logistiikan ovat muuttuneet. Seuraavaksi jotta selvemmin eristää luomia mahdollisuuksia tämän muutoksen, minä verrata kokeita, että tutkijat voivat tehdä nyt, minkälaisia ​​kokeita, jotka on tehty aikaisemmin.