4.2 Mis on eksperimendid?

Randomiseeritud kontrollitud eksperimente on neli tähtsamat osa: osalejate värbamine, randomiseerimist ravi ja ravi ning tulemuste mõõtmise.

Randomiseeritud kontrollitud katsetel on neli peamist koostisosa: osalejate värbamine, ravi randomiseerimine, ravi edastamine ja tulemuste mõõtmine. Digitaalajastul ei muutu eksperimentide fundamentaalne olemus, kuid see lihtsustab logistiliselt. Näiteks varem oli miljonite inimeste käitumist raske mõõta, kuid see on praegu paljudes digitaalsüsteemides korrapäraselt juhtunud. Uurijad, kes suudavad välja selgitada, kuidas neid uusi võimalusi kasutada, saavad käivitada eksperimendid, mis varem olid võimatu.

Selleks, et muuta see kõik natuke konkreetsemaks - nii see, mis on jäänud samaks ja mis on muutunud, vaatame Michael Restivo ja Arnout van de Rijti eksperimenti (2012) . Nad tahavad mõista mitteformaalse võrdõiguslikkuse hüvede mõju Wikipedia toimetuslikele panustele. Eelkõige uurisid nad barnstarsi mõju - auhinda , mille mis tahes Wikipedian võib anda mõnele muule Wikipedialle, et ta tunnustab rasket tööd ja hoolsust. Restivo ja van de Rijt andsid barnstarsile 100 väidetava Wikipediani. Seejärel jälgisid nad järgnevate 90 päeva jooksul järgmiste 90-päevaste kasutajate Wikipedias tehtud sissekandeid. Nende üllatusest tingituna kippusid inimesed, kellele nad said Barnstarsi, pärast muudatuste saamist vähem muudatusi. Teisisõnu tundub, et barnstars ei poolda mitte panustamist.

Õnneks ei kasutanud Restivo ja van de Rijt eksperimenti "häirida ja jälgida"; nad kasutasid juhuslikult kontrollitud eksperimenti. Nii et lisaks sellele, et nad valisid 100 parimat toetajat barnstari saamiseks, valisid nad ka 100 panustajat, kellele nad seda ei andnud. Need 100 olid kontrollrühmaks. Ja kriitiliselt määrati, kes oli ravigrupis ja kes oli kontrollrühmas, juhuslikult.

Kui Restivo ja van de Rijt vaadeldi kontrollgrupi inimeste käitumist, leidsid nad, et nende panus kahanes. Lisaks, kui Restivo ja van de Rijt võrreldi ravigrupi inimesi (st saanud barnstarsi) kontrollrühma inimestele, leidsid nad, et ravigrupi inimesed annavad umbes 60% rohkem. Teisisõnu, mõlema rühma sissemaksed heidutavad, kuid kontrollrühma liikmed tegi seda palju kiiremini.

Nagu seda uuringut illustreerib, on kontrollrühm eksperimentides kriitiline viisil, mis on mõnevõrra paradoksaalne. Selleks, et täpselt mõõta barnstarsi mõju, oli Restivo ja van de Rijt vaja jälgida inimesi, kes ei saanud barnstarsi. Paljudel juhtudel ei suuda teadlased, kes ei tunne katseid, hinnata kontrollgrupi uskumatut väärtust. Kui Restivo ja van de Rijtil puudus kontrollrühm, oleksid nad teinud täpselt vale järelduse. Kontrollrühmad on nii olulised, et suurte kasiinompaniide tegevjuht on öelnud, et ettevõtte töötajatel on võimalik töötajaid vallandada ainult kolmel viisil: varguse eest, seksuaalse ahistamise või kontrollrühma eksperimendi läbiviimiseks (Schrage 2011) .

Restivo ja van de Rijti uuring kirjeldab katse nelja peamist koostisosa: värbamine, randomiseerimine, sekkumine ja tulemused. Koos need neli koostisainet võimaldavad teadlastel liikuda korrelatsioonide suunas ja mõõta ravi põhjuslikku mõju. Randomiseerimine tähendab seda, et ravi- ja kontrollrühmade inimesed on sarnased. See on oluline, sest see tähendab, et kahe grupi tulemuste erinevust võib seostada raviga, mitte segiajani.

Restivo ja van de Rijti uuring näitab lisaks katsetuste mehaanika kena illustratsioonile ka seda, et digitaalsete eksperimentide logistika võib olla täiesti erinev analoogkatsetustest. Restivos ja van de Rijti eksperimendis oli barnstari andmine kergesti kõigile ja hõlpsasti jälgitavate toimetuste tulemuste arv pikema aja vältel (kuna Wikipedia registreerib automaatselt muudatuste ajaloo). See võime anda ravimeetodeid ja mõõta tulemusi tasuta ei ole kvalitatiivselt erinevalt minevikus tehtud katsetest. Kuigi see katse hõlmas 200 inimest, oleks võinud juhtida 2000 või isegi 20 000 inimest. Peamine asjaolu, mis takistas teadlastel katse suurendamist 100 korda, ei olnud kulukas; see oli eetika. See tähendab, et Restivo ja van de Rijt ei tahtnud anda barnstarsi ebasobivatele redaktoritele ja nad ei soovinud, et nende eksperiment häiriks Wikipedia kogukonda (Restivo and Rijt 2012, 2014) . Ma pöördun tagasi mõnede käesoleva peatüki ja 6. peatükis hiljem tehtud eksperimentidega seotud eetiliste kaalutluste juurde.

Kokkuvõtteks näitab Restivo ja van de Rijti eksperiment selgelt, et kuigi eksperimentaalsuse põhiloogika ei ole muutunud, võib digitaalajastusega eksperimentide logistika olla dramaatiliselt erinev. Järgnevalt, et neid muutusi tekitanud võimalused selgemalt isoleerida, võrrelda katsed, mida teadlased saavad nüüd teha minevikus tehtud katsetega.