4.2 Kas ir eksperimenti?

Randomizēti kontrolēti eksperimenti ir četras galvenās sastāvdaļas: atlases dalībnieku, randomizācijas ārstēšanas, ārstniecību, un mērīšana rezultātu.

Randomizētiem kontrolētiem eksperimentiem ir četras galvenās sastāvdaļas: dalībnieku pieņemšana darbā, ārstēšanas randomizācija, ārstēšanas piegāde un rezultātu mērīšana. Digitālais laikmets nemainās eksperimentu fundamentālais raksturs, bet tas atvieglo loģistiku. Piemēram, agrāk miljoniem cilvēku varētu būt grūti izmērīt uzvedību, bet tas parasti notiek daudzās digitālajās sistēmās. Pētnieki, kas spēj izpētīt, kā izmantot šīs jaunās iespējas, varēs veikt eksperimentus, kas iepriekš nebija iespējami.

Lai to padarītu mazliet konkrētāku - gan tas, kas palicis nemainīgs, gan mainījies - ņemsim vērā Michael Restivo un Arnout van de Rijt eksperimentu (2012) . Viņi vēlējās izprast neoficiālo vienaudžu atlīdzību par redakcionālo ieguldījumu Wikipedia. Jo īpaši viņi pētīja barnstars efektu - balvu, ko jebkura Wikipedian var dot jebkuram citam Wikipedian, lai atzītu smago darbu un pienācīgu rūpību. Restivo un van de Rijt deva barnstars 100 vērtīgiem Wikipedians. Pēc tam viņi sekoja saņēmēju turpmākās iemaksas Wikipedia nākamo 90 dienu laikā. Lielā pārsteiguma dēļ cilvēki, kuriem tie piešķīra barnstars, pēc tam saņēma mazāk rediģējumu. Citiem vārdiem sakot, barnstars, domājams, atbaidīja, nevis veicināja ieguldījumu.

Par laimi, Restivo un van de Rijt neizmantoja eksperimentu "satraukt un novērot"; viņi veica randomizētu kontrolētu eksperimentu. Tātad, papildus 100 lielāko dalībnieku izvēlei, lai saņemtu Barnstar, viņi arī izvēlējās 100 vislabākos dalībniekus, kuriem viņi to nedeva. Šīs 100 kalpoja par kontroles grupu. Un kritiski tas, kurš bija ārstēšanas grupā un kurš bija kontroles grupā, tika noteikts nejauši.

Kad Restivo un van de Rijt apskatīja kontroles grupas cilvēku uzvedību, viņi atklāja, ka viņu ieguldījums arī samazinājās. Turklāt, kad Restivo un van de Rijt salīdzināja pacientus ārstēšanas grupā (ti, saņēma barnstars) kontrolgrupas cilvēkiem, viņi atklāja, ka ārstēšanas grupas cilvēki piedalījās apmēram par 60% vairāk. Citiem vārdiem sakot, abu grupu ieguldījumi bija mirst, bet kontroles grupas darījumi tika veikti daudz ātrāk.

Kā parādīts šajā pētījumā, kontrolgrupa eksperimentos ir kritiska tādā veidā, kas ir nedaudz paradoksāls. Lai precīzi izmērītu Barnstars iedarbību, Restivo un van de Rijt bija nepieciešams novērot cilvēkus, kuri nesaņēma barnstars. Daudzas reizes pētnieki, kas nav pazīstami ar eksperimentiem, nespēj novērtēt kontroles grupas neticamo vērtību. Ja Restivo un van de Rijt nebūtu bijusi kontroles grupa, viņi būtu izdarījuši tieši nepareizu secinājumu. Kontroles grupas ir tik svarīgas, ka galvenā kazino kompānijas vadītājs ir teicis, ka ir tikai trīs veidi, kā darbiniekus var atlaist no viņa uzņēmuma: par zādzību, par seksuālu uzmākšanos vai eksperimenta bez kontroles grupas (Schrage 2011) .

Restivo un van de Rijta pētījums ilustrē eksperimenta četras galvenās sastāvdaļas: darbā pieņemšanu, randomizāciju, iejaukšanos un rezultātus. Kopā šīs četras sastāvdaļas ļauj zinātniekiem iziet ārpus korelācijas un novērtēt ārstēšanas cēloņsakarību. Konkrēti, randomizācija nozīmē, ka ārstēšanas un kontroles grupu cilvēki būs līdzīgi. Tas ir svarīgi, jo tas nozīmē, ka jebkuru rezultātu starpību starp abām grupām var attiecināt uz ārstēšanu, nevis uz neskaidrību.

Restivo un van de Rijta pētījums liecina arī par to, ka digitālo eksperimentu loģistika var pilnībā atšķirties no analogo eksperimentu loģistikas. Restivo un van de Rijta eksperimentā bija viegli nodot barnstar ikvienam, un viegli tika sekots iznākumu skaita maiņa ilgākā laika periodā (jo rediģēšanas vēsture tiek automātiski reģistrēta Wikipedia). Šī spēja nodrošināt ārstēšanu un novērtēt rezultātus bez maksas ir kvalitatīvi atšķirībā no iepriekš veiktajiem eksperimentiem. Kaut arī šajā eksperimentā piedalījās 200 cilvēki, to varēja vadīt ar 2000 vai pat 20 000 cilvēku. Galvenais, kas neļāva pētniekiem palielināt eksperimentu 100 reizes, nebija izmaksas; tā bija ētika. Tas nozīmē, ka Restivo un van de Rijt nevēlējās dot barnstars nederīgiem redaktoriem, un viņi nevēlējās, lai viņu eksperiments traucētu Vikipēdijas kopienu (Restivo and Rijt 2012, 2014) . Es atgriezīšos dažos no ētikas apsvērumiem, kas eksperimentu laikā radās vēlāk šajā nodaļā un 6. nodaļā.

Noslēgumā, Restivo un van de Rijt eksperiments skaidri parāda, ka, lai arī eksperimentu pamatlicence nav mainījusies, digitālā vecuma eksperimentu loģistika var ievērojami atšķirties. Tālāk, lai labāk izolētu šīs pārmaiņu radītās iespējas, es salīdzināšu eksperimentus, ko pētnieki tagad var darīt, izmantojot agrāk paveicamos eksperimentus.