4.2 Čo sú to experimenty?
Randomizovanej kontrolovanej experimenty majú štyri hlavné zložky: Nábor účastníkov, náhodný výber ošetrovaných, poskytovanie liečby a meranie výsledkov.
Randomizované kontrolované experimenty majú štyri hlavné zložky: nábor účastníkov, randomizácia liečby, poskytnutie liečby a meranie výsledkov. Digitálny vek nemení základnú povahu experimentovania, ale uľahčuje to logisticky. Napríklad v minulosti mohlo byť ťažké merať správanie miliónov ľudí, ale teraz sa to bežne deje v mnohých digitálnych systémoch. Výskumníci, ktorí dokážu zistiť, ako využiť tieto nové príležitosti, budú môcť spustiť experimenty, ktoré predtým neboli možné.
Aby sme to všetko trochu konkrétnejšie - to, čo zostalo rovnaké a čo sa zmenilo - poďme sa zamyslieť nad experimentom Michaelom Restivom a Arnout van de Rijtom (2012) . Chtěli pochopiť vplyv neformálnych peer odmien na redakčné príspevky na Wikipedii. Predovšetkým študovali účinky barnstars , ocenenie, ktoré môže každý Wikipedik poskytnúť ktorémukoľvek inému Wikipedianovi, aby uznal tvrdú prácu a náležitú starostlivosť. Restivo a van de Rijt poskytli barnstars na 100 zaslúžených Wikipedov. Potom sledovali následné príspevky príjemcov na Wikipedii v nasledujúcich 90 dňoch. Na ich prekvapenie mali ľudia, ktorým udelili barnstars, tendenciu robiť menej úprav po tom, čo ich obdržali. Inými slovami, barnštary sa zdalo byť skôr odrádzajúcim, než povzbudzujúcim príspevkom.
Našťastie Restivo a van de Rijt nekonali experiment "narušiť a pozorovať"; viedli randomizovaný kontrolovaný experiment. Takže okrem výberu 100 najlepších prispievateľov, ktorí dostali barnstar, vybrali aj 100 najvýznamnejších prispievateľov, ktorým neposkytli jednu. Tieto 100 slúžili ako kontrolná skupina. A kriticky, kto bol v liečebnej skupine a ktorý bol v kontrolnej skupine, bol náhodne určený.
Keď sa Restivo a van de Rijt pozerali na správanie ľudí v kontrolnej skupine, zistili, že aj ich príspevky klesajú. Ďalej, keď Restivo a van de Rijt porovnávali ľudí v liečenej skupine (tj prijali barnstary) ľuďom v kontrolnej skupine, zistili, že ľudia v liečebnej skupine prispeli o 60% viac. Inými slovami, príspevky obidvoch skupín boli zomierajúce, ale kontrolné skupiny to robilo oveľa rýchlejšie.
Ako ilustruje táto štúdia, kontrolná skupina v experimentoch je kritická spôsobom, ktorý je trochu paradoxný. Aby bolo možné presne merať účinok barnštárov, museli Restivo a van de Rijt pozorovať ľudí, ktorí nedostali barnstars. Mnohokrát výskumníci, ktorí nie sú oboznámení s experimentmi, nedokážu oceniť neuveriteľnú hodnotu kontrolnej skupiny. Ak by Restivo a van de Rijt nemali kontrolnú skupinu, urobili by presne nesprávny záver. Kontrolné skupiny sú také dôležité, že generálny riaditeľ veľkej kasínovej spoločnosti uviedol, že existujú len tri spôsoby, ako môžu byť zamestnanci vyháňaní zo svojej spoločnosti: krádežou, sexuálnym obťažovaním alebo spustením experimentu bez kontrolnej skupiny (Schrage 2011) ,
Štúdia Restivo a van de Rijt ilustruje štyri hlavné zložky experimentu: nábor, randomizácia, zásah a výsledky. Tieto štyri zložky spoločne umožňujú vedcom prekročiť korelácie a merať kauzálny účinok liečby. Konkrétne randomizácia znamená, že ľudia v skupine liečby a kontrole budú podobné. To je dôležité, pretože to znamená, že akýkoľvek rozdiel vo výsledkoch medzi týmito dvomi skupinami sa dá pripísať liečbe a nie zmätok.
Okrem toho, že sú pekné ilustrácie mechaniky experimentov, štúdia Restivo a van de Rijta tiež dokazujú, že logistika digitálnych experimentov môže byť úplne odlišná od logistiky analógových experimentov. V experimentoch Restivo a van de Rijta bolo ľahké dať barnstar každému a bolo ľahké sledovať výsledok - počet úprav - po dlhšiu dobu (pretože história úprav je automaticky zaznamenávaná Wikipédiou). Táto schopnosť poskytovať liečbu a meranie výsledkov bez nákladov je kvalitatívne na rozdiel od experimentov v minulosti. Hoci tento experiment zahŕňal 200 ľudí, mohol byť spustený s 2 000 alebo dokonca 20 000 ľuďmi. Hlavná vec, ktorá bránila výskumným pracovníkom, aby zintenzívnili experiment o faktor 100, nebola nákladná; to bola etika. To znamená, že Restivo a van de Rijt nechcú dať barnstars neoprávneným redaktorom a nechceli, aby ich experiment narušil komunitu Wikipédie (Restivo and Rijt 2012, 2014) . Vrátim sa k niektorým etickým úvahám, ktoré nastali pri experimentoch neskôr v tejto kapitole av kapitole 6.
Na záver, experiment Restivo a van de Rijt jasne ukazuje, že zatiaľ čo sa základná logika experimentovania nezmenila, logistika experimentov digitálneho veku môže byť dramaticky odlišná. Ďalej, aby som jasnejšie izoloval príležitosti vytvorené týmito zmenami, porovnám experimenty, ktoré výskumníci môžu robiť teraz s druhmi experimentov, ktoré boli vykonané v minulosti.
