4.2 Co jsou to experimenty?
Randomizované kontrolované experimenty mají čtyři hlavní složky: Nábor účastníků, náhodný výběr ošetřovaných, poskytování léčby a měření výsledků.
Randomizované kontrolované experimenty mají čtyři hlavní složky: nábor účastníků, randomizaci léčby, podávání léčby a měření výsledků. Digitální věk nezmění základní povahu experimentů, ale usnadňuje to logisticky. Například v minulosti mohlo být obtížné měřit chování milionů lidí, ale to se nyní běžně děje v mnoha digitálních systémech. Vědci, kteří dokáží zjistit, jak využít těchto nových příležitostí, budou moci provádět experimenty, které nebyly dříve možné.
Aby to všechno bylo trochu konkrétnější - co zůstalo stejné a co se změnilo - pojďme za pokus experimentů Michael Restivo a Arnout van de Rijt (2012) . Chtěli pochopit vliv neoficiálních vzájemných odměn na redakční příspěvky na Wikipedii. Konkrétně studovali účinky barnstars , ocenění, které může každý Wikipedista dát jinému Wikipedovi , aby uznal tvrdou práci a náležitou péči. Restivo a van de Rijt dali barnstary na 100 zasloužených Wikipedů. Poté sledovali následné příspěvky příjemců na Wikipedii během následujících 90 dnů. K jejich velkému překvapení lidé, jimž uděleli barnstars, vedli k tomu, že po přijetí jednoho z nich méně upravovali. Jinými slovy, barnstary se zdál být spíše odrazující než povzbuzující přínos.
Naštěstí Restivo a van de Rijt neběžně experimentovali s "narušením a pozorováním"; prováděli randomizovaný kontrolovaný experiment. Takže kromě výběru 100 nejlepších přispěvatelů, kteří dostali barnstar, také vybrali 100 nejlepších přispěvovatelů, kterým neposkytli jednu. Tyto 100 sloužily jako kontrolní skupina. A kriticky, kdo byl v léčené skupině a kdo byl v kontrolní skupině, byl náhodně určen.
Když se Restivo a van de Rijt podívali na chování lidí v kontrolní skupině, zjistili, že i jejich příspěvky klesají. Navíc, když Restivo a van de Rijt srovnávali lidi v léčené skupině (tj. Přijali barnstary) lidem v kontrolní skupině, zjistili, že lidé v léčivé skupině přispěli asi o 60% více. Jinými slovy, příspěvky obou skupin byly zesměšňovány, ale výsledky kontrolní skupiny byly mnohem rychlejší.
Jak ukazuje tato studie, kontrolní skupina v experimentech je kritická způsobem, který je poněkud paradoxní. Aby bylo možné přesně měřit vliv barnstarů, museli Restivo a van de Rijt pozorovat lidi, kteří nedostali barnstars. Mnohokrát vědci, kteří nejsou s experimenty obeznámeni, nedokážou ocenit neuvěřitelnou hodnotu kontrolní skupiny. Pokud by Restivo a van de Rijt neměli kontrolní skupinu, vyvodili by přesně špatný závěr. Kontrolní skupiny jsou tak důležité, že generální ředitel velké kasinové společnosti uvedl, že ze své firmy mohou být propuštěny pouze tři způsoby: krádež, sexuální obtěžování nebo experiment bez kontrolní skupiny (Schrage 2011) .
Restivo a studie van de Rijta ilustrují čtyři hlavní složky experimentu: nábor, randomizace, intervence a výsledky. Společně tyto čtyři složky umožňují vědcům překonat korelace a měřit příčinný účinek léčby. Konkrétně randomizace znamená, že lidé v léčbě a kontrolních skupinách budou podobní. To je důležité, protože to znamená, že jakýkoli rozdíl ve výsledcích mezi těmito dvěma skupinami může být přiřazen léčbě a nikoliv zmatek.
Kromě toho, že jsou hezké ilustrace mechaniky experimentů, studie Restivo a van de Rijta také ukazují, že logistika digitálních experimentů může být zcela odlišná od logistiky analogových experimentů. V experimentu Restivo a van de Rijta bylo snadné dát každému barnstar a bylo snadné sledovat výsledek - počet úprav - po delší dobu (protože historie úprav je automaticky zaznamenána Wikipedií). Tato schopnost poskytovat léčbu a měřit výsledky bez nákladů je kvalitativně odlišná od experimentů v minulosti. Ačkoli tento experiment zahrnoval 200 lidí, mohl být provozován s 2 000 nebo dokonce 20 000 lidmi. Hlavní věc, která zabraňuje vědcům, aby zvětšili experiment o faktor 100, nebyla cena; to byla etika. To znamená, že Restivo a van de Rijt nechtěli dát barnstary neopatrným redaktorům a nechtěli, aby jejich experiment narušil komunitu Wikipedie (Restivo and Rijt 2012, 2014) . Vrátím se k některým etickým úvahám vzneseným pokusy později v této kapitole av kapitole 6.
Závěrem, experiment Restivo a van de Rijt jasně ukazuje, že zatímco základní logika experimentování se nezměnila, logistika experimentů digitálního věku může být dramaticky odlišná. Dále, abychom jasněji izolovali příležitosti vytvořené těmito změnami, srovnám experimenty, které mohou výzkumníci provést s druhy experimentů, které byly provedeny v minulosti.
