4.2 Co jsou to experimenty?
Randomizované kontrolované experimenty mají čtyři hlavní složky: Nábor účastníků, náhodný výběr ošetřovaných, poskytování léčby a měření výsledků.
Randomizované kontrolované experimenty mohou mít mnoho podob a může být použit ke studiu mnoho typů chování. Ale ve své podstatě, randomizované kontrolované experimenty mají čtyři hlavní složky: Nábor účastníků, náhodný výběr ošetřovaných, poskytování léčby a měření výsledků. Digitální věk nemění základní povahu experimentování, ale to přece dělá je jednodušší logisticky. Například v minulosti by to mohlo být obtížné měřit chování milionů lidí, ale to je nyní běžně děje v mnoha digitálních systémů. Výzkumní pracovníci, kteří mohou přijít na to, jak využít tyto nové příležitosti budou moci provádět experimenty, které byly dříve nemožné.
Aby to bylo všechno trochu konkrétnější, a to jak co se zůstala stejná a co se změnilo, uvažujme Michael Restivo a Arnout van de Rijt je (2012) . Výzkumníci chtěli vědět, jaký vliv neformálních vzájemných odměn na redakčních příspěvků na Wikipedii. Zejména studoval účinky barnstars, ocenění, že jakákoli wikipedistů může poskytnout jakékoliv jiné wikipedistů uznat tvrdou práci a due diligence. Restivo a van de Rijt dal barnstars až 100 zaslouží wikipedisty. Poté, Restivo a van de Rijt sledovány následných příspěvků příjemců Wikipedie v průběhu příštích 90 dní. Hodně k jejich překvapení, lidé, jimž udělované barnstars tendenci dělat méně úpravy po obdržení jeden. Jinými slovy, barnstars Zdálo se, že odrazovat, spíše než podporovat příspěvek.
Naštěstí Restivo a van de Rijt nebyla spuštěna "znepokojovat a pozorovat" experiment; běžely nahodilou kontrolní experiment. Takže, kromě výběru 100 nejlepších přispěvatelů přijímat barnstar, ale také vybrali 100 nejlepších přispěvatelů, jemuž nedal barnstar. Tyto set sloužila jako kontrolní skupina, a který dostal barnstar a kteří neměli byla stanovena náhodně. Když Restivo a van de Rijt se podíval na kontrolní skupině zjistili, že to mělo prudkému poklesu příspěvků taky. Nakonec, když výzkumníci ve srovnání lidí ve skupině léčby (tj obdržel barnstars) a lidé v kontrolní skupině, zjistili, že barnstar způsobil redaktoři s cílem přispět asi 60% více. Ale toto zvýšení příspěvku se koná jako součást celkového poklesu v obou skupinách.
Protože tato studie ukazuje, kontrolní skupina v pokusech je rozhodující způsobem, který je poněkud paradoxní. Aby bylo možné přesně změřit účinek barnstars, Restivo a van der Rijt zapotřebí pozorovat lidi, kteří nedostali barnstars. Mnohokrát výzkumníci, kteří nejsou obeznámeni s experimenty nedokážou ocenit neuvěřitelnou hodnotu kontrolní skupině. Pokud Restivo a van de Rijt neměl kontrolní skupinu, oni by měli vyvodit přesně nesprávný závěr. Kontrolní skupiny jsou natolik důležité, že výkonný ředitel velké kasino společnosti, řekl, že existují pouze tři způsoby, které zaměstnanci mohou být odpalované z jeho společnosti: krádeže, sexuální obtěžování, a běží experiment bez kontrolní skupiny (Schrage 2011) .
Restivo a Van de Rijt své studie ukazuje čtyři hlavní složky experimentu: nábor, randomization, intervence, a výsledky. Společně tyto čtyři složky vědcům umožní překonat korelací a měřit kauzální účinek léčby. Konkrétně randomizace znamená, že při porovnávání výsledků k léčbě a kontrolních skupin dostanete odhad kauzální účinek tohoto zásahu pro danou sadu účastníků. Jinými slovy, s randomizované kontrolované experimentu, můžete si být jisti, že případné rozdíly ve výsledcích jsou způsobeny zásahem, a nikoli o matoucí faktor, tvrzení, že udělám přesný technické přílohy s použitím rámce potenciální výsledky.
Kromě toho, že je pěkné ilustrace mechaniky experimentů, Restivo a Van de Rijt má Studie také ukazuje, že logistika digitálních experimentů může být zcela odlišná od analogových experimentů. V Restivo a van de Rijt experimentu bylo snadné dát barnstar nikomu na světě a bylo snadné sledovat na výsledek počet editací-po delší dobu (protože editovat historie je automaticky zaznamenává Wikipedia). Tato schopnost dodávat ošetření a výsledky měření bez nákladů je kvalitativně na rozdíl od pokusů v minulosti. Ačkoli tento experiment účastní 200 lidí, to by mohla být spuštěna s 2.000 nebo 20.000 lidí. Hlavní věc brání vědcům z rozšiřování jejich pokus o faktor 100 nebyl stát, bylo to etika. To znamená, že Restivo a van de Rijt nechtěl dát barnstars do nezaslouží editorů a nechtěli jejich experiment narušit komunitu Wikipedie (Restivo and Rijt 2012; Restivo and Rijt 2014) . Takže, i když experiment Restivo a van de Rijt je relativně jednoduchý, jasně ukazuje, že některé věci, o pokusech zůstaly stejné a některé se změnily. Zejména základní logika experimentování je stejná, ale logistika změnily. Dále, aby se jasněji izolovat příležitostí vytvořených touto změnou, budu porovnávat experimenty, že výzkumní pracovníci mohou dělat teď druhy experimentů, které byly provedeny v minulosti.
