4.2 Čo sú to experimenty?

Randomizovanej kontrolovanej experimenty majú štyri hlavné zložky: Nábor účastníkov, náhodný výber ošetrovaných, poskytovanie liečby a meranie výsledkov.

Randomizovanej kontrolovanej experimenty môžu mať mnoho podôb a môže byť použitý na štúdium mnoho typov správania. Ale vo svojej podstate, randomizovanej kontrolovanej experimenty majú štyri hlavné zložky: Nábor účastníkov, náhodný výber ošetrovaných, poskytovanie liečby a meranie výsledkov. Digitálny vek nemení základný charakter experimentovanie, ale to predsa robí je jednoduchšie logisticky. Napríklad v minulosti by to mohlo byť ťažké merať správanie miliónov ľudí, ale to je teraz bežne deje v mnohých digitálnych systémov. Výskumní pracovníci, ktorí môžu prísť na to, ako využiť tieto nové príležitosti budú môcť vykonávať experimenty, ktoré boli predtým nemožné.

Aby to bolo všetko trochu konkrétnejší, a to ako čo sa zostala rovnaká a čo sa zmenilo, uvažujme Michael Restivo a Arnout van de Rijt je (2012) . Výskumníci chceli vedieť, aký vplyv neformálnych vzájomných odmien na redakčných príspevkov na Wikipédii. Najmä študoval účinky barnstars, ocenenie, že akákoľvek wikipediánov môže poskytnúť akékoľvek iné wikipediánov uznať tvrdú prácu a due diligence. Restivo a van de Rijt dal barnstars až 100 zaslúži wikipediánov. Potom, Restivo a van de Rijt sledované následných príspevkov príjemcov Wikipédie v priebehu nasledujúcich 90 dní. Veľa k ich prekvapenie, ľudia, ktorým udeľované barnstars tendenciu robiť menej úpravy po obdržaní jeden. Inými slovami, barnstars Zdalo sa, že odrádzať, skôr ako podporovať príspevok.

Našťastie Restivo a van de Rijt nebola spustená "znepokojovať a pozorovať" experiment; bežali náhodnou kontrolný experiment. Takže, okrem výberu 100 najlepších prispievateľov prijímať barnstar, ale tiež vybrali 100 najlepších prispievateľov, ktorému nedal barnstar. Tieto set slúžila ako kontrolná skupina, a ktorý dostal barnstar a ktorí nemali bola stanovená náhodne. Keď Restivo a van de Rijt sa pozrel na kontrolnej skupine zistili, že to malo prudkému poklesu príspevkov taky. Nakoniec, keď výskumníci v porovnaní ľudí v skupine liečby (tj obdržal barnstars) a ľudia v kontrolnej skupine, zistili, že barnstar spôsobil redaktori s cieľom prispieť asi 60% viac. Ale toto zvýšenie príspevku sa koná ako súčasť celkového poklesu v oboch skupinách.

Pretože táto štúdia ukazuje, kontrolná skupina v pokusoch je rozhodujúce spôsobom, ktorý je trochu paradoxné. Aby bolo možné presne zmerať účinok barnstars, Restivo a van der Rijt potrebné pozorovať ľudí, ktorí nedostali barnstars. Mnohokrát výskumníci, ktorí nie sú oboznámení s experimentmi nedokážu oceniť neuveriteľnú hodnotu kontrolnej skupine. Ak Restivo a van de Rijt nemal kontrolnú skupinu, oni by mali vyvodiť presne nesprávny záver. Kontrolné skupiny sú natoľko dôležité, že výkonný riaditeľ veľké kasíno spoločnosti, povedal, že existujú len tri spôsoby, ktoré zamestnanci môžu byť odpaľované z jeho spoločnosti: krádeže, sexuálne obťažovanie, a beží experiment bez kontrolnej skupiny (Schrage 2011) .

Restivo a Van de Rijt svojej štúdie ukazuje štyri hlavné zložky experimentu: nábor, randomization, intervencie, a výsledky. Spoločne tieto štyri zložky vedcom umožní prekonať korelácie a merať kauzálny účinok liečby. Konkrétne randomizácie znamená, že pri porovnávaní výsledkov na liečbu a kontrolných skupín dostanete odhad kauzálny účinok tohto zásahu pre danú sadu účastníkov. Inými slovami, s randomizovanej kontrolovanej experimentu, môžete si byť istí, že prípadné rozdiely vo výsledkoch sú spôsobené zásahom, a nie o mätúce faktor, tvrdenie, že urobím presný technické prílohy s použitím rámca potenciálne výsledky.

Okrem toho, že je pekné ilustrácie mechaniky experimentov, Restivo a Van de Rijt má Štúdia tiež ukazuje, že logistika digitálnych experimentov môže byť úplne odlišná od analógových experimentov. V Restivo a van de Rijt experimentu bolo ľahké dať barnstar nikomu na svete a bolo jednoduché sledovať na výsledok počet editáciou-po dlhšiu dobu (pretože editovať história je automaticky zaznamenáva Wikipedia). Táto schopnosť dodávať ošetrenie a výsledky meraní bez nákladov je kvalitatívne na rozdiel od pokusov v minulosti. Hoci tento experiment zúčastňuje 200 ľudí, to by mohla byť spustená s 2.000 alebo 20.000 ľudí. Hlavná vec bráni vedcom z rozširovania ich pokus o faktor 100 nebol stať, bolo to etika. To znamená, že Restivo a van de Rijt nechcel dať barnstars do nezaslúži editorov a nechceli ich experiment narušiť komunitu Wikipédie (Restivo and Rijt 2012; Restivo and Rijt 2014) . Takže, aj keď experiment Restivo a van de Rijt je relatívne jednoduchý, jasne ukazuje, že niektoré veci, o pokusoch zostali rovnaké a niektoré sa zmenili. Najmä základné logika experimentovanie je rovnaká, ale logistika zmenili. Ďalej, aby sa jasnejšie izolovať príležitostí vytvorených touto zmenou, budem porovnávať experimenty, že výskumní pracovníci môžu robiť teraz druhy experimentov, ktoré boli vykonané v minulosti.