4.6.1 Vytvoření nulové údaje o variabilní náklady

Klíčem k běžících velkých experimentů se řídíte variabilní náklady na nulu. Nejlepší způsob, jak toho dosáhnout, jsou automatizace a navrhování příjemné experimenty.

Digitální experimenty mohou mít dramaticky odlišné struktury nákladů, a to umožní výzkumníkům provádět experimenty, které nebylo možné v minulosti. Přesněji řečeno, pokusy obecně mají dva hlavní druhy nákladů:. Fixních nákladů a variabilních nákladů fixní náklady jsou náklady, které se nemění v závislosti na tom, kolik účastníků máte. Například v laboratorním experimentu, fixní náklady by mohly být náklady na pronájem prostor a nákup nábytku. Variabilní náklady, na druhé straně, se mění v závislosti na tom, kolik účastníků máte. Například v laboratorním experimentu, variabilní náklady by mohly pocházet z placení personál a účastníky. Obecně platí, že analogové experimenty mají nízké fixní náklady a vysoké variabilní náklady, a digitální experimenty mají vysoké fixní náklady a nízké variabilní náklady (obr 4.18). S vhodným návrhem, můžete řídit variabilní náklady experimentu celá cesta k nule, a to může vytvořit zajímavé příležitosti výzkumu.

Obrázek 4.18: Schéma struktury nákladů v analogové a digitální experimenty. Obecně platí, že analogové experimenty mají nízké fixní náklady a vysoké variabilní náklady, zatímco digitální experimenty mají vysoké fixní náklady a nízké variabilní náklady. Různé nákladové struktury znamená, že digitální experimenty mohou běžet v měřítku, které není možné s analogovými experimenty.

Existují dva hlavní prvky variabilních nákladů a plateb, které mají zaměstnance a plateb účastníkům, a každý z nich může být poháněn na nulu s použitím různých strategií. Platby zaměstnancům stopku z práce, že výzkumné asistenti nábor účastníků, poskytování léčby a měření výsledků. Například, analog polní pokus o Schultz a jeho kolegové (2007) o sociálních norem a využití elektrické energie nutná výzkumných asistentů cestovat do každé domácnosti doručit léčbu a přečíst elektroměr (Obrázek 4.3). Všechny tyto snahy ze strany výzkumných asistentů znamenalo, že přidání nového domácnosti ke studiu by se přičtou k pořizovací ceně. Na druhou stranu, pro digitální polním pokusu o Restivo a van de Rijt (2012) o odměnách ve Wikipedii, výzkumní pracovníci mohli přidat další účastníky prakticky bez dalších nákladů. Obecná strategie pro snížení variabilních administrativních nákladů je nahradit lidskou práci (což je nákladné) se práce s počítačem (což je levný). Zhruba, můžete se ptát sami sebe: je to experiment spustit, zatímco všichni v mém výzkumný tým spí? Pokud je odpověď ano, jste udělali skvělou práci automatizace.

Druhým hlavním typem variabilní náklady je plateb účastníkům. Někteří výzkumníci používali Amazon Mechanical Turk a na dalších trzích práce on-line snížit platby, které jsou potřebné pro účastníky. K pohonu variabilních nákladů po celou cestu na nulu, je však zapotřebí odlišný přístup. Po dlouhou dobu, výzkumníci navrhli experimenty, které jsou tak nudná musí platit lidí k účasti. Ale co kdybyste mohli vytvořit experiment, který lidé chtějí být v? To může znít přitažené za vlasy, ale dám vám příklad níže z mé vlastní práce, a tam jsou další příklady v tabulce 4.4. Všimněte si, že tento přístup k navrhování experimentů příjemné odráží některá z témat v kapitole 3 týkající se navrhování mnohem příjemnější průzkumy a v kapitole 5 týkající se designu masové spolupráce. Tak si myslím, že účastník požitek, co by mohlo být také nazýván uživatelské zkušenosti, bude stále důležitější součástí výzkumného záměru v digitálním věku.

Chcete-li vytvořit nulové experimenty variabilních nákladů budete chtít, aby zajistily, že vše je plně automatizován a že účastníci nevyžadují žádné platby. Aby se ukázalo, jak je to možné, budu popisovat mé disertační výzkum o úspěchu a neúspěchu kulturních produktů. Tento příklad také ukazuje, že nula údaje variabilní náklady není jen o tom, co levnější. Spíše jde o to umožnit experimenty, které by jinak nebylo možné.

Moje disertace byl motivován záhadný charakter úspěchu kulturních produktů. Hity, nejprodávanější knihy a blockbuster filmy jsou mnohem, mnohem úspěšnější, než je průměr. Z tohoto důvodu se trhy pro tyto produkty jsou často nazývána "vítěz bere vše" trhy. Přesto současně, což zejména píseň, kniha nebo film se stanou úspěšnými je neuvěřitelně nepředvídatelný. Scenárista William Goldman (1989) elegantně shrnul hodně akademického výzkumu tím, že, pokud jde o předvídání úspěchu, "nikdo nic neví." Nepředvídatelnosti vítěz bere všechny trhy mě zajímalo, kolik z úspěchu je výsledkem kvality a kolik je jen štěstí. Nebo vyjádřeno trochu jinak, kdyby se nám podařilo vytvořit paralelní světy a nechat vše vyvíjet nezávisle na sobě, by tytéž písně staly populárními v každém světě? A pokud ne, co by mohlo být mechanismus, který způsobí, že tyto rozdíly?

Za účelem odpovědi na tyto otázky, jsme-Peter Dodds, Duncan Watts (mé disertační práce poradce), a I-provozoval sérii online experimentů v terénu. Zejména jsme postavili webové stránky s názvem MusicLab kde se lidé mohli objevovat novou hudbu, a my ji použít pro sérii experimentů. přijati jsme účastníky spuštěním bannerové reklamy na teen-úrokové webové stránky (obrázek 4.19) a přes zmínky v médiích. Účastníci, kteří přijedou na našich webových stránkách za předpokladu informovaného souhlasu, dokončil krátký dotazník pozadí, a byli náhodně rozděleni do jedné ze dvou experimentální podmínky, nezávislé a společenského vlivu. V nezávislém stavu účastníci se rozhodnutí o tom, které písně poslouchat, neboť pouze jména kapely a písní. Při poslechu písně, účastníci byli požádáni, aby ho ohodnotit po kterém oni měli možnost (nikoli povinnost) ke stažení píseň. Ve stavu společenského vlivu, účastníci měli stejnou zkušenost, kromě toho, že mohli také vidět, kolikrát se každá skladba byla stažena předchozími účastníky. Kromě toho účastníci pod podmínkou společenského vlivu byli náhodně rozděleni do jedné z osmi paralelních světů, z nichž každý se vyvinuly nezávisle na sobě (obrázek 4.20). Při použití tohoto designu, jsme běželi dva související experimenty. V první jsme představili účastníkům skladby v netříděného mřížce, která jim poskytla slabý signál popularity. Ve druhém pokusu jsme představili skladby v hodnoceném seznamu, který poskytl mnohem silnější signál popularity (obr 4.21).

Obrázek 4.19: Příklad reklamní banner, že mí kolegové a já použita na nábor účastníků pro MusicLab experimenty (Salganik, Dodds, and Watts 2006) .

Obrázek 4.20: Experimentální konstrukce pro MusicLab experimenty (Salganik, Dodds, and Watts 2006) . Účastníci byli náhodně rozděleni do jedné ze dvou podmínek: nezávislé a sociálního vlivu. Účastníci nezávislého stavu vyjádřili své volby bez jakýchkoli informací o tom, co si lidé udělali. Účastníci pod podmínkou společenského vlivu byli náhodně rozděleni do jedné z osmi paralelních světů, kde mohli vidět popularitu-měřeno ke stažení dřívějších účastníků, každé písně v jejich světě, ale oni nemohli vidět žádné informace, ani oni ani vědět o existenci, některý z jiných světů.

Zjistili jsme, že popularita písní lišily napříč světy které naznačují důležitou roli štěstí. Například v jednom světě píseň "Lockdown" od 52Metro přišlo v 1. a v jiném světě to přišlo v 40. z 48 písní. To bylo přesně to samé píseň soutěžit proti všem stejné písně, ale v jednom světě to štěstí av ostatních se tak nestalo. Dále, na základě porovnání výsledků napříč dvou experimentů jsme zjistili, že sociální vliv vede k nerovné úspěch, který pravděpodobně vytváří vzhled předvídatelnost. Ale při pohledu přes světy (které nemůže být provedeno mimo tento druh paralelních světů experimentu), jsme zjistili, že sociální vliv ve skutečnosti zvýšila nepředvídatelnost. Dále, překvapivě, to bylo písně nejvyšší odvolání, které mají nejvíce nepředvídatelné výsledky (obr 4.22).

Obrázek 4.21: Snímky z podmínek sociální vliv v MusicLab experimentech (Salganik, Dodds, and Watts 2006) . Ve stavu, sociální vliv v pokusu 1, písně, spolu s počtem předchozích stažení, byly předloženy k účastníkům, uspořádaných v 16 X 3 obdélníkové mřížky, kde jsou polohy písní byli náhodně rozděleni pro každého účastníka. V experimentu 2, účastníci pod podmínkou společenského vlivu bylo prokázáno, písně, s počtu stahování, prezentovaných v jednom sloupci v sestupném pořadí podle současné popularitě.

Obrázek 4.22: Výsledky z MusicLab experimentů ukazuje vztah mezi odvolání a úspěch (Salganik, Dodds, and Watts 2006) . Na ose x je podíl na trhu písně v nezávislé světě, který slouží jako měřítko odvolání písně a osa y je podíl na trhu stejné písně v 8 světů společenského vlivu, který slouží jako měřítko úspěchu písní. Zjistili jsme, že zvyšování sociální vliv, který účastníci zažili, konkrétně změna v rozložení z experimentu 1 experimentovat 2 (obr 4.21) -caused úspěch, aby se stal více nepředvídatelné, a to zejména pro nejvyšší odvolací písní.

MusicLab byl schopen běžet na v podstatě nulové variabilní náklady kvůli způsobu, který byl navržen. Za prvé, vše bylo plně automatizován tak, aby byl schopen běžet, když jsem spal. Za druhé, kompenzace byla volná hudba, takže nebylo náklady variabilní kompenzace účastníkem. Použití hudby jako kompenzace také ukazuje, jak je někdy kompromis mezi fixních nákladů a variabilních nákladů. Použití hudba zvýšil fixní náklady, protože jsem musel trávit čas zajistit povolení od kapel a přípravu zpráv pro pásmech kolem reakce účastníků na jejich hudbě. Ale v tomto případě, zvyšuje fixní náklady za účelem snížení nákladů na proměnných byla správná věc; že to, co nám umožnilo spustit experiment, který byl asi 100 krát větší než standardní laboratorní experiment.

Další experimenty ukázaly, že MusicLab nulové variabilní náklady nemusí být samoúčelné; spíše, že může být prostředkem k provozování nový druh experimentu. Všimněte si, že jsme nevyužili všech našich účastníků ke spuštění standardního společenského vlivu laboratorní úloze 100krát. Místo toho jsme udělali něco jiného, ​​který si mohl myslet jako přepnutí z psychologického experimentu sociologického experimentu (Hedström 2006) . Spíše než se zaměřením na individuální rozhodování, jsme se zaměřili náš experiment na popularitě, kolektivní výsledek. Tento přepínač na kolektivní výsledku znamenalo, že jsme požadovali asi 700 účastníků vyrábět jeden datový bod (tam bylo 700 lidí v každé z paralelních světů). Že měřítko bylo možné jen díky struktuře nákladů experimentu. Obecně platí, že pokud výzkumníci chtějí studovat, jak kolektivní výsledky vyplývají z individuálních rozhodnutích, skupina experimenty, jako MusicLab jsou velmi vzrušující. V minulosti byli logisticky obtížné, ale tyto obtíže mizí z důvodu možnosti nulových dat variabilní náklady.

Kromě ilustrující výhody nulové dat variabilních nákladů, pokusy MusicLab také ukazují výzvu s tímto přístupem: vysoké fixní náklady. V mém případě jsem obrovské štěstí, aby mohli pracovat s talentovanou webový vývojář s názvem Peter Hausel asi šest měsíců postavit experiment. To bylo možné jen díky mým poradcem, Duncan Watts, obdržel řadu grantů na podporu tento druh výzkumu. Technologie se zlepšila od té doby jsme vybudovali MusicLab v roce 2004, a to by bylo mnohem jednodušší postavit experiment, jako je to teď. Ale vysoká strategie fixních nákladů je možné opravdu jen pro výzkumné pracovníky, kteří mohou nějakým způsobem pokrytí těchto nákladů.

Závěrem lze říci, digitální experimenty mohou mít dramaticky odlišné nákladové struktury než analogové experimentů. Chcete-li spustit opravdu velké experimenty, měli byste se pokusit snížit variabilní náklady co nejvíce a ideálně celou cestu na 0. To lze provést pomocí automatizace mechaniky vašeho experimentu (např nahradí lidskou času s počítačem čase) a navrhování experimentů, které lidé chtějí být v. Výzkumní pracovníci, kteří mohou navrhovat experimenty s těmito funkcemi bude moci spustit nové druhy experimentů, které nebylo možné v minulosti.