4.6.1 Vytvoření nulové údaje o variabilní náklady

Klíčem k provádění rozsáhlých experimentů je řídit vaše proměnné náklady na nulu. Nejlepší způsob, jak to udělat, jsou automatizace a návrh příjemných experimentů.

Digitální experimenty mohou mít dramaticky odlišné struktury nákladů a to umožňuje výzkumníkům provádět experimenty, které v minulosti nebyly možné. Jeden způsob, jak přemýšlet o tomto rozdílu, je poznamenat, že experimenty mají obecně dva druhy nákladů: fixní náklady a variabilní náklady. Fixní náklady jsou náklady, které zůstávají nezměněny bez ohledu na počet účastníků. Například v laboratorním experimentu mohou být fixní náklady náklady na pronájem prostoru a nákup nábytku. Proměnné náklady se naopak mění podle počtu účastníků. Například v laboratorním experimentu mohou variabilní náklady pocházet z placení zaměstnanců a účastníků. Analogové experimenty mají obecně nízké fixní náklady a vysoké variabilní náklady, zatímco digitální experimenty mají vysoké fixní náklady a nízké variabilní náklady (obrázek 4.19). Přestože digitální experimenty mají nízké variabilní náklady, můžete vytvářet spoustu vzrušujících příležitostí, když řídíte variabilní náklady až na nulu.

Obrázek 4.19: Schéma nákladových struktur v analogových a digitálních experimentech. Obecně platí, že analogové experimenty mají nízké fixní náklady a vysoké variabilní náklady, zatímco digitální experimenty mají vysoké fixní náklady a nízké variabilní náklady. Různé struktury nákladů znamenají, že digitální experimenty mohou probíhat v měřítku, který není možný s analogickými experimenty.

Existují dva hlavní prvky variabilních nákladů na platby zaměstnancům a platby účastníkům - a každá z nich může být vyvedena na nulu pomocí různých strategií. Platby zaměstnancům jsou důsledkem práce, kterou výzkumní asistenti provádějí při náboru účastníků, poskytováním léčby a měřením výsledků. Například analogový terénní experiment Schultze a kolegy (2007) o spotřebě elektřiny vyžadoval, aby výzkumní asistenti cestovali do každého domova, aby poskytli léčbu a přečetli elektroměr (obrázek 4.3). Všechna tato snaha výzkumných asistentů znamenala, že přidání nové domácnosti do studie by zvýšilo náklady. Na druhou stranu, pokud jde o experiment v oblasti digitálních polí Restivo a van de Rijt (2012) o vlivu ocenění na editory Wikipedie, vědci by mohli přidávat více účastníků prakticky bez nákladů. Obecnou strategií pro snížení variabilních administrativních nákladů je nahradit lidskou práci (což je drahé) počítačovou prací (což je levné). Zhruba se můžete ptát sami sebe: Může tento experiment běžet, zatímco každý ve svém výzkumném týmu spí? Je-li odpověď ano, udělal jste skvělou práci automatizace.

Druhým hlavním typem variabilních nákladů jsou platby účastníkům. Někteří výzkumníci používají Amazon Mechanical Turk a další on-line trhy práce ke snížení plateb, které jsou pro účastníky potřeba. K tomu, aby bylo možné přenášet variabilní náklady až na nulu, je však nutný jiný přístup. Dlouho vědci navrhli experimenty, které jsou tak nudné, že musí platit lidem k účasti. Ale co kdybyste mohli vytvořit experiment, který lidé chtějí být? To může znít dalekosáhle, ale dávám vám příklad níže ze své vlastní práce a v tabulce 4.4 je více příkladů. Všimněte si, že tato myšlenka navrhování příjemných experimentů odráží některé z témat v kapitole 3, které se týkají návrhu příjemnějších průzkumů, av kapitole 5 o návrhu masové spolupráce. Myslím si proto, že zážitky účastníků - což může být také nazýváno uživatelskou zkušeností - bude stále důležitější součástí výzkumu v digitálním věku.

Chcete-li vytvořit experimenty s nulovými údaji o proměnlivých nákladech, musíte se ujistit, že je vše plně automatizované a že účastníci nevyžadují žádnou platbu. Abych ukázal, jak to je možné, popíšu můj dizertační výzkum o úspěších a selhání kulturních produktů.

Moje dizertační práce byla motivována záhadnou povahou úspěchu kulturních produktů. Hitovky, nejprodávanější knihy a přehlídkové filmy jsou hodně, mnohem úspěšnější než průměr. Z tohoto důvodu se trhy s těmito produkty často nazývají trhy "vítězů". Současně však, která konkrétní skladba, kniha nebo film bude úspěšná, je neuvěřitelně nepředvídatelná. Scénárista William Goldman (1989) elegantně shrnul spousty akademického výzkumu tím, že řekne, že pokud jde o předpovědi úspěchu, "nikdo nic neví". Nepředvídatelnost trhů s vítězstvím - všech trhů mě přemýšlela, jak velký úspěch je výsledek kvality a kolik je jen štěstí. Nebo vyjádřené mírně odlišně, kdybychom mohli vytvářet paralelní světy a nechat je všechny vyvíjet nezávisle, by se stejné písně staly populárními v každém světě? A pokud ne, co by mohlo být mechanismem, který způsobuje tyto rozdíly?

Abychom mohli zodpovědět tyto otázky, my-Peter Dodds, Duncan Watts (můj dizertační poradce) a já jsem udělal řadu on-line terénních experimentů. Konkrétně jsme vytvořili webovou stránku s názvem MusicLab, kde lidé mohli objevovat novou hudbu, a použili jsme ji pro řadu experimentů. Účastníci jsme přijali pomocí reklam bannerů na webu pro dospívající (obr. 4.20) a prostřednictvím odkazů v médiích. Účastníci přijíždějící na našich webových stránkách poskytli informovaný souhlas, vyplnili krátký dotazník a byli náhodně zařazeni do jednoho ze dvou experimentálních podmínek nezávislých a společenských vlivů. V nezávislém stavu účastníci rozhodovali o tom, které písně mají poslouchat, a to pouze s názvem kapel a písní. Při poslechu písně byli účastníci požádáni, aby ohodnotili, po kterém měli možnost (ale nikoliv povinnost) stáhnout tuto píseň. Ve stavu sociálního vlivu měli účastníci stejnou zkušenost, kromě toho, že by mohli také vidět, kolikrát byla každá skladba stažena předchozími účastníky. Dále byli účastníci sociálního vlivu náhodně zařazeni do jednoho z osmi paralelních světů, z nichž každý se vyvinul nezávisle (obrázek 4.21). Pomocí tohoto návrhu jsme provedli dva související experimenty. V první jsme představili skladby účastníkům netříděné mřížky, která jim poskytla slabý signál popularity. Ve druhém experimentu jsme představili skladby v hodnoceném seznamu, který poskytl mnohem silnější signál popularity (obrázek 4.22).

Obrázek 4.20: Příklad reklamního banneru, který moji kolegové a já používali k náboru účastníků experimentů (Salganik, Dodds, and Watts 2006) . Reprodukováno na základě povolení od společnosti Salganik (2007) , obrázek 2.12.

Obrázek 4.21: Experimentální návrh experimentů (Salganik, Dodds, and Watts 2006) . Účastníci byli náhodně zařazeni do jedné ze dvou podmínek: nezávislý a společenský vliv. Účastníci nezávislého stavu rozhodovali bez informací o tom, co ostatní lidé udělali. Účastníci sociálního vlivu byli náhodně zařazeni do jednoho z osmi paralelních světů, kde mohli vidět popularitu - jak měřily stahování předchozích účastníků - každé písně ve svém světě, ale nemohly vidět žádné informace o tom ani oni dokonce vědět o existenci některého z ostatních světů. Přizpůsoben od Salganik, Dodds, and Watts (2006) , číslo s1.

Zjistili jsme, že popularita písní se liší po celém světě, což naznačuje, že štěstí hrálo důležitou roli v úspěchu. Například v jednom světě zazněla píseň "Lockdown" 52Metro v první z 48 písní, zatímco v jiném světě to přišlo na 40. místě. Byla to přesně stejná skladba, která soutěží se stejnými dalšími skladbami, ale v jednom světě to mělo štěstí a v ostatních to nebylo. Dále, porovnáním výsledků mezi těmito dvěma pokusy jsme zjistili, že sociální vliv zvyšuje pověst těchto trhů, což pravděpodobně naznačuje důležitost dovedností. Ale když se díváme na svět (což se nedá provést mimo tento druh paralelních experimentů), zjistili jsme, že sociální vliv skutečně zvýšil význam štěstí. Dále byly překvapivě nejpopulárnější písně, na kterých nejvíce hrála štěstí (obrázek 4.23).

Obrázek 4.22: Obrázky ze sociálních vlivů v experimentu (Salganik, Dodds, and Watts 2006) . Ve stavu sociálního vlivu v experimentu 1 byly písně spolu s počtem předchozích stahování předány účastníkům uspořádaným v pravoúhlé mřížce 16 \(\times\) 3, kde byly pozice jednotlivých písní náhodně přiřazeny každému účastník. V experimentu 2 byly účastníkům sociálního vlivu zobrazeny písně se stahováním, které jsou uvedeny v jednom sloupci v sestupném pořadí aktuální popularity.

Obrázek 4.23: Výsledky experimentů MusicLab ukazují vztah mezi odvoláním a úspěchem (Salganik, Dodds, and Watts 2006) . Hodnota \(x\) je tržní podíl skladby v nezávislém světě, který slouží jako měřítko odvolání píseň a \(y\) -ax je podíl na trhu stejné písně v osm světů sociálních vlivů, které slouží jako měřítko úspěchu písní. Zjistili jsme, že zvyšování společenského vlivu, který účastníci zaznamenali - konkrétně změna uspořádání z experimentu 1 na experiment 2 (obrázek 4.22) - způsobila úspěch, aby se stala nepředvídatelnější, zejména pro písně s nejvyššími přitažlivostmi. Přizpůsoben od Salganik, Dodds, and Watts (2006) , obrázek 3.

Program MusicLab byl schopen pracovat v podstatě s nulovými variabilními náklady, protože byl navržen. Za prvé, všechno bylo plně automatizované, takže jsem mohla spát. Za druhé, kompenzace byla volná hudba, takže neměly žádné variabilní náklady na účastníka. Použití hudby jako kompenzace také ilustruje, jak někdy existuje kompromis mezi pevnými a variabilními náklady. Použití hudby zvýšilo fixní náklady, protože jsem musel trávit čas tím, že jsem dostal povolení od kapel a připravoval zprávy pro ně o reakci účastníků na jejich hudbu. Ale v tomto případě bylo zvýšení správních nákladů s cílem snížit náklady na proměnné správnou věcí; to nám umožnilo spustit experiment, který byl asi 100x větší než standardní laboratorní experiment.

Experimenty MusicLab dále ukazují, že nulové variabilní náklady nemusí být samy o sobě cílem; spíše to může být způsob, jak spustit nový druh experimentu. Všimněte si, že jsme nepoužili všechny účastníky, aby 100krát provedli standardní laboratorní experimentální laboratorní experiment. Místo toho jsme udělali něco jiného, ​​který byste mohli považovat za přechod z psychologického experimentu na sociologický (Hedström 2006) . Místo toho, abychom se zaměřili na individuální rozhodování, zaměřili jsme náš experiment na popularitu, společný výsledek. Tento přechod na společný výsledek znamenal, že jsme požadovali, aby asi 700 účastníků vytvořilo jediný datový bod (v každém z paralelních světů bylo 700 lidí). Tato stupnice byla možná pouze kvůli nákladové struktuře experimentu. Obecně platí, že pokud se výzkumníci chtějí zabývat kolektivními výsledky vyplývajícími z individuálních rozhodnutí, skupinové experimenty, jako je MusicLab, jsou velmi vzrušující. V minulosti byly logisticky obtížné, ale tyto obtíže se zhoršují z důvodu možnosti nulových dat o variabilních nákladech.

Navíc k ilustraci výhod nulových dat o variabilních nákladech experimenty MusicLab také ukazují výzvu s tímto přístupem: vysoké fixní náklady. V mém případě jsem byl nesmírně šťastný, že jsem mohl pracovat s talentovaným webovým vývojářem jménem Peter Hausel na dobu asi šesti měsíců, abych tento experiment vytvořil. To bylo možné jen proto, že můj poradce, Duncan Watts, dostal několik grantů na podporu tohoto druhu výzkumu. Technologie se zlepšila od té doby, co jsme v roce 2004 vytvořili MusicLab, takže by bylo mnohem jednodušší vytvořit takový experiment. Strategie s vysokými fixními náklady jsou však skutečně možné pouze pro výzkumné pracovníky, kteří mohou nějakým způsobem tyto náklady pokrýt.

Závěrem lze říci, že digitální experimenty mohou mít dramaticky odlišné struktury nákladů než analogové experimenty. Chcete-li spustit opravdu velké experimenty, měli byste se pokusit co nejvíce snižovat proměnlivé náklady a ideálně až na nulu. Můžete to udělat automatizací mechaniky experimentu (např. Nahradit čas člověka časem počítače) a navrhnout experimenty, které lidé chtějí být. Vědci, kteří mohou navrhnout experimenty s těmito funkcemi, budou moci spustit nové druhy experimentů, které byly není možné v minulosti. Nicméně schopnost vytvářet experimenty s nulovými variabilními náklady může vyvolat nové etické otázky, téma, které nyní řeším.