4.6.2 Nahradit zdokonalení, a snížit

Udělej si svůj experiment lidštější tím, že nahradí pokusy s non-experimentální studie, rafinace procedury, a snížení počtu účastníků.

Druhá část rad, které bych chtěl nabídnout o navrhování digitálních experimentů se týká etiky. Vzhledem k tomu, Restivo a van de Rijt experiment na barnstars ve Wikipedii show, snížení nákladů znamená, že etika se stává stále důležitější součástí výzkumného záměru. Kromě etických rámcích vodících lidských subjektů výzkumu, které budu popisovat v kapitole 6, výzkumníci projekční digitální experimenty mohou také čerpat z etických nápadů z jiného zdroje: etickými zásadami vyvinuté pro vedení pokusů na zvířatech. Zejména ve svých mezník knize Principy Humane experimentální technikou, Russell and Burch (1959) navrhl tři principy, které by měly řídit výzkum na zvířatech: Nahrazení, zdokonalení, a snížit. Já bych chtěl navrhnout, že tito tři R mohou být také použity, v mírně pozměněné podobě-jako vodítko pro konstrukci lidských experimentů. Zejména,

• Nahradit: nahradit pokusy s méně invazivní metody, pokud je to možné
• Upřesnit: Upřesnit léčbu, aby to tak neškodná, jak je to možné
• Snížit: Snižte počet účastníků experimentu v maximální možné míře

Aby beton těmito třemi skupinami, a ukázat, jak může potenciálně vést k lepší a lidštější experimentálního designu, budu popisovat online polní pokus, který generoval etickou debatu. Pak budu popisovat, jak se tři R navrhnout konkrétní a praktické změny návrhu experimentu.

Jedním z nejvíce diskutovaných eticky experimentů digitální terénu je "Emocionální nákazy", který byl proveden Adam Kramer, Jamie Gillroy, a Jeffrey Hancock (2014) . Experiment se konal na Facebooku a byl motivován mix vědeckých a praktických otázek. V té době dominantní způsob, jak uživatelé reagovali na Facebooku byl News Feed, což algoritmicky curated sadu aktualizací stavu Facebooku od přátel na Facebooku uživatele. Někteří kritici Facebooku navrhl, že proto, že News Feed má většinou pozitivní příspěvky-přátelé předvádějí své nejnovější stranu-by to mohlo způsobit, že uživatelé smutno, protože jejich životy se zdají méně vzrušující ve srovnání. Na druhou stranu, možná účinek je přesně opačný; Možná viděl svého přítele dobře bavíte by se cítili šťastní? Za účelem vyřešení těchto konkurenčních hypotéz a pro naše chápání toho, jak jsou emoce osoba je ovlivněn svých přátel emocí, Kramer a jeho kolegové provedli experiment. Výzkumníci umístěna asi 700 tisíc uživatelů do čtyř skupin po dobu jednoho týdne: skupina "negativita se sníženým obsahem", pro koho příspěvky s negativními slovy (např smutný) byli náhodně zablokoval zobrazování News Feed; A "pozitivita se sníženým obsahem" skupina pro koho sloupky s pozitivními slovy (např šťastný) byli náhodně blokovány; a dvě kontrolní skupiny. V kontrolní skupině pro skupinu "negativity snížena", pošty byly náhodně blokovány ve stejném poměru jako skupina "negativity snížena", ale bez ohledu na emocionální obsah. Kontrolní skupina pro skupinu "pozitivity snížena" byla postavena v paralelním způsobem. Konstrukce tohoto pokusu ukazuje, že příslušný kontrolní skupina není vždy jeden beze změn. Spíše, někdy kontrolní skupina obdrží ošetření za účelem vytvoření přesné srovnání, že výzkumná otázka vyžaduje. Ve všech případech, sloupky, které byly zablokovány z News Feed byly stále k dispozici uživatelům prostřednictvím jiných částech webu sociální sítě Facebook.

Kramer a jeho kolegové zjistili, že pro účastníky pozitivity snížen stav, se procentní podíl pozitivních slov v jejich aktualizace stavu snížil a procento negativních slov zvýšil. Na druhé straně, pro účastníky v takovém stavu, negativity sníží procento pozitivních slov zvyšuje a procento negativních slov snížila (viz obrázek 4.23). Tyto účinky však byly poměrně malé: rozdíl v pozitivním a negativním slova mezi ošetření a kontroly byl asi 1 do 1000 slov.

Obrázek 4.23: Důkazy o emocionální nákazy (Kramer, Guillory, and Hancock 2014) . Procentní podíl kladných slov a negativních slov experimentálním stavu. Bary představují odhadované standardní chyby.

Já jsem dal diskuzi o vědecké aspekty tohoto experimentu do dalšího úseku čtení na konci této kapitoly, ale bohužel, tento experiment je nejznámější pro generování etickou debatu. Jen několik dní poté, co tato práce byla publikována v Proceedings of the National Academy of Sciences, tam byl obrovský protest z obou výzkumných pracovníků a tisku. Rozhořčení po celém papíru se zaměřením na dva hlavní body: 1) účastníci neposkytli žádnou souhlas rámec standardních Facebooku, pokud jde-of-služby ve vztahu k léčbě, že některé myšlenka by mohla způsobit újmu účastníkům a 2) studie nepodrobilo třetích stran etické přezkoumání (Grimmelmann 2015) . Etické otázky vznesené v této diskusi způsobila časopisu rychle publikovat vzácné "Redakční vyjádření znepokojení" o etice a dodržování etických zásad pro výzkum (Verma 2014) . V následujících letech se experiment pokračoval být zdrojem intenzivní debaty a neshody, a to neshoda může měli nezamýšlený účinek jízdě do stínu mnoho jiných pokusech, které jsou prováděny společnostmi (Meyer 2014) .

Vzhledem k tomu, že na pozadí o emoční Nákaza bych teď chtěl ukázat, že tři R se může navrhnout konkrétní, praktická vylepšení pro reálných studií (ať už byste mohli osobně myslíte o etice tomto konkrétním experimentu). První R je nahradit: výzkumní pracovníci by se měli snažit nahradit pokusy s méně invazivní a riskantní technik, pokud je to možné. Například, spíše než provádění experimentu, výzkumníci mohla zneužít přírodní experiment. Jak je popsáno v kapitole 2, přírodní experimenty jsou situace, kdy se něco děje ve světě, který se blíží k náhodné přidělování léčby (např loterie rozhodnout, kdo bude odveden do armády). Výhodou přirozeného experimentu je, že výzkumný pracovník nemusí dodávat ošetření; prostředí udělá za vás. Jinými slovy, s přirozeným experimentu vědci by nemusel experimentálně manipulovat zpravodajské kanály lidí.

Ve skutečnosti, téměř souběžně s emoční nákazy experimentu Coviello et al. (2014) se využívá toho, co by se dalo nazvat emocionální nákaza přirozený experiment. Jejich přístup, který používá techniku ​​zvanou instrumentálních proměnných, je trochu složitější, pokud jste nikdy předtím neviděl. Tak, aby vysvětlil, proč bylo potřeba, pojďme vybudovat k ní. První myšlenka, že někteří vědci možná bude muset studovat emocionální nákazy by bylo porovnat své příspěvky ve dnech, kde se vaše News Feed byla velmi pozitivní na svá místa ve dnech, kde se vaše News Feed byl velmi negativní. Tento přístup by bylo v pořádku, pokud je cílem bylo právě předpovídat emocionální obsah vašich příspěvků, ale tento přístup je problematické, pokud je cílem studovat příčinný účinek svého Novinkách na svá místa. Chcete-li zobrazit problém s tímto designem, zvažte Díkuvzdání. Ve Spojených státech, pozitivní příspěvky špice a negativní příspěvky klesnou na Den díkůvzdání. Tak, na Den díkůvzdání, výzkumní pracovníci mohli vidět, že vaše News Feed byl velmi pozitivní a že jste zaslali pozitivní věci stejně. Ale vaše pozitivní příspěvky by mohla být způsobena díkůvzdání ne podle obsahu vašich Novinkách. Místo toho, aby odhadla kauzální vědci efekt potřebujeme něco, co změní obsah vašeho Novinkách, aniž by přímo měnit své emoce. Naštěstí je tu něco takového děje po celou dobu: počasím.

Coviello a jeho kolegové zjistili, že deštivý den v něčí městě bude v průměru sníží podíl pracovních míst, která jsou pozitivní zhruba o 1 procentní bod a zvýšit podíl pracovních míst, která jsou negativní zhruba o 1 procentní bod. Poté, Coviello a jeho kolegové by tuto skutečnost studovat emocionální nákazy aniž by bylo nutné experimentálně manipulovat něčí News Feed. V podstatě to, co udělal, je měřítkem, jak se vaše příspěvky ovlivněny počasím ve městech, kde jsou vaši přátelé žijí. Chcete-li zjistit, proč to dává smysl, představte si, že žijete v New Yorku a máte přítele, který žije v Seattlu. A teď si představte, že jednoho dne začne pršet v Seattlu. Tento déšť v Seattlu nebude přímo ovlivnit vaši náladu, ale bude to způsobí, že vaše News Feed být méně pozitivní a negativní, protože více pracovních míst svého přítele. To znamená, že déšť v Seattlu náhodně manipuluje svou News Feed. Zapnutím tohoto intuici do spolehlivého statistického postupu je komplikovaná (a přesný postup používaný Coviello a kolegy je non-standard bit), takže jsem dal podrobnější diskusi v dalším úseku čtení. Nejdůležitější věc k zapamatování Coviello a přístup kolegy je, že se jim umožnilo studovat emocionální nákazy, aniž byste museli spouštět experiment, který by mohl poškodit účastníky, a to může být případ, že v mnoha jiných nastaveních můžete nahradit pokusy s jinými techniky.

Na druhém místě v 3 Rs je Provést: výzkumní pracovníci by se měli snažit vylepšit své ošetření za účelem vyvolání možná nejmenší škody. Například, spíše než blokovat obsah, který byl buď pozitivní, nebo negativní, výzkumníci by vedly k vyšší obsah, který byl pozitivní nebo negativní. Toto posílení konstrukce by změnily emocionální obsah účastníků zpravodajství, ale to by mělo řešit jeden z obavy, že kritici vyjádřili: že experimenty mohlo způsobit účastníky chybět důležité informace v jejich Novinkách. S designem používané Kramer a spol, zpráva, která je důležité, je pravděpodobné, že budou blokovány jako ten, který není. Nicméně, s posilovači designem, zprávy, které by být přemístěna by ty, které jsou méně důležité.

Konečně třetí R je snížit: výzkumní pracovníci by měly usilovat o snížení počtu účastníků v jejich experimentu, pokud je to možné. V minulosti, toto snížení se stalo přirozeně, protože variabilní náklady na analogových experimentů byla vysoká, která vyzývá výzkum s cílem optimalizovat jejich design a analýzu. Nicméně, v případě, že je nulový údaje o variabilní náklady, vědci nečelí nákladově omezení na velikosti jejich experimentu, a to má potenciál vést ke zbytečně velké experimenty.

Například, Kramer a jeho kolegové mohli použít informace předčištění o svých účastníků-, jako předčištění plakátovací chování-, aby se jejich analýza efektivnější. Přesněji řečeno, spíše než porovnávání podílu pozitivní slova v experimentálních a kontrolních podmínek, Kramer a jeho kolegové mohlo ve srovnání změny v poměru pozitivních slov mezi podmínek; přístup často nazývá rozdíl-in-rozdíly, a která úzce souvisí s smíšené konstrukce, která I popsané výše v kapitole (obrázek 4.5). To znamená, že pro každého účastníka, výzkumníci mohla vytvořit změnu skóre (post-ošetření chování - chování předčištění) a následně porovnány skóre změna účastníků v experimentálních a kontrolních podmínek. Tento přístup rozdíl-in-rozdíly je účinnější statisticky, což znamená, že výzkumní pracovníci mohou dosáhnout stejné statistické spolehlivosti za použití mnohem menší vzorky. Jinými slovy, ne léčení účastníky jako "widgety", výzkumníci mohou často získat přesnější odhady.

Aniž by bylo syrové údajů je obtížné přesně vědět, kolik účinnější by přístup rozdíl-in-rozdíly byly v tomto případě. Ale, Deng et al. (2013) uvádějí, že ve třech online experimentů na vyhledávači Bing byli schopni snížit rozptyl jejich odhadů o 50%, a podobné výsledky byly zaznamenány u některých online experimentů na Netflix (Xie and Aurisset 2016) . Tato sleva 50% rozptyl znamená, že Emoční nákaza výzkumníci možná byli schopni snížit své vzorku na polovinu, kdyby se použila mírně odlišné metody analýzy. Jinými slovy, s malou změnou v analýze, 350.000 lidí by mohl být ušetřen účasti na experimentu.

V tomto okamžiku můžete se divíte, proč výzkumní pracovníci by měli jedno, jestli 350.000 lidí bylo v Emoční Nákaza zbytečně. Existují dva zvláštní rysy emoční Nákaza, které dělají starost s nadměrnou velikostí je to vhodné, a tyto funkce jsou sdíleny mezi mnoha digitálními polních experimentů: 1) existuje nejistota o tom, zda experiment způsobí škodu alespoň v některých účastníků a 2) účast nebyla dobrovolný. V pokusech s těmito dvěma charakteristikami se zdá být vhodné, aby experimenty tak malý, jak je to možné.

Závěrem lze říci, tři R's-nahradit, Zpřesnit, a snižují-poskytuje principy, které mohou pomoci vědeckým pracovníkům budovat a etiky do jejich experimentálních designů. Samozřejmě, že každý z těchto možných změn emoční Nákaza zavádí kompromisy. Například důkazy z přirozených experimentů není vždy tak čisté jako důkaz z randomizovaných experimentů a posílení by mohlo být více logisticky obtížné zavést, než blok. Tak je cílem navrhnout tyto změny nebylo druhé odhadnout rozhodnutí jinými výzkumníky. Byl to spíše pro ilustraci, jak by mohly být tři R použita v realistickém situaci.