4.6.2 Substituír, refinar e reducir

Faga a súa experiencia máis humana, substituíndo experimentos con estudos non experimentais, refinando os tratamentos e reducir o número de participantes.

O segundo consello que me gustaría ofrecer sobre o proxecto de experimentos dixitais relación ética. Como o experimento Restivo e van de Rijt na barnstars en mostras Wikipedia, a diminución dos custos significa que a ética se fará unha parte cada vez máis importante do proxecto de investigación. Ademais dos cadros éticos orientadores humanos investigación que vou describir o Capítulo 6, os investigadores proxectar experimentos dixitais tamén pode deseñar en ideas éticas dunha fonte diferente: os principios éticos desenvolvidos para orientar experimentos envolvendo animais. En particular, nos seus Principios marco libro de Técnica Experimental Humane, Russell and Burch (1959) propuxo tres principios que deben orientar a investigación animal: Substituír, refinar e reducir. Gustaríame propoñer que estes tres Rs tamén pode ser usado nunha forma lixeiramente modificada para orientar a planificación de experimentos humanos. En particular,

• Substituír: substituír experiencias con métodos menos invasivos, se é posible
• Limitar: limitar o tratamento para facelo tan inofensivo como puido
• Reducir: reducir o número de participantes na experiencia, tanto como sexa posible

A fin de concretar estes tres R e amosar como poden potencialmente levar a mellor e máis humano delineamento experimental, vou describir un experimento de campo en liña que xerou debate ético. Entón eu vou describir como os tres Rs suxerir cambios concretos e prácticas para o deseño do experimento.

Un dos experimentos de campo dixital máis eticamente debatidos é "contaxio emocional", que foi conducido por Adam Kramer, Jamie Gillroy, e Jeffrey Hancock (2014) . O experimento foi realizado en Facebook e foi motivado por unha mestura de cuestións científicas e prácticas. Na época, a forma dominante de que os usuarios interactúan con Facebook foi o comentario de noticias, un conxunto de algoritmos curadoria de Facebook actualizacións de estado de amigos de Facebook dun usuario. Algúns críticos de Facebook suxerira que, como o Fonte de noticias ten na maior parte positivos postos de amigos mostrando o seu último partido lo podería causar aos usuarios para sentirse triste, porque as súas vidas parecen menos emocionante en comparación. Por outra banda, se cadra o efecto é exactamente o contrario; quizais a ver o seu amigo ter un bo tempo faría vostede se sentir feliz? Co fin de resolver estes competidores de hipóteses e avanzar a nosa comprensión de como as emocións dunha persoa son impactados pola dos seus amigos emocións-Kramer e os seus colegas publicou un experimento. Os investigadores publicaron uns 700.000 usuarios en catro grupos para unha semana: un grupo de "negativa reducida", para os cales as mensaxes con palabras negativas (por exemplo, triste) foron bloqueadas aleatoriamente aparecer no Fonte de noticias; un grupo "positividade reducida" a quen as mensaxes con palabras positivas (por exemplo, feliz) foron bloqueadas aleatoriamente; e dous grupos de control. No grupo control para o grupo "negativa reducida", mensaxes foron bloqueadas aleatoriamente ao mesmo ritmo que o grupo "negativa reducida", pero sen ter en conta o contido emocional. O grupo control para o grupo "positividade reducida" foi construído de forma paralela. O deseño desta experiencia ilustra que o grupo de control axeitado non é un sen cambios. Pola contra, por veces, o grupo de control recibe un tratamento a fin de crear a comparación exacta que require unha cuestión de investigación. En todos os casos, as mensaxes que foron bloqueadas desde o comentario de noticias aínda estaban dispoñibles para os usuarios a través de outras partes do sitio web de Facebook.

Kramer e os seus colegas descubriron que, para os participantes da positividade reducida condición, a porcentaxe de palabras positivas nas súas actualizacións de estado diminuíu ea porcentaxe de palabras negativas aumentou. Por outra banda, para os participantes na condición negativa reducida, a porcentaxe de palabras positivas aumentou ea porcentaxe de palabras negativas diminuíu (Figura 4.23). Con todo, estes efectos foron moi pequena: a diferenza de palabras positivas e negativas entre tratamentos e controis foi de preto de 1 en 1.000 palabras.

Figura 4.23: Evidencia de contaxio emocional (Kramer, Guillory, and Hancock 2014) . Porcentaxe de palabras positivas e palabras negativas por condición experimental. As barras representan erros estándar estimado.

Engada unha discusión sobre os aspectos científicos do experimento no apartado de lectura adicional ao final do capítulo, pero, desgraciadamente, esta experiencia é máis coñecido por xerar un debate ético. Poucos días despois de este documento foi publicado en Proceedings of the National Academy of Sciences, houbo un enorme clamor de ambos os investigadores e da prensa. Outrage en torno ao papel centrado en dous puntos principais: 1) os participantes non proporcionan ningunha consentimento ademais do patrón dos termos de servizo de Facebook a un tratamento que algún pensamento pode danar aos participantes e 2) o estudo non foran sometidos a terceiros ética avaliación (Grimmelmann 2015) . As cuestións éticas levantadas neste debate fixo que o xornal a publicar rapidamente unha "expresión editorial de preocupación" raro sobre a ética e proceso de revisión ética para a investigación (Verma 2014) . Nos anos seguintes, a experiencia segue a ser unha fonte de intenso debate e desacordo, e esta discordancia pode ter o efecto non intencional de condución para as sombras moitas outras experiencias que se están executaranse por empresas (Meyer 2014) .

Dado que a base sobre Contagion emocional, gustaríame agora de amosar que os 3 Rs pode suxerir concreto, melloras prácticas para estudos reais (o que queira que pode persoalmente pensar ética desta experiencia particular). A primeira é R Substituír: investigadores teñan por obxectivo substituír as experiencias con técnicas menos invasivas e arriscadas, se é posible. Por exemplo, en vez de executar un experimento, os investigadores poderían explotado un experimento natural. Conforme descrito no capítulo 2, os experimentos naturais son situacións en que algo acontece no mundo que se achega á asignación aleatoria de tratamentos (por exemplo, un sorteo para decidir quen será convocado para o exército). A vantaxe dun experimento natural é que o investigador non ten que entregar tratamentos; o medio ambiente fai isto para vostede. Noutras palabras, con un experimento natural, os investigadores non tería necesidade de manipular experimentalmente das persoas fontes de novas.

En realidade, case simultaneamente coa experiencia contaxio emocional, Coviello et al. (2014) estaba explotando o que podería ser chamado un experimento natural contaxio emocional. A súa visión, que usa unha técnica chamada de variables instrumentais, é un pouco complicado se nunca viu antes. Así, a fin de explicar por que era necesario, imos construír-se a el. A primeira idea que algúns investigadores pode ter que estudar contaxio emocional sería comparar as mensaxes nos días no seu Fonte de noticias foi moi positivo para as mensaxes nos días no seu Fonte de noticias foi moi negativa. Esta visión sería bo se o obxectivo era só para predicir o contido emocional dos seus artigos, pero esta visión é problemático se o obxectivo é estudar o efecto causal da súa Fonte de noticias nos seus posts. Para ver o problema con este proxecto, considerada a acción de grazas. En Estados Unidos, as mensaxes positivas espiga e mensaxes negativas despencar en Acción de Grazas. Así, en Acción de Grazas, os investigadores poderían ver que o seu Fonte de noticias foi moi positiva e que publicou cousas positivas tamén. Pero as mensaxes positivas podería ser causado por acción de gracias non polo contido do seu feed de noticias. Pola contra, a fin de estimar o causal investigadores efecto teño algo que cambia o contido do seu feed de noticias sen cambiar directamente as súas emocións. Afortunadamente, hai algo como isto suceder todo o tempo: o tempo.

Coviello e compañeiros descubriron que un día chuvioso na cidade de alguén pode, en media, diminuír a proporción de lugares que son positivos en preto de 1 punto porcentual e aumentar a proporción de mensaxes que son negativos en preto de 1 punto porcentual. Entón, Coviello e os seus colegas explotado este feito para estudar contaxio emocional sen necesidade de manipular experimentalmente de ninguén News Feed. En esencia, o que fixeron é medida como as súas mensaxes foron impactados polo clima nas cidades onde os seus amigos viven. Para ver por que isto ten sentido, imaxinar que vive en Nova York e ten un amigo que vive en Seattle. Imaxina que un día comeza a chover en Seattle. Esta choiva en Seattle non afectará directamente o seu humor, pero fará que o seu Fonte de noticias a ser menos positivos e negativos por mor de mensaxes do seu amigo. Así, a choiva en Seattle manipula aleatoriamente seu Fonte de noticias. Virando esa intuición nun procedemento estatístico fiable é complicado (ea visión exacta usada por Coviello e os seus colegas é un non estándar bit) así que eu poñer unha discusión máis detallada na sección de lectura. O máis importante a lembrar sobre Coviello e visión do compañeiro é que lles permitiu estudar contaxio emocional, sen necesidade de realizar un experimento que podería prexudicar os participantes, e pode ser o caso de que en moitas outras opcións que pode substituír as experiencias con outros técnicas.

En segundo lugar nos 3 Rs é Refine: investigadores deben procurar para refinar os seus tratamentos, a fin de causar o menor dano posible. Por exemplo, en vez de bloquear o contido que fose positivo ou negativo, os investigadores poderían impulsado o contido que fose positivo ou negativo. Este proxecto impulsar mudaría o contido emocional dos participantes Novas Fontes, pero tería abordar un dos problemas que os críticos expresa: que os experimentos poderían causar os participantes a perder información importante no seu Fonte de noticias. Co deseño utilizado por Kramer e os seus compañeiros, unha mensaxe que é importante é a probabilidade de ser bloqueada como que non é. Con todo, con un deseño reforzo, as mensaxes que serían desprazados serían aqueles que son menos importantes.

Finalmente, o terceiro R é Reducir: investigadores deben procurar reducir o número de participantes na súa experiencia, se é posible. No pasado, esta redución ocorreu naturalmente porque o custo variable de experimentos analóxicos foi elevada, o que incentivou a investigación para optimizar o seu proxecto e análise. Con todo, cando hai cero de datos de custos variables, os investigadores non afrontan unha restrición custo do tamaño da súa experiencia, e iso ten o potencial de levar a innecesariamente grandes experiencias.

Por exemplo, Kramer e os seus colegas poderían usar a información de pretratamento sobre os seus participantes, como pretratamento mensaxe comportamento de facer a súa análise máis eficiente. En concreto, no canto de comparar a proporción de palabras positivas nas condicións de tratamento e de control, Kramer e colegas podería comparar o cambio na proporción de palabras positivas entre condicións; unha visión moitas veces chamado de diferenzas en diferenzas e que está intimamente relacionado coa concepción mixta que eu describe anteriormente no capítulo (Figura 4.5). É dicir, para cada participante, os investigadores poderían crear unha puntuación cambio (comportamento post-tratamento - un comportamento pretratamento) e, a continuación, comparou os correas de cambio de participantes nas condicións de tratamento e control. Esta visión de diferenzas en diferenzas é estatisticamente máis eficiente, o que significa que os investigadores poidan conseguir a mesma confianza estatística, utilizando mostras moi pequenas. Noutras palabras, por non tratar os participantes como "widgets", os investigadores moitas veces poden obter estimacións máis precisas.

Sen os datos en bruto, é difícil saber exactamente o que máis eficiente o enfoque de diferenzas en diferenzas sería neste caso. Pero Deng et al. (2013) informou que en tres experiencias en liña sobre o buscador Bing que eles foron capaces de reducir a varianza dos seus estimacións en preto de 50%, e resultados similares foron relativos por algunhas experiencias en liña no Netflix (Xie and Aurisset 2016) . Esta redución de varianza do 50% significa que os investigadores contaxio emocional podería ser capaz de cortar a súa mostra ao medio se tivesen usado un pouco diferentes métodos de análise. Noutras palabras, cunha pequena modificación na análise, 350.000 persoas podería ser aforrado participación no experimento.

Neste punto, pode estar se pregunta por que os investigadores deben lles importa se 350.000 persoas estaban en Contagion emocional innecesariamente. Hai dúas características particulares de contaxio emocional que fan preocupación pola excesiva dimensión axeitada, e estes recursos son compartidos por moitos experimentos de campo dixitais: 1) hai incerteza sobre a experiencia vai causar danos a, polo menos, algúns participantes e 2) a participación non foi voluntario. En experiencias con estas dúas características, parece aconsellable manter as experiencias tan pequena como sexa posible.

En conclusión, os tres R's-Substituír, refinar e reducirse fornecen principios que poden axudar os investigadores a enriquecer a ética en proxectos experimentais. Por suposto, cada unha desas posibles cambios no contaxio emocional introduce trade-offs. Por exemplo, a evidencia desde experimentos naturais non sempre é tan limpo como evidencia a partir de experimentos randomizados e impulsar podería ser máis loxística difícil de implementar que bloque. Así, o obxectivo de suxerir estas modificacións non era adiviñar as decisións doutros investigadores. Pola contra, era para ilustrar como os tres Rs pode ser aplicado nunha situación real.