4.6.1 Crear cero de datos de custos variables

A clave para executar grandes experimentos é impulsar o custo variable a cero. As mellores formas de facelo son a automatización e o deseño de experimentos agradables.

Os experimentos dixitais poden ter estruturas de custos moi diferentes, o que permite aos investigadores executar experimentos imposibles no pasado. Unha forma de pensar nesta diferenza é observar que os experimentos xeralmente teñen dous tipos de custos: custos fixos e custos variables. Os custos fixos son custos que permanecen inalterados independentemente do número de participantes. Por exemplo, nun experimento de laboratorio, os custos fixos poden ser os custos de arrendamento de espazo e compra de mobles. Os custos variables , por outra banda, varían dependendo do número de participantes. Por exemplo, nun experimento de laboratorio, os custos variables poden provir do persoal e dos participantes. En xeral, os experimentos analóxicos teñen baixos custos fixos e altos custos variables, mentres que os experimentos dixitais teñen elevados custos fixos e custos variables baixos (figura 4.19). Aínda que os experimentos dixitais teñen custos variables baixos, pode crear moitas oportunidades interesantes cando conduce o custo variable ata cero.

Figura 4.19: Esquema das estruturas de custos en experimentos analóxicos e dixitais. En xeral, os experimentos analóxicos teñen baixos custos fixos e altos custos variables, mentres que os experimentos dixitais teñen elevados custos fixos e custos variables baixos. As diferentes estruturas de custo permiten que os experimentos dixitais poidan funcionar a unha escala que non sexa posible con experimentos analóxicos.

Hai dous elementos principais de pagos de custos variables para o persoal e os pagamentos aos participantes e cada un destes pode ser conducido a cero usando diferentes estratexias. Os pagamentos ao persoal derivan do traballo que os asistentes de investigación fan para os participantes, a entrega de tratamentos e a medición dos resultados. Por exemplo, o experimento de campo analóxico de Schultz and colleagues (2007) sobre o uso de electricidade requiriu que os asistentes de investigación viaxan a cada fogar para entregar o tratamento e ler o contador eléctrico (figura 4.3). Todo este esforzo por parte dos asistentes de investigación significou que a adición dun novo fogar ao estudo aumentaría o custo. Doutra banda, para o experimento de campo dixital de Restivo e van de Rijt (2012) sobre o efecto dos premios en editores de Wikipedia, os investigadores poderían engadir máis participantes a prácticamente ningún custo. Unha estratexia xeral para reducir os custos administrativos variables é substituír o traballo humano (que é caro) co traballo informático (que é barato). Aproximadamente, pode preguntarse: ¿pode executar este experimento mentres todos no equipo de investigación está durmindo? Se a resposta é si, fixo un excelente traballo de automatización.

O segundo tipo principal de custo variable é o pagamento aos participantes. Algúns investigadores usaron Amazon Mechanical Turk e outros mercados de traballo en liña para diminuír os pagos que son necesarios para os participantes. Para xerar custos variables en todo o camiño a cero, non obstante, é necesario un enfoque diferente. Durante moito tempo, os investigadores deseñaron experimentos que son tan aburridos que teñen que pagar a xente para participar. Pero e se puidesen crear un experimento que a xente quere estar dentro? Isto pode parecer bo, pero vou dar un exemplo a continuación do meu traballo e hai máis exemplos na táboa 4.4. Teña en conta que esta idea de deseñar experiencias agradables repite algúns dos temas do capítulo 3 sobre o deseño de enquisas máis agradables e no capítulo 5 sobre deseño de colaboración en masa. Deste xeito, creo que o goce dos participantes, o que tamén se pode chamar a experiencia do usuario, será unha parte cada vez máis importante do deseño da investigación na era dixital.

Se desexa crear experimentos con datos de custo variable nulos, necesitará asegurarse de que todo está totalmente automatizado e que os participantes non precisan ningún pagamento. Para mostrar como isto é posible, describirei a miña investigación sobre o éxito e fracaso dos produtos culturais.

A miña disertación estaba motivada pola desconcertante natureza do éxito dos produtos culturais. As cancións de éxito, os libros máis vendidos e as películas de éxito son moito máis exitosas que a media. Debido a iso, os mercados destes produtos adoitan denominarse "gañador". Con todo, ao mesmo tempo, a canción, o libro ou a película particulares que se fará exitoso é increíblemente imprevisible. O guionista William Goldman (1989) resumiu elegantemente moitas investigacións académicas dicindo que, cando se trata de predecir o éxito, "ninguén sabe nada". A imprevisibilidade dos mercados gañadores levouume a preguntarme canto éxito é un resultado de calidade e canto é só sorte. Ou, expresado de forma lixeiramente diferente, se puidésemos crear mundos paralelos e que todos evolucionen de forma independente, as mesmas cancións fosen populares en cada mundo? E, se non, o que podería ser un mecanismo que provoca estas diferenzas?

Para responder a estas preguntas, nós-Peter Dodds, Duncan Watts (meu asesor de disertación), e eu corría unha serie de experimentos de campo en liña. En particular, construímos un sitio web chamado MusicLab onde a xente podería descubrir música nova e a usamos para unha serie de experimentos. Reclutamos participantes executando banners nun sitio web de interese para adolescentes (figura 4.20) e mediante mencións nos medios. Os participantes que chegaron ao noso sitio web proporcionaron o consentimento informado, completaron un pequeno cuestionario de fondo e asignáronse aleatoriamente a unha das dúas condicións experimentais: a influencia social e independente. Na condición independente, os participantes tomaron decisións sobre as cancións para escoitar, dadas só os nomes das bandas e as cancións. Ao escoitar unha canción, pedíuselles aos participantes que valoren despois de que tivesen a oportunidade (pero non a obrigación) de descargar a canción. Na condición de influencia social, os participantes tiveron a mesma experiencia, excepto que tamén podían ver cantas veces cada canción fora descargada por participantes anteriores. Ademais, os participantes na condición de influencia social asignáronse aleatoriamente a un dos oito mundos paralelos, cada un dos cales evolucionou de forma independente (figura 4.21). Usando este deseño, realizamos dous experimentos relacionados. Na primeira, presentamos as cancións aos participantes nunha grilla non ordenada, que lles proporcionou un sinal feble de popularidade. No segundo experimento, presentamos as cancións nunha lista clasificada, que proporcionou un sinal de popularidade moito máis forte (figura 4.22).

Figura 4.20: Un exemplo de anuncio de banner que os meus colegas e eu adoitabamos reclutar participantes para os experimentos de (Salganik, Dodds, and Watts 2006) . Reproducido con permiso de Salganik (2007) , figura 2.12.

Figura 4.21: Deseño experimental para os experimentos (Salganik, Dodds, and Watts 2006) . Os participantes asignáronse aleatoriamente a unha das dúas condicións: influencia social e independente. Os participantes na condición independente fixeron as súas opcións sen ter información sobre o que fixeran as outras persoas. Os participantes na condición de influencia social asignáronse aleatoriamente a un dos oito mundos paralelos, onde podían ver a popularidade -salida por descárgalas de participantes anteriores- de cada canción do seu mundo, pero non podían ver ningunha información sobre eles nin tampouco ata saben sobre a existencia de calquera dos outros mundos. Adaptado de Salganik, Dodds, and Watts (2006) , figura s1.

Descubrimos que a popularidade das cancións difire en todo o mundo, o que suxire que a sorte desempeñou un papel importante no éxito. Por exemplo, nun mundo a canción "Lockdown" de 52Metro chegou á primeira das 48 cancións, mentres que noutro mundo chegou á 40ª. Esta foi exactamente a mesma canción que compite contra todas as mesmas outras cancións, pero nun só mundo tivo sorte e noutros non o fixo. Ademais, ao comparar os resultados entre os dous experimentos, descubrimos que a influencia social aumenta a natureza gañador de todos estes mercados, o que quizais suxire a importancia da destreza. Pero, mirando a través dos mundos (que non se pode facer fóra deste experimento de mundos paralelos), atopamos que a influencia social realmente aumentou a importancia da sorte. Ademais, sorprendentemente, foron as cancións de maior atractivo onde a sorte máis importante (figura 4.23).

Figura 4.22: Captura de pantalla das condicións de influencia social nos experimentos (Salganik, Dodds, and Watts 2006) . Na condición de influencia social no experimento 1, as cancións, xunto co número de descargas previas, foron presentadas aos participantes dispostas nunha grilla rectangular de 16 \(\times\) 3, onde as posicións das cancións asignáronse aleatoriamente para cada un participante. No experimento 2, os participantes na condición de influencia social mostraron as cancións, con conta de descargas, presentadas nunha columna en orde descendente da popularidade actual.

Figura 4.23: Resultados dos experimentos de MusicLab que amosan a relación entre apelido e éxito (Salganik, Dodds, and Watts 2006) . O \(x\) -axis é a cota de mercado da canción no mundo independente, que serve como medida do atractivo da canción, ea \(y\) -axis é a cota de mercado da mesma canción en os oito mundos de influencia social, que serve como medida do éxito das cancións. Descubrimos que o incremento da influencia social que experimentaron os participantes -especialmente, o cambio no deseño do experimento 1 ao experimento 2 (figura 4.22) -correu o éxito para facerse máis imprevisible, especialmente para as cancións con maior atractivo. Adaptado de Salganik, Dodds, and Watts (2006) , figura 3.

MusicLab foi capaz de executar en cero custo variable por mor da forma en que foi deseñado. En primeiro lugar, todo estaba totalmente automatizado polo que foi capaz de correr mentres durmía. En segundo lugar, a compensación era música gratuíta, polo que non houbo custos de compensación de participantes variables. O uso da música como compensación tamén ilustra como ás veces hai unha compensación entre custos fixos e variables. Usando música aumentou os custos fixos porque tiña que gastar tempo asegurando o permiso das bandas e preparando informes para eles sobre a reacción dos participantes á súa música. Pero neste caso, aumentar o custo fixo para reducir custos variables era o correcto; Isto permitiu executar un experimento que tiña aproximadamente 100 veces maior que un experimento de laboratorio estándar.

Ademais, os experimentos de MusicLab amosan que o custo cero non debe ser un fin en si mesmo; máis ben, pode ser un medio para realizar un novo tipo de experimento. Teña en conta que non usamos a todos os nosos participantes para realizar un experimento de laboratorio de influencia social estándar 100 veces. En cambio, fixemos algo diferente, o que poderiamos pensar como pasar dun experimento psicolóxico a un sociolóxico (Hedström 2006) . En lugar de centrarse na toma de decisións individuais, centramos o noso experimento en popularidade, un resultado colectivo. Este cambio a un resultado colectivo significou que necesitabamos uns 700 participantes para producir un único punto de datos (había 700 persoas en cada un dos mundos paralelos). Esta escala só era posible debido á estrutura de custos do experimento. En xeral, se os investigadores queren estudar como se producen os resultados colectivos das decisións individuais, experimentos en grupo como MusicLab son moi emocionantes. No pasado, foron loxísticamente difíciles, pero estas dificultades están desvanecéndose debido á posibilidade de cero datos de custos variables.

Ademais de ilustrar os beneficios de cero custos de datos variables, os experimentos MusicLab tamén amosan un desafío con este enfoque: custos fixos elevados. No meu caso, tiven a sorte de poder traballar cun desarrollador web talentoso chamado Peter Hausel durante uns seis meses para construír o experimento. Isto só foi posible porque o meu asesor, Duncan Watts, recibira varias bolsas para apoiar este tipo de investigacións. A tecnoloxía mellorou desde que construímos MusicLab no 2004 polo que sería moito máis fácil construír un experimento como este agora. Non obstante, as estratexias de custos fixos elevados son realmente só posibles para os investigadores que de algunha maneira poden cubrir eses custos.

En conclusión, os experimentos dixitais poden ter estruturas de custos moi dramáticas que os experimentos analóxicos. Se queres executar experimentos realmente grandes, debes tratar de diminuír o custo variable na medida do posible e idealmente ata o cero. Podes facelo automatizando a mecánica da túa experiencia (por exemplo, substituíndo o tempo humano co tempo de computador) e deseñando os experimentos que a xente quere. Os investigadores que poidan deseñar experimentos con estas funcións poderán executar novos tipos de experimentos que foron Non foi posible no pasado. Non obstante, a capacidade de crear experimentos de cero custo variable pode xerar novas preguntas éticas, o tema que abordarei agora.