Ocupaciones

Llave:

• grado de dificultad: fácil , media , difícil , muy duro
• requiere matemáticas ( )
• requiere codificación ( )
• recopilación de datos ( )
• mis favoritos ( )

1. [ , ] Berinsky y sus colegas (2012) evalúa Mechanical Turk, en parte, mediante la replicación de tres experimentos clásicos. Replicar el experimento encuadre de Enfermedades asiática clásico de Tversky and Kahneman (1981) . ¿Sus resultados Tversky y Kahneman partido de? ¿Sus resultados Berinsky partido y sus colegas? Qué pasaría si nada-Qué nos enseña acerca del uso de Mechanical Turk para los experimentos de la encuesta?

2. [ , ] En un artículo un poco la lengua en la mejilla titulado "Tenemos que romper para arriba," el psicólogo social Robert Cialdini, uno de los autores de Schultz et al. (2007) , escribió que se retiraba temprano de su trabajo como profesor, en parte debido a los desafíos que enfrentó haciendo experimentos de campo en una disciplina (psicología) que lleva a cabo principalmente experimentos de laboratorio (Cialdini 2009) . Leer el artículo de Cialdini, y le escribe un correo electrónico pidiéndole que reconsidere su ruptura a la luz de las posibilidades de experimentos digitales. Use ejemplos específicos de investigación que responden a sus preocupaciones.

3. [ ] Con el fin de determinar si los pequeños éxitos iniciales lock-in o desaparecer, van de Rijt y y sus colegas (2014) han intervenido en cuatro sistemas diferentes que conceden el éxito de participantes seleccionados al azar, y luego midieron los efectos a largo plazo de este éxito arbitraria. ¿Puede pensar en otros sistemas en los que se podía realizar experimentos similares? Evaluar estos sistemas en términos de cuestiones de valor científico, confusión algorítmica (véase el capítulo 2), y la ética.

4. [ , ] Los resultados de un experimento pueden depender de los participantes. Crear un experimento y posteriormente ejecutarla en Amazon Mechanical Turk (MTurk) utilizando dos diferentes estrategias de reclutamiento. Trate de elegir las estrategias de experimentación y de contratación de manera que los resultados serán tan diferentes como sea posible. Por ejemplo, sus estrategias de reclutamiento podrían ser para reclutar participantes en la mañana y por la tarde o para compensar a los participantes con alta y baja remuneración. Este tipo de diferencias en la estrategia de contratación podrían dar lugar a diferentes grupos de participantes y los diferentes resultados experimentales. ¿Qué tan diferente qué sus resultados resultan? ¿Qué nos revelan acerca de la ejecución de experimentos MTurk?

5. [ , , , ] Imagine que se planea el contagio emocional estudio (Kramer, Guillory, and Hancock 2014) . Utilizar los resultados de un estudio observacional anteriormente por Kramer (2012) para decidir el número de participantes en cada condición. Estos dos estudios no coinciden perfectamente, así que asegúrese de enumerar explícitamente todos los supuestos que se realicen:

   1. Ejecutar una simulación que decidirá cuántos participantes habrían sido necesarios para detectar un efecto tan grande como el efecto de Kramer (2012) con \ (\ alpha = 0,05 \) y \ (1 - \ beta = 0,8 \).
   2. Hacer el mismo cálculo analítico.
   3. Teniendo en cuenta los resultados de Kramer (2012) fue el contagio emocional (Kramer, Guillory, and Hancock 2014) el exceso de potencia (es decir, qué tiene más participantes que es necesario)?
   4. De los supuestos que ha realizado, que tienen el mayor efecto sobre el cálculo?

6. [ , , , ] Responder a la pregunta anterior, pero en lugar de utilizar el estudio observacional anteriormente por Kramer (2012) utilizan los resultados de un experimento natural antes por Coviello et al. (2014) .

7. [ ] Tanto Rijt et al. (2014) y Margetts et al. (2011) ambos realizan experimentos que estudian el proceso de personas que han firmado una petición. Comparar y contrastar el diseño y los resultados de estos estudios.

8. [ ] Dwyer, Maki, and Rothman (2015) llevaron a cabo dos experimentos de campo sobre la relación entre las normas sociales y la conducta proambiental. Aquí está el resumen de su trabajo:

   "¿Cómo puede ser utilizada la ciencia psicológica para fomentar un comportamiento proambiental? En dos estudios, las intervenciones destinadas a promover la conducta de ahorro de energía en los baños públicos examinaron las influencias de normas descriptivas y la responsabilidad personal. En el Estudio 1, el estado de la luz (es decir, encendido o apagado) fue manipulado antes de que alguien entró en un baño público desocupada, lo que indica la norma descriptiva de ese entorno. Los participantes fueron significativamente más propensos a apagar las luces si estaban fuera cuando entraron. En el Estudio 2, se incluyó una condición adicional en el que la norma de apagar la luz fue demostrado por un cómplice, pero los participantes no eran ellos mismos responsables de encenderlo. La responsabilidad personal moderó la influencia de las normas sociales en el comportamiento; cuando los participantes no eran responsables de encender la luz, se disminuyó la influencia de la norma. Estos resultados indican cómo las normas y la responsabilidad personal descriptiva puede regular la efectividad de las intervenciones proambiental ".

   Leer su papel y diseñar una réplica del estudio 1.

9. [ , ] A partir de la pregunta anterior, ahora llevar a cabo su diseño.

   1. ¿Cómo se comparan los resultados?
   2. Lo que podría explicar estas diferencias?

10. [ ] Ha habido un debate considerable sobre los experimentos que utilizan los participantes reclutados de Amazon Mechanical Turk. Al mismo tiempo, también ha habido un debate considerable sobre los experimentos que utilizan los participantes reclutados de poblaciones de estudiantes universitarios. Escribir una nota de dos páginas para comparar y contrastar las Turkers y estudiantes como participantes de los investigadores. Su comparación debe incluir una discusión de ambas cuestiones científicas y logísticas.

11. [ El libro de] Jim Manzi no controlada (2012) es una maravillosa introducción en el poder de la experimentación en los negocios. En el libro que transmite esta historia:

    "Una vez estuve en una reunión con un verdadero genio de los negocios, un multimillonario hecho a sí mismo que tenía una profunda subestimación, intuitiva del poder de los experimentos. Su empresa invirtió importantes recursos tratando de crear grandes escaparates tienda que atraigan a los consumidores y las ventas aumenta, como la sabiduría convencional dice que deberían. Los expertos cuidado diseño después del diseño a prueba, y en sesiones de revisión de pruebas individuales a lo largo de un período de años mantuvo sin mostrar efecto causal significativo de cada nuevo diseño de pantalla en las ventas. Altos ejecutivos de marketing y merchandising se reunieron con el director general para revisar los resultados de las pruebas históricas en su totalidad. Después de presentar todos los datos experimentales, se concluyó que la sabiduría convencional era que las pantallas mal-ventana no impulsar las ventas. Su acción recomendada era reducir costes y esfuerzos en esta área. Esto demostró dramáticamente la capacidad de experimentación para revocar la sabiduría convencional. La respuesta del CEO era simple: "Mi conclusión es que sus diseñadores no son muy buenos." Su solución era aumentar el esfuerzo en el diseño de exhibición de la tienda, y para obtener nuevas personas que lo hagan. " (Manzi 2012, 158–9)

    ¿Qué tipo de validez es la preocupación de los CEO?

12. [ ] A partir de la pregunta anterior, imaginen que estaban en la reunión donde se discutieron los resultados de los experimentos. ¿Cuáles son cuatro preguntas que usted podría pedir, una para cada tipo de validez (estadística, construir, interno o externo)?

13. [ ] Bernedo, Ferraro, and Price (2014) estudia el efecto de siete años de la intervención ahorro de agua se describe en Ferraro, Miranda, and Price (2011) (véase la Figura 4.10). En este trabajo, Bernedo y colegas también buscan entender el mecanismo detrás del efecto mediante la comparación del comportamiento de los hogares que tienen y no se han movido después del tratamiento fue entregado. Es decir, más o menos, tratan de ver si el tratamiento impactó en la casa o el dueño de casa.

    1. Leer el periódico, describir su diseño, y resumir sus conclusiones. b) ¿influyen en sus hallazgos cómo se debe evaluar la relación coste-efectividad de las intervenciones similares? Si es así, ¿por qué? Si no es así, ¿por qué no?

14. [ ] En un seguimiento de Schultz et al. (2007) , Schultz y sus colegas realizan una serie de tres experimentos sobre el efecto de las normas descriptivas y judiciales en un comportamiento ambiental diferente (reutilización de toallas) en dos contextos (un hotel y un condominio de tiempo compartido) (Schultz, Khazian, and Zaleski 2008) .

    1. Resumir el diseño y los resultados de estos tres experimentos.
    2. ¿Cómo, en todo caso, no cambian su interpretación de Schultz et al. (2007) ?

15. [ ] En respuesta a Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) realizaron una serie de experimentos de laboratorio similares a estudiar el diseño de las facturas de electricidad. Así es como lo describen en el resumen:

    "En un experimento basado en la encuesta, cada participante vio un proyecto de ley hipotética electricidad para una familia con un uso relativamente elevado de electricidad, que cubre información sobre (a) el uso histórico, (b) las comparaciones con los vecinos, y (c) el uso histórico con la descomposición del aparato. Los participantes vieron a todo tipo de información en uno de los tres formatos, incluyendo (a) las tablas, (b) gráficos de barras, y (c) icon gráficos. Se presenta en tres conclusiones principales. En primer lugar, los consumidores entienden cada tipo de información de electricidad de utilizar al máximo cuando fue presentado en una tabla, tal vez porque las tablas de facilitar su lectura simple punto. En segundo lugar, las preferencias e intenciones de ahorrar electricidad eran los más fuertes de la información con fines históricos, independiente del formato. En tercer lugar, los individuos con menor energía alfabetización entienden toda la información menos ".

    A diferencia de otros estudios de seguimiento, el resultado principal de interés en Canfield, Bruin, and Wong-Parodi (2016) ha informado de comportamiento no comportamiento real. ¿Cuáles son las fortalezas y debilidades de este tipo de estudios en un programa de investigación más amplio fomentar el ahorro energético?

16. [ , ] Smith and Pell (2003) es un meta-análisis satírica de estudios que demuestran la eficacia de los paracaídas. Llegan a la conclusión:

    "Al igual que con muchas de las intervenciones destinadas a prevenir la mala salud, la eficacia de los paracaídas no se ha sometido a una rigurosa evaluación mediante el uso de ensayos controlados aleatorios. Los defensores de la medicina basada en la evidencia han criticado la adopción de intervenciones evaluadas mediante el uso de datos sólo de observación. Pensamos que todo el mundo podría beneficiarse si los protagonistas más radicales de la medicina basada en la evidencia organizaron y participaron en un estudio doble ciego, aleatorizado, controlado con placebo, ensayo cruzado del paracaídas ".

    Escribir un artículo de opinión adecuado para un periódico lectores en general, tales como The New York Times, argumentando en contra de la fetichización de la evidencia experimental. Dar ejemplos específicos y concretos. Sugerencia: Véase también, Bothwell et al. (2016) y Deaton (2010)

17. [ , , ] Diferencia en diferencias estimadores de un efecto del tratamiento puede ser más precisa que los estimadores de diferencia-en-media. Escribir una nota a un ingeniero a cargo de las pruebas A / B a una compañía de medios sociales de puesta en marcha para explicar el valor del enfoque de diferencias en diferencias para el funcionamiento de un experimento en línea. La nota debe incluir una declaración del problema, alguna intuición acerca de las condiciones bajo las cuales el estimador de diferencias en diferencias superará el estimador de diferencias en la media, y un estudio de simulación sencilla.

18. [ , ] Gary Loveman fue profesor en la Escuela de Negocios de Harvard antes de convertirse en el CEO de Harrah, una de las compañías de casinos más grandes del mundo. Cuando se trasladó a Harrah, Loveman transformó la empresa con un programa de fidelización volante similar frecuente que recoge enormes cantidades de datos sobre el comportamiento del cliente. En la parte superior de este sistema de medición siempre activa, la compañía comenzó a correr experimentos. Por ejemplo, podrían correr un experimento para evaluar el efecto de un cupón para una noche de hotel gratis para los clientes con un patrón de juego específico. Así es como Loveman describió la importancia de la experimentación con las prácticas comerciales cotidianas de Harrah:

    "Es como si no molestan a las mujeres, no robas, y usted tiene que tener un grupo de control. Esta es una de las cosas que usted puede perder su trabajo durante al Harrah's-no se está ejecutando un grupo de control. " (Manzi 2012, 146)

    Escribir un correo electrónico a un nuevo empleado para explicar por qué Loveman piensa que es tan importante contar con un grupo de control. Usted debe tratar de incluir un ejemplo, ya sea real o componían-para ilustrar su punto.

19. [ , ] Un nuevo experimento tiene como objetivo estimar el efecto de recibir avisos de mensaje de texto en la absorción de la vacunación. 150 clínicas, cada una con 600 pacientes elegibles, están dispuestos a participar. Hay un costo fijo de 100 dólares por cada clínica que desea trabajar con, y que cuesta 1 dólar por cada mensaje de texto que desea enviar. Además, ninguna clínica que está trabajando con medirán el resultado (si alguien ha recibido una vacunación) de forma gratuita. Suponga que tiene un presupuesto de 1.000 dólares.

    1. Bajo qué condiciones podría ser mejor enfocar sus recursos en un pequeño número de clínicas y bajo qué condiciones podría ser mejor para difundir más ampliamente?
    2. ¿Qué factores podrían determinar el tamaño del efecto más pequeño que usted será capaz de detectar de forma fiable con su presupuesto?
    3. Escribir una nota explicando estas compensaciones a un donante potencial.

20. [ , ] Un problema importante con los cursos en línea es el desgaste; muchos estudiantes que se inician los cursos terminan cayendo de salida. Imagínese que usted está trabajando en una plataforma de aprendizaje en línea, y un diseñador en la plataforma ha creado una barra de progreso visual que piensa que va a ayudar a prevenir la deserción escolar del curso. ¿Quieres probar el efecto de la barra de progreso de los estudiantes en un curso de gran ciencia social computacional. Después de abordar las cuestiones éticas que puedan surgir en el experimento, usted y sus colegas se preocupan de que el curso podría no tener suficientes estudiantes para detectar de forma fiable los efectos de la barra de progreso. En los cálculos siguientes se puede asumir que la mitad de los estudiantes recibirán la barra de progreso y la otra mitad no. Además, se puede asumir que no hay interferencia. En otras palabras, se puede suponer que los participantes sólo se ven afectadas por si recibieron el tratamiento o control; que no se ven afectados por el hecho de que otras personas recibieron el tratamiento o control (para una definición más formal, véase Gerber and Green (2012) , cap. 8). Por favor, no perder de vista ninguna hipótesis adicionales que se realicen.

    1. Supongamos que se espera que la barra de progreso para aumentar la proporción de estudiantes que terminan la clase en 1 punto porcentual, ¿cuál es el tamaño de la muestra necesario para detectar de forma fiable el efecto?
    2. Supongamos que se espera que la barra de progreso para aumentar la proporción de estudiantes que terminan la clase en 10 puntos porcentuales, lo que es el tamaño de muestra necesario para detectar de forma fiable el efecto?
    3. Ahora imagina que ha ejecutado el experimento y los estudiantes que han completado todos los materiales del curso han tomado un examen final. Cuando se comparan los resultados de los exámenes finales de los estudiantes que recibieron la barra de progreso para los que no lo hizo, usted encontrará, para su sorpresa, que los estudiantes que no recibieron la barra de progreso en realidad tuvieron una mayor puntuación. ¿Quiere esto decir que la barra de progreso causado a los estudiantes a aprender menos? ¿Qué se puede aprender de estos datos de resultado? (Pista: Ver Gerber and Green (2012) , cap. 7)

21. [ , ] En un artículo precioso, Lewis and Rao (2015) ilustran claramente una limitación estadística fundamental de los experimentos incluso masivas. El papel que originalmente tenía el título provocativo "En la casi imposibilidad de medir la respuestas a la publicidad": muestra lo difícil que es medir el retorno de la inversión de los anuncios en línea, incluso con experimentos digitales con millones de clientes. De manera más general, el artículo muestra claramente que es difícil de estimar pequeño efecto del tratamiento en medio de los datos de resultado ruidosos. O declarado a pintadas, el documento muestra que los efectos estimados de tratamiento tendrán grandes intervalos de confianza cuando la desviación estándar de impacto-a-(\ (\ frac {\ Delta \ bar {y}} {\ sigma} \)) proporción es pequeña. La lección general importante de este trabajo es que los resultados de experimentos con pequeña proporción de los impactos de desviación estándar (por ejemplo, el ROI de las campañas publicitarias) será insatisfactorio. Su reto será escribir una nota a alguien en el departamento de marketing de su empresa evaluting un experimento planeado para medir el ROI de una campaña publicitaria. La nota debe ser apoyada con gráficos de los resultados de las simulaciones por ordenador.

    Aquí hay alguna información que pueda necesitar. Todos estos valores numéricos son típicos de los experimentos reales reportados en Lewis and Rao (2015) :

    • Retorno de la inversión, una medida clave para las campañas de publicidad en línea, se define como el beneficio neto de la campaña (beneficio bruto de campaña costó menos de campaña), dividido por el coste de la campaña. Por ejemplo, una campaña que no tuvo ningún efecto sobre las ventas tendría un retorno de la inversión del 100% y una campaña donde las ganancias generadas eran iguales a los costos tendría un retorno de la inversión de 0.

    • las ventas promedio por cliente es $ 7 con una desviación estándar de $ 75.

    • Se espera que la campaña para aumentar las ventas por $ 0.35 por cliente que corresponde a un incremento en la ganancia de $ 0.175 por cliente. En otras palabras, el margen bruto es 50%.

    • el tamaño previsto del experimento es de 200.000 personas, un medio en el grupo de tratamiento y media en el grupo de control.

    • el coste de la campaña es $ 0.14 por participante.

    Escribir una nota evaluting este experimento. ¿Recomendaría el lanzamiento de este experimento como estaba previsto? Si es así, ¿por qué? Si no es así, ¿qué cambios me recomiendan?

    Una buena nota abordará este caso específico; una mejor memo será generalizar a partir de este caso de una manera (por ejemplo, mostrar cómo cambia la decisión como una función de la relación impacto-a desviación estándar); y una gran nota presentará un resultado totalmente generalizada.

22. [ , ] Hacer lo mismo que la pregunta anterior, pero en lugar de la simulación debería usarla resultados analíticos.

23. [ , , ] Hacer lo mismo que la pregunta anterior, pero el uso tanto de simulación y los resultados analíticos.

24. [ , , ] Imagínese que usted ha escrito la nota se ha descrito anteriormente, utilizando la simulación, los resultados analíticos, o ambas cosas, y alguien del departamento de marketing recomienda utilizar un estimador de diferencias en diferencias en lugar de un estimador de diferencia en las medias (véase la Sección 4.6.2) . Escribir una nueva nota más corto que explica cómo una correlación entre las ventas de 0,4 antes del experimento y las ventas después del experimento alteraría su conclusión.

25. [ , ] Con el fin de evaluar la eficacia de un nuevo servicio de carrera basado en la web, una oficina de servicios de carrera universitaria llevó a cabo un ensayo aleatorizado de control entre los 10.000 estudiantes que entran en su último año de escuela. Una suscripción gratuita con la información de inicio de sesión único se envía a través de una invitación de correo electrónico exclusiva al 5.000 de los estudiantes elegidos al azar, mientras que los otros 5.000 estudiantes están en el grupo de control y no tienen una suscripción. Doce meses más tarde, una encuesta de seguimiento (sin falta de respuesta) muestra que en los grupos de tratamiento y de control, el 70% de los estudiantes han conseguido empleo a tiempo completo en el campo elegido (Tabla 4.5). Por lo tanto, parece que el servicio basado en web no tuvo ningún efecto.

    Sin embargo, un científico de datos inteligente en la universidad miraba a los datos un poco más de cerca y encontró que sólo el 20% de los estudiantes en el grupo de tratamiento cada vez registra en la cuenta después de recibir el correo electrónico. Además, y de manera algo sorprendente, entre los que han iniciado sesión en el sitio web sólo el 60% había conseguido empleo a tiempo completo en el campo elegido, que era inferior a la tasa para las personas que no inicia la sesión y más baja que la tasa de la población en la condición de control (Tabla 4.6).

    1. Dar una explicación de lo que podría haber sucedido.
    2. ¿Cuáles son dos formas diferentes de calcular el efecto del tratamiento en este experimento?
    3. Dado este resultado, si el servicio de carrera universitaria proporcionar este servicio de carrera basado en web para todos los estudiantes? Para ser claros, esto no es una pregunta con una respuesta simple.
    4. ¿Qué deben hacer a continuación?

    Sugerencia: Esta pregunta va más allá del material cubierto en este capítulo, pero se ocupa de los problemas comunes en los experimentos. Este tipo de diseño experimental a veces se llama un diseño de estímulo porque los participantes son animados a participar en el tratamiento. Este problema es un ejemplo de lo que se llama un solo lado incumplimiento (ver Gerber and Green (2012) , Ch. 5)

26. [ ] Después de un examen más detenido, resulta que el experimento descrito en la pregunta anterior era aún más complicado. Resulta que el 10% de las personas en el grupo de control satisfechos por el acceso al servicio, y que terminó con una tasa de empleo del 65% (Tabla 4.7).

    1. Escribir un correo electrónico un resumen de lo que usted piensa que está sucediendo y recomendar un curso de acción.

    Sugerencia: Esta pregunta va más allá del material cubierto en este capítulo, pero se ocupa de los problemas comunes en los experimentos. Este problema es un ejemplo de lo que se llama de dos caras incumplimiento (ver Gerber and Green (2012) , Ch. 6)