Las encuestas no son libres, y esto es una limitación real.
Hasta ahora, he revisado brevemente el marco total de error de la encuesta, que en sí mismo es el tema de los tratamientos de duración de un libro (Weisberg 2005; Groves et al. 2009) . Aunque este marco es exhaustivo, generalmente hace que los investigadores pasen por alto un factor importante: el costo. Aunque el costo, que puede medirse por tiempo o dinero, raramente es discutido explícitamente por investigadores académicos, es una restricción real que no debe ser ignorada. De hecho, el costo es fundamental para todo el proceso de investigación de encuestas (Groves 2004) : es la razón por la cual los investigadores entrevistan a una muestra de personas en lugar de a una población completa. Una dedicación única para minimizar el error mientras se ignora por completo el costo no siempre es lo mejor para nosotros.
Las limitaciones de una obsesión por reducir el error se ilustran en el proyecto histórico de Scott Keeter y sus colegas (2000) sobre los efectos de las costosas operaciones de campo para reducir la falta de respuesta en las encuestas telefónicas. Keeter y sus colegas realizaron dos estudios simultáneos, uno que usa procedimientos de reclutamiento "estándar" y otro que usa procedimientos de reclutamiento "rigurosos". La diferencia entre los dos estudios fue la cantidad de esfuerzo que se hizo para contactar a los encuestados y alentarlos a participar. Por ejemplo, en el estudio con reclutamiento "riguroso", los investigadores llamaron a los hogares muestreados con mayor frecuencia y durante un período de tiempo más largo e hicieron devoluciones de llamada adicionales si los participantes inicialmente se negaron a participar. Estos esfuerzos adicionales, de hecho, produjeron una menor tasa de falta de respuesta, pero aumentaron sustancialmente el costo. El estudio que utilizó procedimientos "rigurosos" fue dos veces más costoso y ocho veces más lento. Y, al final, ambos estudios produjeron estimaciones esencialmente idénticas. Este proyecto, así como las réplicas posteriores con hallazgos similares (Keeter et al. 2006) , deberían llevarlo a preguntarse: ¿estamos mejor con dos encuestas razonables o una encuesta prístina? ¿Qué hay de 10 encuestas razonables o una encuesta prístina? ¿Qué hay de 100 encuestas razonables o una encuesta prístina? En algún momento, las ventajas de los costos deben superar las preocupaciones vagas e inespecíficas sobre la calidad.
Como mostraré en este resto del capítulo, muchas de las oportunidades creadas por la era digital no se trata de hacer estimaciones que obviamente tienen un error menor. Por el contrario, estas oportunidades consisten en estimar cantidades diferentes y en hacer las estimaciones más rápidas y baratas, incluso con errores posiblemente mayores. Los investigadores que insisten en una obsesión decidida por minimizar el error a expensas de otras dimensiones de calidad van a perder oportunidades emocionantes. Teniendo en cuenta estos antecedentes sobre el marco total de errores de encuesta, ahora abordaremos tres áreas principales de la tercera era de investigación de encuestas: nuevos enfoques de representación (sección 3.4), nuevos enfoques de medición (sección 3.5) y nuevas estrategias para combinar encuestas con grandes fuentes de datos (sección 3.6).