Calculadora de margen de error

ME = z* × SE SE = s / √n SE = √(p(1 − p) / n)

ME

El margen de error: la mitad de la anchura del intervalo de confianza, en las unidades de la estimación. Es una semianchura y no una anchura porque el intervalo se escribe como estimación ± ME, así que el mismo número se resta por un lado y se suma por el otro. Sus unidades siguen a la estimación: puntos porcentuales para una proporción y lo que sea que midieran los datos para una media

z*

El valor crítico, y en este modo es siempre el valor t tomado con n − 1 grados de libertad y no el archiconocido 1,96. La diferencia es pequeña frente a los tamaños de muestra que suelen tener las encuestas, pero no es cero, y es mayor justo donde el margen de error es mayor: con n = 2 el valor t es 12,7062, así que una muestra de dos personas cuya desviación estándar sea 4 obtiene un margen de error de 35,94

s

La desviación estándar de la muestra, usada solo en el modo de la media. En una encuesta rara vez se conoce de antemano, y por eso los sondeos informan de proporciones: para una pregunta de sí o no, la variabilidad se sigue del propio porcentaje y no hay que estimar nada aparte

p

La proporción de la muestra, usada solo en el modo de la proporción y escrita como fracción en la fórmula y como porcentaje en el panel. Su aportación a la anchura es máxima al 50 %: la mitad de la muestra a favor y la otra mitad en contra es lo más incierto que puede ser una pregunta binaria, y por eso el margen de error que se cita de un sondeo suele ser el peor caso con p = 0,5 y no la cifra propia de ese sondeo

n

El tamaño de la muestra, que aparece como √n. Esa raíz cuadrada es la razón de que duplicar la muestra no reduzca el margen de error a la mitad: lo divide solo entre 1,41, así que para partirlo hace falta cuadruplicar la muestra. Es además el único factor que controla quien investiga, ya que p viene de los datos y el nivel de confianza es una afirmación sobre cuánto cuidado debe tener la respuesta

Úsala cuando ya hayas recogido datos y quieras saber cuánto de la cifra publicada es ruido, o cuando estés leyendo un número que publicó otra persona y quieras ver de qué está hecho. Las dos cosas más útiles que muestra están en el panel y no en el resultado principal: el valor crítico, que revela si se usó la t o la z y por tanto si el analista tuvo en cuenta que estimaba la dispersión, y el error estándar, que hace visible la ley de la raíz cuadrada, ya que al cuadruplicar la muestra este se reduce a la mitad. Para planificar un estudio en lugar de interpretarlo, la página del tamaño de muestra es mejor herramienta, porque le da la vuelta a la pregunta y plantea cuántas respuestas hacen falta para un margen que ya has decidido que es aceptable. Al leer los resultados de encuesta de otra persona, recuerda que el margen cubre solo el error de muestreo: no dice nada sobre quién respondió, sobre si la pregunta estaba sesgada o sobre si la muestra se extrajo de modo que todo el mundo pudiera salir elegido. Esos problemas no se encogen con n, y una muestra grande con un margen de error pequeño es exactamente la forma en que un sondeo sesgado llega a parecer autorizado.

1. El caso por defecto: una media estimada con 100 observaciones

   1. Error estándar: s / √n = 12 / 10 = 1,2
   2. Valor crítico: el valor t con 99 grados de libertad, 1,9842, y no 1,9600
   3. Margen de error: 1,9842 × 1,2 = 2,3811
   4. La estimación en sí no es una entrada, así que la respuesta es una semianchura y no un intervalo

   La fila que merece leerse es la del valor crítico, porque es donde suele torcerse un cálculo a mano: 100 observaciones es una muestra grande y echar mano de 1,96 en lugar de 1,9842 cambia la respuesta un 1,2 %. Eso aquí es pequeño y es enorme con n = 2, donde la misma sustitución convertiría 35,9 puntos en 5,5, es decir, subestimaría la incertidumbre seis veces. La página imprime el valor crítico precisamente para que este paso se pueda comprobar en lugar de quedar escondido dentro de una multiplicación.

2. Una proporción a partir de 1000 respuestas

   1. La proporción como fracción: 50 % = 0,5
   2. Error estándar en puntos porcentuales: √(0,5 × 0,5 / 1000) × 100 = 1,5811
   3. Valor crítico: el valor normal 1,9600, porque el modo de la proporción usa z
   4. Margen de error: 1,96 × 1,5811 = 3,099 puntos porcentuales

   Esta es la forma de la cifra que citan los periódicos, y conviene separar tres detalles. El valor crítico aquí es 1,9600 mientras que el ejemplo de la media de arriba usaba 1,9842, porque la variabilidad de una proporción queda determinada por p y no necesita grados de libertad. El campo de la desviación estándar se queda en el panel sin usarse: en este modo la variabilidad viene del porcentaje y no de una estimación aparte. Y p = 50 % es el peor caso, así que el número se generaliza, ya que cualquier pregunta de esa encuesta tiene un margen de error no mayor que este.

3. Nueve observaciones ponen el margen de error justo en el valor crítico

   1. Error estándar: 3 / √9 = 1, exacto
   2. Valor crítico con 8 grados de libertad: 2,306
   3. Margen de error: 2,306 × 1 = 2,306
   4. Dos de las tres filas imprimen el mismo número, que es una coincidencia de esta elección de entradas y no una regla

   La coincidencia merece verse una vez para no tomarla luego por una relación: el error estándar salió exactamente 1, lo que convierte la multiplicación en algo inocuo y deja el valor crítico a la vista como respuesta. Nueve observaciones con una desviación estándar de tres es un montaje natural de muestra pequeña, y este es el mismo valor t que produce la página del intervalo de confianza con n = 9: las dos páginas comparten todo el cálculo y solo se diferencian en si se les dio una media de la muestra para desplazarlo.

4. Los mismos datos leídos al 99 % en lugar de al 95 %

   1. El error estándar no cambia: 1,2, porque nada de los datos se ha movido
   2. Valor crítico al 99 % con 99 grados de libertad: 2,6264
   3. Margen de error: 2,6264 × 1,2 = 3,1517
   4. Comparado con el caso del 95 %: 2,3811, así que la confianza extra cuesta un 32 % más de anchura

   Solo cambia una de las tres filas, y eso es justo lo que se ve al imprimirlas todas: el nivel de confianza toca el valor crítico y nada más, mientras que el tamaño de la muestra toca el error estándar y nada más. Las dos palancas son independientes, y confundirlas es una manera habitual de malinterpretar qué se ha cambiado. El intercambio merece nombrarse: un 99 % de confianza no es más exacto, es más prudente, porque compra un intervalo más ancho que acierta más a menudo a cambio de sujetar menos la estimación en cada ocasión concreta.

El margen de error cubre una sola fuente de error: la variación que viene de haber extraído una muestra en lugar de medir toda la población. No dice nada sobre el sesgo, y las dos cosas no son intercambiables, porque una muestra de mil voluntarios de un sitio web tiene un margen de error pequeño y puede equivocarse en veinte puntos, ya que quienes decidieron responder no son una extracción aleatoria. También supone que las observaciones son independientes. Encuestar a varias personas de un mismo hogar, o medir dos veces al mismo sujeto, reduce el tamaño de muestra efectivo muy por debajo del número de respuestas y la fórmula no tiene forma de saberlo, de modo que el margen sale demasiado estrecho. Tanto la fórmula de la media como la de la proporción son aproximaciones de muestra grande: la de la proporción es poco fiable cuando n·p o n·(1 − p) son pequeños, que es lo que ocurre con categorías raras, y un 2 % de respuestas en una muestra de 100 no debería presentarse con un más o menos simétrico. Y un margen de error describe una estimación aislada, así que es la herramienta equivocada para comparar dos grupos, donde lo que importa es el margen de error de la diferencia, que no es la suma de los dos márgenes individuales salvo que los grupos sean independientes.

¿Qué significa de verdad un margen de error del 3 %?

Significa que si la misma encuesta se repitiera muchas veces, alrededor del 95 % de los intervalos resultantes (la cifra publicada más o menos 3 puntos) contendrían el valor verdadero de la población. No significa que el valor verdadero esté a menos de 3 puntos con certeza, ni que la encuesta se equivoque como mucho en 3 puntos. Se siguen dos consecuencias que se pasan por alto con facilidad. El valor verdadero está dentro del intervalo o fuera, así que el 95 % describe el procedimiento y no este resultado concreto. Y los márgenes se acumulan al comparar grupos: si dos candidatos están a 4 puntos en un sondeo con un margen de 3 puntos cada uno, la contienda no está dentro del margen en ningún sentido sencillo, porque la diferencia tiene su propio margen de error, que es mayor que cualquiera de los dos.

¿Por qué el margen de error es menor con una muestra más grande, pero no de forma proporcional?

Porque el tamaño de la muestra entra en la fórmula bajo una raíz cuadrada. Pasar de 100 a 400 respuestas reduce el margen a la mitad, y pasar de 400 a 1600 lo vuelve a reducir a la mitad: cada partición cuesta cuadruplicar la muestra. Es el hecho más consecuente del diseño de encuestas, y explica por qué los sondeos convergen en unos cientos o un par de miles de encuestados: el primer millar compra casi toda la precisión disponible y el siguiente compra la mitad. Es también la razón de que un margen de error no se pueda mejorar con un mejor análisis, ya que la única palanca son más datos y opera sobre una raíz cuadrada.

¿Un margen de error más grande es peor?

Es más honesto, no peor. Un intervalo más ancho tiene más probabilidad de contener el valor verdadero, así que un estudio que informa de ±5 puntos al 99 % de confianza hace una afirmación más segura que otro que informa de ±3 al 90 %, y los dos no son comparables hasta que se dice el nivel de confianza. Lo que sí es peor es un margen sin declarar, o citado sin su nivel de confianza, porque entonces el lector no puede saber cuánto peso tiene la cifra. Lo otro que señala un margen ancho es simplemente que la muestra era pequeña, lo cual es información y no un defecto: dice que el estudio no puede resolver diferencias finas, y un estudio que no puede resolverlas no debería leerse como si lo hiciera.

¿Por qué la página rechaza una proporción del 0 % o del 100 %?

Porque la fórmula se derrumba ahí. El error estándar de una proporción es √(p(1 − p)/n) y con p = 0 o p = 1 el factor p(1 − p) es cero, así que el margen de error sale exactamente cero. Imprimir «60 % ± 0 puntos» es una afirmación de certeza que ninguna muestra puede sostener, porque dice que el valor de la población es 60 % cuando lo único que muestran los datos es que nadie de esta muestra quedó fuera de esa categoría. Hay maneras correctas de tratar un recuento nulo o completo, y todas pasan por añadir algo a los recuentos en vez de fiarse de la casilla vacía; ninguna de ellas es un margen de error corriente, así que la página se abstiene en lugar de devolver un número que se leería como certeza.

¿El margen de error tiene en cuenta una muestra sesgada?

No, y es el límite más importante de toda la idea. El margen de error mide la variabilidad del muestreo, es decir, la parte del error que viene de mirar una parte de la población en lugar de toda ella. El sesgo es otro tipo de error, producido por la forma en que se seleccionó la muestra o se formularon las preguntas, y no se encoge a medida que la muestra crece. Una encuesta voluntaria en línea de diez mil personas puede tener un margen de error de un punto porcentual y estar equivocada en quince, porque quienes respondieron no son una extracción aleatoria de la población. Las muestras grandes hacen pequeño el error de muestreo; al sesgo lo hacen parecer más preciso. Al leer cualquier margen publicado, pregunta primero cómo se extrajo la muestra.

¿Qué diferencia hay entre el margen de error y el error estándar?

El error estándar es la dispersión bruta de la estimación y el margen de error es esa dispersión multiplicada por un valor crítico que depende del nivel de confianza. Así que el error estándar es una propiedad solo de los datos y el margen de error es una afirmación sobre cuánta confianza quieres depositar en ellos. Para un intervalo del 95 % el multiplicador es de unos dos, y por eso los dos números suelen estar a menos de un factor dos de distancia y se confunden. Ambos se imprimen en el panel por esa razón: el error estándar te dice cuánta información lleva la muestra y el margen de error te dice qué has decidido afirmar con ella.

• Evaluación de la calidad de los datos de la Encuesta de Población Activa. Año 2013 — errores de muestreo y semianchura del intervalo de confianza de las estimaciones — Instituto Nacional de Estadística (INE), España
• 1.3.5.6. Measures of Scale — e-Handbook of Statistical Methods (the standard deviation the standard error is built from, and the n − 1 denominator the degrees of freedom come from) — National Institute of Standards and Technology (NIST)
• 6.2 Using the Normal Distribution — Introductory Statistics 2e (the critical value that multiplies the standard error, and the tail areas a confidence level is split into) — OpenStax (Rice University)