Calculatrice de marge d’erreur

ME = z* × SE ; SE = s / √n ; SE = √(p(1 − p) / n)

ME

La marge d’erreur — la demi-largeur de l’intervalle de confiance, dans l’unité de l’estimation. C’est une demi-largeur et non une largeur parce que l’intervalle s’écrit estimation ± ME, le même nombre est donc retranché d’un côté et ajouté de l’autre. Son unité suit celle de l’estimation : des points de pourcentage pour une proportion, et l’unité de mesure des données pour une moyenne

z*

La valeur critique, et dans ce mode c’est toujours la valeur de Student prise à n − 1 degrés de liberté plutôt que le 1,96 familier. L’écart est faible devant les tailles d’échantillon qu’ont d’ordinaire les enquêtes, mais il n’est pas nul et il est maximal exactement là où la marge d’erreur est la plus grande : à n = 2 la valeur de Student vaut 12,7062, si bien qu’un échantillon de deux personnes dont l’écart type est 4 obtient une marge d’erreur de 35,94

s

L’écart type de l’échantillon, utilisé uniquement dans le mode moyenne. Dans une enquête il est rarement connu d’avance, ce qui explique que les sondages rapportent des proportions — pour une question fermée, la variabilité découle du pourcentage lui-même et rien n’a besoin d’être estimé séparément

p

La proportion observée, utilisée uniquement dans le mode proportion et écrite sous forme de fraction dans la formule et de pourcentage sur le panneau. Sa contribution à la largeur est maximale à 50 % : la moitié de l’échantillon d’accord et l’autre non est le point d’incertitude maximale d’une question binaire, ce qui explique que la marge d’erreur citée pour un sondage soit le plus souvent le cas le plus défavorable à p = 0,5 plutôt que le chiffre propre à ce sondage

n

La taille d’échantillon, présente sous la forme √n. Cette racine carrée est la raison pour laquelle doubler l’échantillon ne divise pas la marge d’erreur par deux — elle ne la divise que par 1,41, et diviser la marge par deux demande donc quatre fois l’échantillon. C’est aussi le seul facteur que le chercheur maîtrise, puisque p vient des données et que le niveau de confiance est une affirmation sur le soin attendu dans la réponse

Servez-vous de cette page quand vous avez déjà collecté des données et voulez savoir quelle part du chiffre rapporté est du bruit, ou quand vous lisez un nombre rapporté par quelqu’un d’autre et voulez voir de quoi il est fait. Les deux choses les plus utiles qu’elle montre figurent sur le panneau plutôt que dans le résultat principal : la valeur critique, qui révèle si c’est Student ou z qui a servi et donc si l’analyste a tenu compte du fait qu’il estimait la dispersion, et l’erreur type, qui rend la loi de la racine carrée visible — quadruplez l’échantillon et celle-ci est divisée par deux. Pour concevoir une étude plutôt que pour en interpréter une, la page de la taille d’échantillon est le meilleur outil, parce qu’elle retourne la question et demande combien de réponses sont nécessaires pour une marge que vous avez déjà jugée acceptable. En lisant un résultat d’enquête, rappelez-vous que la marge ne couvre que l’erreur d’échantillonnage. Elle ne dit rien sur qui a répondu, sur le caractère orienté de la question, ni sur le fait que l’échantillon ait été tiré de manière à laisser chacun de la population pouvoir être choisi. Ces problèmes ne diminuent pas avec n, et un grand échantillon avec une petite marge d’erreur est exactement la façon dont un sondage biaisé en vient à paraître digne de foi.

1. Le cas par défaut : une moyenne estimée sur 100 observations

   1. Erreur type : s / √n = 12 / 10 = 1,2
   2. Valeur critique : la valeur de Student à 99 degrés de liberté, 1,9842 — et non 1,9600
   3. Marge d’erreur : 1,9842 × 1,2 = 2,3811
   4. L’estimation elle-même n’est pas une entrée, la réponse est donc une demi-largeur et non un intervalle

   La valeur critique est la ligne à lire, parce que c’est là qu’un calcul à la main se trompe d’ordinaire : 100 observations est un grand échantillon, et prendre 1,96 au lieu de 1,9842 change la réponse de 1,2 %. C’est peu ici et énorme à n = 2, où la même substitution transformerait 35,9 points en 5,5 — une sous-estimation d’un facteur six de l’incertitude. La page imprime la valeur critique précisément pour que cette étape soit vérifiable au lieu de rester cachée dans une multiplication.

2. Une proportion tirée de 1 000 réponses

   1. Proportion sous forme de fraction : 50 % = 0,5
   2. Erreur type en points de pourcentage : √(0,5 × 0,5 / 1 000) × 100 = 1,5811
   3. Valeur critique : la valeur normale 1,9600, parce que le mode proportion emploie z
   4. Marge d’erreur : 1,96 × 1,5811 = 3,099 points de pourcentage

   C’est la forme du chiffre que citent les journaux, et trois détails méritent d’être séparés. La valeur critique vaut 1,9600 ici alors que l’exemple de moyenne ci-dessus employait 1,9842, parce que la variabilité d’une proportion est entièrement déterminée par p et n’a pas besoin de degrés de liberté. Le champ de l’écart type reste à l’écran sans servir — dans ce mode la variabilité vient du pourcentage et non d’une estimation séparée. Et p = 50 % étant le cas le plus défavorable, le nombre se généralise : toute question de cette enquête a une marge d’erreur au plus égale à celle-ci.

3. Neuf observations placent la marge d’erreur exactement sur la valeur critique

   1. Erreur type : 3 / √9 = 1, exactement
   2. Valeur critique à 8 degrés de liberté : 2,306
   3. Marge d’erreur : 2,306 × 1 = 2,306
   4. Deux des trois lignes impriment le même nombre, ce qui est une coïncidence de ce choix d’entrées et non une règle

   La coïncidence vaut la peine d’être vue une fois pour ne pas être prise plus tard pour une relation : l’erreur type tombe exactement sur 1, ce qui rend la multiplication neutre et laisse la valeur critique visible comme réponse. Neuf observations et un écart type de trois forment une configuration de petit échantillon naturelle, et c’est la même valeur de Student que produit la page de l’intervalle de confiance à n = 9 — les deux pages partagent tout le calcul et ne diffèrent que par le fait qu’une moyenne d’échantillon ait été fournie ou non pour le décaler.

4. Les mêmes données lues à 99 % au lieu de 95 %

   1. Erreur type inchangée à 1,2 — rien n’a bougé dans les données
   2. Valeur critique à 99 % avec 99 degrés de liberté : 2,6264
   3. Marge d’erreur : 2,6264 × 1,2 = 3,1517
   4. À comparer au cas à 95 % : 2,3811, la confiance supplémentaire coûte donc 32 % de largeur en plus

   Une seule des trois lignes change, et c’est tout l’intérêt de les imprimer toutes : le niveau de confiance touche la valeur critique et rien d’autre, tandis que la taille d’échantillon touche l’erreur type et rien d’autre. Les deux leviers sont indépendants, et les confondre est une façon fréquente de mal lire ce qui a été modifié. L’arbitrage lui-même mérite d’être nommé — 99 % de confiance n’est pas plus exact, c’est plus prudent. Cela achète un intervalle plus large qui couvre la vérité plus souvent et cerne moins précisément l’estimation en une occasion donnée.

La marge d’erreur ne couvre qu’une source d’erreur : la variation qui vient du fait d’avoir tiré un échantillon plutôt que mesuré la population entière. Elle ne dit rien du biais, et les deux ne sont pas interchangeables — un échantillon de mille volontaires recrutés sur un site a une petite marge d’erreur et peut se tromper de vingt points, parce que les personnes qui ont choisi de répondre ne sont pas un tirage aléatoire. Elle suppose aussi que les observations sont indépendantes. Interroger plusieurs personnes d’un même foyer, ou mesurer deux fois le même sujet, réduit la taille d’échantillon effective bien en dessous du nombre de réponses, et la formule n’a aucun moyen de le savoir ; la marge ressort trop étroite. Les formules de la moyenne comme de la proportion sont des approximations de grand échantillon : la version proportion est en particulier peu fiable quand n·p ou n·(1 − p) est petit, ce qui arrive avec les catégories rares — un taux de réponse de 2 % dans un échantillon de 100 ne devrait pas être rapporté avec un plus ou moins symétrique. Et une marge d’erreur décrit une estimation isolée. C’est le mauvais outil pour comparer deux groupes, où ce qui compte est la marge d’erreur de la différence, laquelle n’est pas la somme des deux marges individuelles sauf si les groupes sont indépendants.

Que signifie au juste une marge d’erreur de 3 % ?

Cela signifie que si la même enquête était répétée un grand nombre de fois, environ 95 % des intervalles obtenus — le chiffre rapporté plus ou moins 3 points — contiendraient la vraie valeur de population. Cela ne signifie pas que la vraie valeur se trouve à moins de 3 points avec certitude, ni que l’enquête se trompe de 3 points au maximum. Deux conséquences en découlent, faciles à manquer. La vraie valeur est soit dans l’intervalle, soit en dehors, les 95 % décrivent donc la procédure et non ce résultat-ci. Et les marges se composent lorsqu’on compare des groupes : si deux candidats sont séparés de 4 points dans un sondage à 3 points de marge chacun, la course n’est pas « dans la marge » au sens simple — la différence a sa propre marge d’erreur, plus grande que l’une et l’autre.

Pourquoi la marge d’erreur diminue-t-elle quand l’échantillon grandit, mais pas proportionnellement ?

Parce que la taille d’échantillon entre dans la formule sous une racine carrée. Passer de 100 à 400 réponses divise la marge d’erreur par deux, et passer de 400 à 1 600 la divise encore par deux — chaque division par deux coûte quatre fois l’échantillon. C’est le fait le plus lourd de conséquences de la conception d’enquête, et il explique que les sondages convergent vers quelques centaines à quelques milliers de répondants : le premier millier achète l’essentiel de la précision disponible, et le suivant en achète moitié moins. C’est aussi pourquoi une marge d’erreur ne s’améliore pas par une meilleure analyse. Le seul levier est davantage de données, et il agit sur une racine carrée.

Une marge d’erreur plus grande, est-ce moins bien ?

C’est plus honnête, pas moins bien. Un intervalle plus large a plus de chances de contenir la vérité, si bien qu’une étude rapportant ±5 points à 99 % de confiance porte une affirmation plus prudente qu’une autre rapportant ±3 à 90 % — les deux ne sont pas comparables tant que le niveau de confiance n’est pas énoncé. Ce qui est réellement moins bien, c’est une marge non rapportée, ou citée sans son niveau de confiance, parce que le lecteur ne peut alors pas savoir quel poids accorder au nombre. L’autre chose que signale une marge large est simplement que l’échantillon était petit, ce qui est une information et non un défaut : cela dit que l’étude ne peut pas résoudre de fines différences, et une étude qui ne le peut pas ne devrait pas être lue comme si elle le pouvait.

Pourquoi la page refuse-t-elle une proportion de 0 % ou de 100 % ?

Parce que la formule s’y effondre. L’erreur type d’une proportion vaut √(p(1 − p)/n), et à p = 0 ou p = 1 le facteur p(1 − p) est nul, la marge d’erreur ressort donc exactement nulle. Imprimer « 60 % ± 0 point » est une affirmation de certitude qu’aucun échantillon ne peut soutenir — cela dit que la valeur de population vaut 60 %, alors que tout ce que montrent les données est que personne dans cet échantillon n’est tombé hors de la catégorie. Il existe des façons correctes de traiter un effectif nul ou complet, et toutes consistent à ajouter quelque chose aux effectifs plutôt qu’à faire confiance à la case vide ; aucune n’est une marge d’erreur ordinaire, la page refuse donc plutôt que de renvoyer un nombre qui serait lu comme une certitude.

La marge d’erreur tient-elle compte d’un échantillon biaisé ?

Non, et c’est la limite la plus importante de toute cette notion. La marge d’erreur mesure la variabilité d’échantillonnage — la part de l’erreur qui vient du fait de regarder une partie de la population au lieu de la totalité. Le biais est une autre sorte d’erreur, produite par la façon dont l’échantillon a été sélectionné ou dont les questions ont été posées, et il ne diminue pas à mesure que l’échantillon grandit. Un sondage en ligne volontaire sur dix mille personnes peut avoir une marge d’erreur d’un point de pourcentage et se tromper quand même de quinze, parce que les personnes qui ont répondu ne sont pas un tirage aléatoire de la population. Les grands échantillons rendent l’erreur d’échantillonnage petite ; ils font paraître le biais plus précis. Devant toute marge rapportée, demandez d’abord comment l’échantillon a été tiré.

Quelle différence entre la marge d’erreur et l’erreur type ?

L’erreur type est la dispersion brute de l’estimation, et la marge d’erreur est cette dispersion multipliée par une valeur critique qui dépend du niveau de confiance. L’erreur type est donc une propriété des seules données, et la marge d’erreur une affirmation sur la confiance que vous voulez lui accorder. Pour un intervalle à 95 %, le multiplicateur vaut environ deux, ce qui explique que les deux nombres soient souvent dans un rapport de un à deux et qu’on les confonde. Les deux sont imprimés sur le panneau pour cette raison : l’erreur type dit quelle information l’échantillon porte, et la marge d’erreur dit ce que vous avez décidé d’en affirmer.

• 1.3.5.6. Measures of Scale — e-Handbook of Statistical Methods (the standard deviation the standard error is built from, and the n − 1 denominator the degrees of freedom come from) — National Institute of Standards and Technology (NIST)
• 6.2 Using the Normal Distribution — Introductory Statistics 2e (the critical value that multiplies the standard error, and the tail areas a confidence level is split into) — OpenStax (Rice University)
• 1.3.6.1. What is a Probability Distribution — e-Handbook of Statistical Methods (the sampling distribution whose spread is the standard error, which is what the plus-or-minus sign is describing) — National Institute of Standards and Technology (NIST)