Calculatrice de valeurs aberrantes

barrière inférieure = Q1 − 1,5 × IQR · barrière supérieure = Q3 + 1,5 × IQR

Q1

Le premier quartile — le 25e centile, la valeur sous laquelle se situe un quart des données. Il ancre la barrière inférieure

Q3

Le troisième quartile — le 75e centile. Avec Q1 il encadre la moitié centrale des données, et il ancre la barrière supérieure

IQR

L’écart interquartile, Q3 − Q1 : la largeur de la moitié centrale des données. Le multiplier par 1,5 fixe la distance qu’une valeur doit atteindre hors de cette moitié centrale pour être signalée

barrière inférieure

Q1 − 1,5 × IQR. Une valeur strictement sous cette ligne est signalée ; une valeur exactement dessus ne l’est pas, et c’est pourquoi une liste de valeurs identiques ne signale rien

barrière supérieure

Q3 + 1,5 × IQR. Une valeur strictement au-dessus de cette ligne est signalée. Les deux barrières s’écrivent habituellement L1 et U1 dans la source d’où vient cette règle

n

Le nombre de valeurs fournies, plafonné à 200 ici. Les barrières se construisent à partir des quartiles, donc une liste plus longue déplace les quartiles et peut changer les valeurs signalées

Servez-vous-en quand vous devez savoir si une valeur est inhabituelle par rapport au reste de l’échantillon, avant de décider quoi en faire : un rendement mensuel dix fois supérieur aux autres, un relevé de capteur hors de l’échelle de ses voisins, une note très en dessous du reste d’une classe. La règle des 1,5 × IQR, parfois appelée méthode de Tukey du nom de celui qui l’a popularisée, est le premier passage standard parce qu’elle ne suppose rien de la forme des données — contrairement à une règle fondée sur la moyenne et l’écart type, que les valeurs extrêmes déforment justement alors qu’on cherche à les détecter. Ce que cette page ne peut pas faire, c’est vous dire si une valeur signalée est une erreur ou un extrême bien réel. Ce sont deux choses différentes : une valeur aberrante peut indiquer des données fautives, et elle peut tout aussi bien être la mesure la plus intéressante de l’ensemble. L’écart interquartile ignore délibérément les extrémités, ce qui fait qu’il n’est pas tiré par les valeurs mêmes que l’on teste.

1. Huit valeurs, une signalée

   1. Q1 = 4 et Q3 = 5,5, donc IQR = 5,5 − 4 = 1,5
   2. 1,5 × IQR = 2,25, ce qui donne une barrière inférieure à 4 − 2,25 = 1,75 et une barrière supérieure à 5,5 + 2,25 = 7,75
   3. 9 est au-dessus de 7,75, donc elle est signalée ; toutes les autres valeurs sont à l’intérieur des barrières

   Les barrières éloignées valent −0,5 et 10, et 9 se situe à l’intérieur, donc il s’agit d’une valeur signalée par la règle intérieure seulement — légèrement inhabituelle plutôt qu’extrême. C’est en rapportant les barrières éloignées séparément que cette distinction devient visible au lieu de se réduire à un oui ou non.

2. Deux signalées, une de chaque côté

   1. Q1 = 3,75 et Q3 = 9,25, donc IQR = 5,5 et 1,5 × IQR = 8,25
   2. Les barrières valent 3,75 − 8,25 = −4,5 et 9,25 + 8,25 = 17,5 ; les barrières éloignées valent 3,75 − 16,5 = −12,75 et 9,25 + 16,5 = 25,75
   3. 20 est au-dessus de 17,5 mais à l’intérieur de 25,75 ; 30 est au-dessus de 25,75. Les deux comptent comme signalées, donc le total est 2

   Les deux valeurs signalées ne sont pas aussi extrêmes l’une que l’autre, et le seul nombre les confond. 20 franchit la barrière intérieure, 30 franchit la barrière éloignée, et la liste imprimée les garde par ordre croissant pour que vous voyiez laquelle est laquelle. La barrière éloignée n’est pas un second seuil à franchir pour être signalée : une valeur située entre les deux barrières est déjà signalée.

3. Quand toutes les valeurs sont identiques sauf une

   1. Q1 = 1 et Q3 = 1, donc IQR = 0 et 1,5 × IQR = 0
   2. Les deux barrières se confondent en 1 : la barrière inférieure vaut 1 − 0 = 1 et la supérieure 1 + 0 = 1
   3. 2 est strictement au-dessus de 1, donc elle est signalée — alors même que l’écart interquartile est nul

   Un écart interquartile nul donne l’impression que la règle devrait s’éteindre, et il n’en fait rien. Quand presque toutes les valeurs sont identiques, celle qui diffère est par définition le seul point qui s’écarte nettement, et la règle le dit. Pour obtenir le résultat inverse — rien de signalé — il faut que toutes les valeurs soient égales, et alors les barrières tombent exactement sur cette valeur et la comparaison, étant stricte, ne retient rien.

Cette page rapporte les valeurs signalées par une règle, et cette règle est une convention plutôt qu’un verdict. Le multiplicateur 1,5 est un choix ; la même source qui le donne fournit aussi 3,0 pour une seconde ligne plus extrême, et d’autres manuels et logiciels proposent des tests entièrement différents, fondés sur les scores z ou sur l’écart absolu médian. Il est normal que deux outils ne soient pas d’accord sur une valeur limite, et cela ne veut pas dire que l’un des deux a tort. Une valeur signalée n’est pas non plus automatiquement une erreur : une règle de ce genre ne sait pas distinguer un chiffre mal saisi d’une observation extrême authentique, et la seconde espèce est souvent la mesure la plus précieuse d’un jeu de données. Écarter des points sur la seule foi d’un signalement, c’est ainsi que des analyses s’offrent des conclusions qu’elles n’ont pas gagnées. Les quartiles sont ici calculés par interpolation linéaire entre les deux valeurs centrales, ce qui est la convention la plus répandue mais pas la seule — une source qui arrondit à la valeur observée la plus proche peut placer un quartile à une demi-marche de là et déplacer les barrières d’autant. La liste est plafonnée à 200 valeurs, et un jeton comme « 1,500 » est refusé plutôt que deviné, parce qu’une virgule entre deux chiffres est un séparateur décimal dans certains pays et un séparateur de milliers dans d’autres.

Comment trouve-t-on les valeurs aberrantes d’un ensemble de données ?

Pour trouver les valeurs aberrantes, triez les valeurs et repérez le premier et le troisième quartile, Q1 et Q3. L’écart interquartile vaut Q3 − Q1. Toute valeur sous Q1 − 1,5 × IQR, ou au-dessus de Q3 + 1,5 × IQR, est signalée. Pour la liste 2, 4, 4, 4, 5, 5, 7, 9 les quartiles valent 4 et 5,5, donc l’écart interquartile vaut 1,5, les barrières valent 1,75 et 7,75, et 9 est signalée. La calculatrice ci-dessus imprime les quartiles et les quatre barrières, de sorte que chaque étape se vérifie.

Qu’est-ce qu’une barrière, et pourquoi y en a-t-il quatre ?

Les barrières sont les lignes de coupure auxquelles la règle compare les valeurs — le mot est courant dans les logiciels, tandis que la source d’origine les écrit L1, L2, U1 et U2. Les deux barrières intérieures valent Q1 − 1,5 × IQR et Q3 + 1,5 × IQR ; les barrières éloignées emploient 3,0 au lieu de 1,5 et marquent les valeurs situées encore plus loin. Seule la paire intérieure décide de ce qui est signalé. La paire éloignée est imprimée parce qu’une valeur entre les deux lignes est légèrement inhabituelle tandis qu’une valeur au-delà de la ligne éloignée ne l’est pas, et qu’un simple compte ne peut pas montrer cette différence.

Faut-il supprimer une valeur aberrante une fois qu’elle est signalée ?

Pas sur la seule foi du signalement. La règle dit qu’une valeur s’écarte nettement des autres ; elle ne peut pas dire pourquoi. La même référence note qu’une valeur aberrante peut indiquer des données fautives — un chiffre mal saisi, un capteur défaillant, une unité entrée dans la mauvaise colonne — et dans ces cas le point doit être corrigé ou retiré. Mais il peut tout aussi bien s’agir d’une mesure authentique, et souvent de la plus informative de l’ensemble. Avant de retirer quoi que ce soit, cherchez la raison : vérifiez l’enregistrement d’origine, le journal de l’instrument ou les conditions qui l’ont produit. Retirer des points parce qu’une règle les a signalés, c’est ainsi qu’un jeu de données se fait élaguer jusqu’à dire ce que quelqu’un voulait entendre.

Pourquoi un autre outil signale-t-il une valeur différente ?

Parce que le multiplicateur 1,5 est une convention, pas une loi. La référence qui donne 1,5 donne aussi 3,0 pour la seconde ligne, et il existe des règles entièrement différentes fondées sur les scores z — l’une compare la distance de chaque valeur à la moyenne avec l’écart type, une autre emploie l’écart absolu médian avec un seuil de 3,5. Les conventions de quartile diffèrent aussi : cette page interpole entre les deux valeurs centrales, tandis que certaines sources arrondissent à la valeur observée la plus proche, ce qui peut déplacer une barrière juste au-delà d’un point limite. Que deux outils ne soient pas d’accord sur une valeur proche d’une barrière est attendu, et c’est une raison de regarder cette valeur, pas une raison de se défier de l’un des outils.

Et si l’écart interquartile est nul ?

La règle tourne quand même, et elle signale encore des valeurs. Si Q1 et Q3 valent tous deux 1, l’écart interquartile vaut 0, donc 1,5 × IQR vaut 0 aussi, les deux barrières tombent exactement sur 1, et toute valeur strictement supérieure à 1 est signalée — pour la liste 1, 1, 1, 1, 1, 2, le 2 est signalé. Cela paraît faux au premier abord, puisqu’un écart interquartile nul semble dire que les données n’ont aucune dispersion. C’est pourtant juste : quand presque toutes les valeurs sont identiques, l’unique valeur qui diffère est précisément celle qui s’écarte nettement. La comparaison est stricte, donc une liste de valeurs toutes identiques ne signale rien — les barrières tombent pile sur cette valeur et rien ne se trouve strictement au-delà.

Est-ce la même chose qu’un test fondé sur le score z ?

Non, et la différence compte. Un score z divise la distance de chaque valeur à la moyenne par l’écart type — mais la moyenne et l’écart type sont tous deux calculés sur l’échantillon entier, valeur aberrante comprise, si bien qu’une seule valeur extrême gonfle l’écart type et peut se cacher elle-même. La règle fondée sur les quartiles n’a pas ce défaut de rétroaction : les quartiles sont des positions, et une valeur très éloignée ne change pas l’endroit où ils tombent. La référence donne d’ailleurs une limite pour l’approche par score z précisément pour cette raison, et elle propose aussi une variante fondée sur l’écart absolu médian, afin que la mesure de dispersion ne soit pas tirée par le point que l’on teste.

• Box Plot — NIST/SEMATECH e-Handbook of Statistical Methods, section 1.3.3.7 (the source of the rule: L1 = lower quartile − 1.5 × IQ and L2 = lower quartile − 3.0 × IQ, with the symmetric U1 and U2, and the two batches of points drawn as small and large circles) — National Institute of Standards and Technology
• Detection of Outliers — NIST/SEMATECH e-Handbook of Statistical Methods, section 1.3.5.17 (defines an outlier as an observation that appears to deviate markedly from the others, notes that an outlier may indicate bad data, and lists several alternative rules, including modified Z-scores above 3.5) — National Institute of Standards and Technology
• valeur aberrante — Grand dictionnaire terminologique (valeur qui s’écarte trop de la moyenne ; la fiche donne l’équivalent anglais outlier et relève du domaine de la statistique) — OQLF — Office québécois de la langue française
• GB/T 3358.1-2009, Statistics — Vocabulary and symbols, Part 1 (the Chinese national vocabulary standard covering the quartiles and the measures of scale this rule is built on; the record page notes that no online full text is offered) — State Administration for Market Regulation, China