Калькулятор выбросов

нижняя граница = Q1 − 1,5 × IQR · верхняя граница = Q3 + 1,5 × IQR

Q1

Первый квартиль — 25-й процентиль, значение, на котором или ниже которого лежит четверть данных. На нём держится нижняя граница

Q3

Третий квартиль — 75-й процентиль. Вместе с Q1 он ограничивает среднюю половину данных, и на нём держится верхняя граница

IQR

Межквартильный размах, Q3 − Q1: ширина средней половины данных. Умножение его на 1,5 и задаёт, насколько далеко за пределы этой средней половины должно выйти значение, чтобы его пометили

нижняя граница

Q1 − 1,5 × IQR. Значение строго ниже этой черты помечается, а значение ровно на ней — нет, и поэтому список из одинаковых значений не помечает ничего

верхняя граница

Q3 + 1,5 × IQR. Значение строго выше этой черты помечается. Обычно эти две границы называют английским словом fence, а источник, откуда правило взято, записывает их как L1 и U1

n

Сколько значений вошло в расчёт, здесь не больше двухсот. Границы строятся из квартилей, поэтому более длинный список сдвигает квартили и может изменить то, какие значения окажутся помеченными

Берите его, когда нужно узнать, необычно ли значение на фоне остальной выборки, прежде чем решать, что с ним делать: месячная доходность, в десять раз превышающая остальные, показание датчика, выпадающее из ряда соседних, оценка за тест, сильно отстающая от всего класса. Правило межквартильного размаха, или правило 1,5 × IQR, которое иногда называют правилом Тьюки по имени того, кто его популяризовал, — стандартный первый проход, потому что оно ничего не предполагает о форме данных, в отличие от правила, построенного на среднем и стандартном отклонении, которое само искажается теми самыми крайними значениями, ради поиска которых оно и применяется. Чего эта страница не умеет — сказать, помеченное значение это ошибка или настоящий экстремальный результат. Экстремальные значения и ошибки — разные вещи: выброс может указывать на плохие данные, а может оказаться самым интересным измерением в наборе. Межквартильный размах намеренно игнорирует хвосты, поэтому его не раскачивают как раз те значения, которые и проверяются.

1. Восемь значений, помечено одно

   1. Q1 = 4 и Q3 = 5,5, поэтому IQR = 5,5 − 4 = 1,5
   2. 1,5 × IQR = 2,25, откуда нижняя граница 4 − 2,25 = 1,75, а верхняя 5,5 + 2,25 = 7,75
   3. 9 стоит выше 7,75, поэтому помечено; все остальные значения лежат внутри границ

   Дальние границы равны −0,5 и 10, и 9 находится внутри них, значит, это значение, помеченное только внутренним правилом: слегка необычное, а не экстремальное. Именно отдельная печать дальних границ и делает это различие видимым, вместо того чтобы оставить ответ в виде да или нет.

2. Помечено два значения, по одному за каждой парой границ

   1. Q1 = 3,75 и Q3 = 9,25, поэтому IQR = 5,5, а 1,5 × IQR = 8,25
   2. Границы равны 3,75 − 8,25 = −4,5 и 9,25 + 8,25 = 17,5; дальние границы равны 3,75 − 16,5 = −12,75 и 9,25 + 16,5 = 25,75
   3. 20 стоит выше 17,5, но внутри 25,75; 30 стоит выше 25,75. Оба считаются помеченными, поэтому всего их 2

   Два помеченных значения экстремальны не одинаково, и одно только их число это скрывает. 20 переходит внутреннюю границу, 30 переходит дальнюю, и напечатанный список сохраняет их в возрастающем порядке, так что видно, кто есть кто. Дальняя граница — не второй порог, который значения обязаны перейти, чтобы попасть в счёт: значение между двумя границами уже помечено.

3. Когда все значения одинаковы, кроме одного

   1. Q1 = 1 и Q3 = 1, поэтому IQR = 0 и 1,5 × IQR = 0
   2. Обе границы схлопываются на 1: нижняя равна 1 − 0 = 1, верхняя равна 1 + 0 = 1
   3. 2 строго выше 1, поэтому помечено — несмотря на то что межквартильный размах равен нулю

   Межквартильный размах, равный нулю, выглядит так, будто должен выключить правило, — и не выключает. Когда почти все значения одинаковы, то единственное, которое отличается, по определению и есть единственная точка, резко отклоняющаяся от остальных, и правило об этом и говорит. Чтобы получить обратный результат — ничего не помечено, — одинаковыми должны быть все значения: тогда границы лягут ровно на это значение, а сравнение строгое.

Эта страница сообщает значения, помеченные одним правилом, а это правило — договорённость, а не приговор. Множитель 1,5 — это выбор; тот же источник, откуда он взят, даёт ещё и 3,0 для второй, более дальней черты, а другие учебники и программы предлагают иные проверки, построенные на z-оценках или на медианном абсолютном отклонении. То, что два инструмента расходятся насчёт пограничного значения, нормально и не означает, что один из них неправ. Помеченное значение к тому же не обязательно ошибка: такое правило не отличает опечатку в цифре от настоящего экстремального наблюдения, а второй случай часто оказывается самым ценным измерением в наборе. Удалять точки только потому, что их пометило правило, — это и есть способ, которым анализ приобретает выводы, которых он не заслужил. Квартили здесь считаются линейной интерполяцией между двумя средними значениями: это самая распространённая договорённость, но не единственная — источник, округляющий до ближайшего наблюдённого значения, может поставить квартиль на полшага в сторону и сдвинуть вместе с ним границы. Список ограничен двумястами значениями, а запись вида 1,500 отклоняется, а не угадывается: запятая между цифрами в одних странах десятичная, в других разделяет разряды.

Как найти выбросы в наборе данных?

Отсортируйте значения и найдите первый и третий квартили, Q1 и Q3. Межквартильный размах равен Q3 − Q1. Всякое значение ниже Q1 − 1,5 × IQR или выше Q3 + 1,5 × IQR помечается. Для списка 2, 4, 4, 4, 5, 5, 7, 9 квартили равны 4 и 5,5, поэтому межквартильный размах равен 1,5, границы равны 1,75 и 7,75, а 9 помечено. Калькулятор выше печатает квартили и все четыре границы, так что каждый шаг можно проверить.

Что такое граница и почему их четыре?

Границы — это те черты, с которыми правило сравнивает значения (в программах их обычно называют английским словом fence, а источник записывает как L1, L2, U1 и U2). Две внутренние границы — это Q1 − 1,5 × IQR и Q3 + 1,5 × IQR; дальние используют 3,0 вместо 1,5 и отмечают значения, ушедшие ещё дальше. Помечает значения только внутренняя пара. Дальняя пара печатается потому, что значение между двумя чертами слегка необычно, а значение за дальней чертой — уже нет, и одно число этой разницы не покажет.

Удалять ли выброс, раз его пометили?

Не на основании одной пометки. Правило говорит, что значение резко отклоняется от остальных; почему — оно сказать не может. Тот же источник замечает, что выброс может указывать на плохие данные: опечатка в цифре, неисправный датчик, единица измерения, введённая не в ту колонку, — и в этих случаях точку надо исправить или убрать. Но это может быть и настоящее измерение, и часто самое информативное в наборе. Прежде чем что-то убирать, найдите причину: проверьте исходную запись, журнал прибора или условия, в которых значение получилось. Удаление точек из-за того, что их пометило правило, — так набор данных и подрезают до тех пор, пока он не начнёт говорить то, что кому-то хотелось.

Почему другой инструмент помечает другое значение?

Потому что множитель 1,5 — договорённость, а не закон. Источник, дающий 1,5, даёт ещё и 3,0 для второй черты, а есть и совсем другие правила, построенные на z-оценках: одно сравнивает расстояние каждого значения от среднего со стандартным отклонением, другое использует медианное абсолютное отклонение с порогом 3,5. Различаются и договорённости о квартилях: эта страница интерполирует между двумя средними значениями, а некоторые источники округляют до ближайшего наблюдённого значения, что может сдвинуть границу сразу за пограничную точку. То, что два инструмента расходятся насчёт значения возле границы, ожидаемо, и это повод взглянуть на само значение, а не повод не доверять одному из инструментов.

А если межквартильный размах равен нулю?

Правило всё равно работает и всё равно помечает значения. Если Q1 и Q3 оба равны 1, межквартильный размах равен 0, значит, и 1,5 × IQR равно 0, обе границы ложатся ровно на 1, и всякое значение строго выше 1 помечается: в списке 1, 1, 1, 1, 1, 2 помечено будет 2. Сначала это выглядит неверным, ведь нулевой межквартильный размах как будто говорит, что разброса у данных нет. Но это верно: когда почти все значения одинаковы, единственное отличающееся и есть ровно то, что резко отклоняется от остальных. Сравнение строгое, поэтому список из одинаковых значений не помечает ничего — границы падают на само это значение, и строго за ними нет ничего.

Это то же самое, что проверка по z-оценке?

Нет, и разница существенна. z-оценка делит расстояние каждого значения от среднего на стандартное отклонение — но и среднее, и стандартное отклонение считаются по всей выборке, включая сам выброс, поэтому одно крайнее значение раздувает стандартное отклонение и может спрятать само себя. У правила на квартилях такой обратной связи нет: квартили — это позиции, и значение, ушедшее далеко, не меняет того, где они лежат. Именно поэтому в источнике для подхода через z-оценку приведён предел, и там же предлагается вариант на медианном абсолютном отклонении, чтобы мера разброса не раскачивалась той самой точкой, которую проверяют.

• Box Plot — NIST/SEMATECH e-Handbook of Statistical Methods, section 1.3.3.7 (the source of the rule: L1 = lower quartile − 1.5 × IQ and L2 = lower quartile − 3.0 × IQ, with the symmetric U1 and U2, and the two batches of points drawn as small and large circles) — National Institute of Standards and Technology
• Detection of Outliers — NIST/SEMATECH e-Handbook of Statistical Methods, section 1.3.5.17 (defines an outlier as an observation that appears to deviate markedly from the others, notes that an outlier may indicate bad data, and lists several alternative rules, including modified Z-scores above 3.5) — National Institute of Standards and Technology