Центральная предельная теорема

Среднее: E[X̄] = μ Дисперсия: Var(X̄) = σ² / n Стандартная ошибка: SE = σ / √n

μ

Среднее генеральной совокупности — центр распределения, из которого берутся выборки. Оно возвращается без изменений как среднее выборочного распределения: это первый из трёх результатов и единственный, который верен при любом объёме выборки

σ

Стандартное отклонение генеральной совокупности. Его единицы — единицы данных, и в тех же единицах измеряется стандартная ошибка, поэтому σ и стандартную ошибку можно сравнивать напрямую: стандартная ошибка 2,5 рядом с σ = 15 говорит об объёме выборки, а не о данных

n

Сколько наблюдений в одной выборке — размер каждой выборки, а не их число. Оно входит дважды: как √n под делением и как n в выражении для дисперсии, и эта разница и есть весь практический смысл — дисперсия падает пропорционально n, а стандартная ошибка только его квадратному корню

X̄

Выборочное среднее, рассматриваемое как случайная величина, а не как число. Одна выборка даёт одно X̄, повторение выборки — их распределение, и три результата описывают именно это распределение, а не отдельную выборку

SE

Стандартная ошибка — стандартное отклонение выборочных средних и главный результат страницы. Из неё строится доверительный интервал и на неё делится тестовая статистика, поэтому читать стоит именно её, а не дисперсию, квадратным корнем которой она является

Обращайтесь к ней, когда нужно понять, насколько выборочное среднее может смещаться от выборки к выборке: перед планированием исследования, когда в отчёте встретилась стандартная ошибка и хочется увидеть, откуда она взялась, или когда нужно проверить интуицию насчёт объёма выборки. Обычно эта интуиция состоит в том, что выборка побольше даёт пропорционально более точную оценку, — это не так, потому что стандартная ошибка падает как квадратный корень. Переход от 100 наблюдений к 400 уменьшает разброс оценки вдвое, а следующее такое же уменьшение стоит уже 1600 наблюдений. Два верхних результата верны для любой формы распределения, поэтому ими можно пользоваться, ещё ничего не зная о распределении. Чего страница сказать не может — достаточно ли конкретного n, чтобы выборочное среднее было примерно нормальным: это зависит от скошенности исходного распределения и остаётся суждением, а не расчётом.

1. Значения по умолчанию: совокупность со средним 100 и стандартным отклонением 15, выборки по 36 наблюдений

   1. Дисперсия выборочных средних: σ² / n = 225 / 36 = 6,25
   2. Стандартная ошибка: √6,25 = 2,5
   3. Среднее выборочных средних: 100, то есть среднее генеральной совокупности без изменений
   4. Сравните с σ = 15: выборка по 36 наблюдений сужает разброс в 6 раз, а это и есть √36

   И 15, и 36 выбраны так, чтобы арифметику можно было проделать в уме: 225 разделить на 36 — это 6,25, а корень из неё — ровно 2,5. На третью строку стоит посмотреть дважды именно потому, что она выглядит как отсутствие результата: среднее всех выборочных средних равно среднему генеральной совокупности при любом объёме выборки, и это факт о математическом ожидании, а не приближение. Увидеть 100 = 100 — и есть смысл этой строки, поэтому она печатается, хотя лишь повторяет введённое число.

2. Та же совокупность, но выборки по 9 наблюдений вместо 36

   1. Выборка вчетверо меньше, поэтому дисперсия вчетверо больше: 225 / 9 = 25
   2. Стандартная ошибка: √25 = 5
   3. Среднее по-прежнему 100 — уменьшение выборки изменило разброс и ничего больше
   4. По сравнению с первым примером n упало вчетверо, а стандартная ошибка выросла только вдвое

   Эта пара примеров делает закон квадратного корня наглядным: уменьшите выборку вчетверо, и стандартная ошибка вырастет всего вдвое, потому что с n масштабируется именно дисперсия. В обратную сторону это объясняет, почему точность так дорого стоит: четырёхкратная выборка покупает двукратное улучшение, а следующее двукратное стоит шестнадцатикратной исходной выборки. Любое решение об объёме выборки — это такой обмен, и таблица ниже показывает его на более широком диапазоне n.

3. Выборка из одного наблюдения оставляет разброс нетронутым

   1. При n = 1 выборочное среднее — это единственное наблюдение, поэтому выборочное распределение совпадает с самой генеральной совокупностью
   2. Дисперсия: 225 / 1 = 225, то есть σ²
   3. Стандартная ошибка: √225 = 15, то есть σ
   4. Среднее выборочных средних всё ещё равно 100

   На край диапазона n = 1 стоит посмотреть, потому что он закрепляет всю идею: выборка из одного наблюдения — это одно извлечение из совокупности, ничего не усреднено, и стандартная ошибка равна самому стандартному отклонению генеральной совокупности. Любой другой объём выборки — это та же отправная точка, делённая на √n. Страница принимает n = 1, а не требует хотя бы двух наблюдений, потому что это законный и поучительный ввод: выборочное распределение просто ещё не сужено выборкой.

Два тождества в начале формулы верны для любой совокупности и любого n, но описывают только первые два момента выборочного распределения. Третье утверждение теоремы — приблизительная нормальность — то, на чём держится почти всё практическое применение, и именно его эта страница проверить не может, потому что требуемый объём выборки зависит от скошенности исходного распределения: для примерно симметричной совокупности часто хватает 10 наблюдений, а распределению с длинным хвостом могут понадобиться сотни, прежде чем выборочное среднее успокоится. Относитесь к широко повторяемому порогу в 30 наблюдений как к эмпирическому правилу, а не как к результату. Формула также предполагает, что наблюдения независимы, а это нарушается при бесповторном отборе из небольшой совокупности: страница об объёме выборки применяет соответствующую поправку и запросит меньше людей, чем следует из этой страницы. Здесь ничего не оценивается по данным: оба входа — параметры генеральной совокупности, и если у вас есть только выборочное стандартное отклонение, то разницу знает страница о доверительном интервале.

Чем стандартное отклонение отличается от стандартной ошибки?

Стандартное отклонение показывает, насколько отдельные наблюдения удалены от среднего; стандартная ошибка — насколько выборочное среднее удалено от среднего генеральной совокупности. Второе есть первое, делённое на √n, и в этом делении состоит вся разница: совокупность с σ = 15 разбросана одинаково, возьмёте вы из неё 9 наблюдений или 900, но среднее по 900 наблюдениям ложится втрое ближе к истине, чем среднее по 100. Поэтому σ выражается в единицах самих данных, а стандартная ошибка уменьшается по мере роста исследования — и поэтому же именно она идёт в доверительный интервал или в тестовую статистику.

Меняется ли среднее выборочных средних, если брать выборки большего объёма?

Нет, и это тот результат, в который труднее всего поверить. Среднее выборочного распределения равно среднему генеральной совокупности при любом объёме выборки, начиная с n = 1, потому что усреднение не сдвигает оценку ни в одну из сторон — оно лишь делает её менее изменчивой. Распределение выборочных средних становится уже и выше вокруг того же центра. Объём выборки покупает точность, но никогда не правильность: он сужает разброс оценки, не сдвигая то место, вокруг которого оценка центрирована. Смещённый способ отбора, напротив, сдвигает центр, и никакой объём выборки его не вернёт — поэтому эти два вида ошибок стоит различать.

Какой должна быть выборка, чтобы работала центральная предельная теорема?

Это зависит от формы совокупности, и единого порога, годного для всех случаев, не существует. Симметричная совокупность хорошо ведёт себя уже при n = 10, а сильно скошенной может понадобиться несколько сотен наблюдений, прежде чем выборочное среднее станет близким к нормальному. Знакомое правило «тридцати наблюдений» пришло из имитационных исследований умеренно скошенных данных и остаётся разумным значением по умолчанию, а не теоремой. Зато центр и разброс страница даёт вообще без предположений о форме: среднее и стандартная ошибка точны при любом n. В большом объёме выборки нуждается только нормальное приближение, и его требование наследуют лишь доверительные интервалы и p-значения, построенные на нём.

Почему дисперсия выборочных средних так намного меньше дисперсии данных?

Потому что усреднение взаимно гасит независимые ошибки отдельных наблюдений, и это гашение идёт пропорционально объёму выборки, тогда как стандартная ошибка, которую обычно и сравнивают, — пропорционально его квадратному корню. При σ = 15 и n = 36 дисперсия падает с 225 до 6,25, то есть в 36 раз, а стандартное отклонение — с 15 до 2,5, то есть всего в 6 раз. Обе строки печатаются именно поэтому. Дисперсия — та форма, в которой теорему обычно формулируют, а стандартная ошибка — та, которой пользуются, и разрыв между двумя множителями и есть квадратный корень.

Это то же самое, что калькулятор стандартной ошибки?

Они считают одну и ту же величину по разным входным данным, и какая страница нужна, зависит от того, что у вас есть. Эта страница берёт стандартное отклонение генеральной совокупности и объём выборки — значения, которые существуют до сбора данных, — и подходит для планирования исследования или проверки интуиции о том, как n управляет точностью. Калькулятор стандартной ошибки берёт саму выборку и вычисляет стандартное отклонение по ней; к нему обращаются, когда данные уже на руках, а значение для совокупности неизвестно. Их разделяет ровно один шаг оценивания, и последствия этой разницы видны на странице о доверительном интервале.

• 1.3.6.1. What is a Probability Distribution — e-Handbook of Statistical Methods (a sample statistic as a quantity with its own distribution, which is the object this page describes) — National Institute of Standards and Technology (NIST)
• 1.3.6.7.1. Cumulative Distribution Function of the Standard Normal Distribution — e-Handbook of Statistical Methods (the curve the sampling distribution approaches as the sample grows, and the table it is read from) — National Institute of Standards and Technology (NIST)
• 3.1 Terminology — Introductory Statistics 2e (the law of large numbers: sample averages settling towards the population mean as the sample grows, which is the behaviour the mean of sample means states exactly) — OpenStax (Rice University)