Калькулятор теоремы Байеса

P(A | E) = P(E | A) · P(A) / [ P(E | A) · P(A) + P(E | ¬A) · P(¬A) ]

P(A)

Априорная вероятность события, введённая в процентах, — то, что вы считали верным до прихода свидетельства. Она весит больше, чем от неё ждут: когда она мала, сдвинуть её далеко стоит очень большого количества свидетельств

P(E | A)

Вероятность увидеть свидетельство при наличии события. В тесте это чувствительность — доля настоящих случаев, которые тест ловит

P(E | ¬A)

Вероятность увидеть то же свидетельство при отсутствии события. В тесте это доля ложных срабатываний, и именно она наносит основной ущерб, когда оказывается не малой

P(¬A)

Вероятность отсутствия события, то есть 100 % минус априорная. Знаменатель складывает два способа, которыми свидетельство может появиться, взвешивая каждый по тому, насколько часто встречается его состояние

P(E)

Общая вероятность свидетельства в популяции, независимо от того, есть событие или нет. Это знаменатель, и панель показывает его отдельно, потому что именно малое значение здесь заставляет апостериорную вероятность двигаться резко

P(A | E)

Апостериорная вероятность: убеждение после свидетельства. Панель показывает и её дополнение — фраза «тест положительный, и всё ещё есть 85 % шансов, что состояния нет» часто передаёт число лучше, чем само число

Сама теорема Байеса — это правило пересчёта убеждения по свидетельству. Формула нужна всюду, где результат теста приходится читать на фоне того, насколько часто искомое встречается на самом деле: скрининг в популяции с низкой распространённостью, спам-фильтр, читающий слово, проверка редкой неисправности или любая ситуация, где положительный результат принимают за доказательство. Это же инструмент для обратной задачи — понять, насколько хорошим должен быть тест, чтобы положительный результат вообще что-то значил; это число обычно полезнее, чем апостериорная вероятность при одном конкретном априорном значении. Беритесь за него, когда априорную вероятность есть чем обосновать; когда о ней нет никакого представления, честный ответ состоит в том, что апостериорная вероятность будет определяться этим незнанием, и панель покажет ровно насколько.

1. Состояние у 1 %, чувствительность 90 % и ложные срабатывания 5 %

   1. Возьмём 10 000 человек: примерно у 100 есть состояние, у 9900 — нет
   2. Из 100 человек с состоянием 90 % дают положительный результат — около 90 истинно положительных
   3. Из 9900 человек без состояния 5 % тоже дают положительный результат — около 495 ложно положительных
   4. Значит, положительный результат приходит от 90 + 495 = 585 человек, и 90 / 585 = 15,38 %

   Это тот случай, вокруг которого построена вся страница, и арифметика в шагах объясняет почему. Счёт по людям делает механизм видимым: доля ложных срабатываний применяется к группе в девяносто девять раз большей, чем группа с состоянием, поэтому и даёт в пять с половиной раз больше положительных результатов, чем даёт чувствительность. Апостериорная вероятность 15,38 % — не утверждение, что тест плох (чувствительность 90 % хороша), а утверждение, что состояние было достаточно редким, чтобы ошибки перевесили попадания. Дополнение 84,62 % говорит то же самое с другой стороны, а сдвиг в 14,38 процентного пункта — это то, чего здесь реально стоит один тест такого качества.

2. Состояние у 2 % и тест с точностью 99 %

   1. Возьмём 10 000 человек: примерно у 200 есть состояние, у 9800 — нет
   2. Из 200 человек с состоянием 99 % дают положительный результат: около 198 истинно положительных
   3. Из 9800 человек без состояния 1 % всё равно дают положительный результат: около 98 ложно положительных
   4. Положительный результат приходит от 198 + 98 = 296 человек, и 198 / 296 = 66,89 %

   Даже тест, ошибающийся лишь один раз из ста, оставляет треть своих положительных результатов ошибочными, потому что применяется к группе в сорок девять раз большей. Поднимите точность до 99,9 % при тех же 452 человеках на 10 000 — и апостериорная вероятность уходит за 95 %, что показывает: эти два рычага не заменяют друг друга. Чувствительность задаёт, сколько будет попаданий, а доля ложных срабатываний — в каком шуме они утонут; улучшение второго обычно покупает куда больше, чем улучшение первого, и этот пример — самый дешёвый способ увидеть это до заказа лучшего теста.

3. Свидетельство против события

   1. Начнём с равного априорного значения: 50 % за событие и 50 % против
   2. При отсутствии события свидетельство в пять раз вероятнее (90 % против 5 %)
   3. Знаменатель равен 0,05 × 0,5 + 0,9 × 0,5 = 0,475, то есть само свидетельство довольно вероятно
   4. Апостериорная вероятность равна 0,025 / 0,475 = 5,26 %, это падение на 44,74 процентного пункта

   Отрицательный сдвиг — та часть, на которой стоит задержаться, и та, ради которой единица измерения в процентных пунктах и существует. Падение с 50 % до 5,26 % — это снижение на 44,74 процентного пункта; это не падение на 44,74 %, которое означало бы, что апостериорная вероятность оказалась около 27,6 %. Читать сдвиг как относительное изменение — стандартный способ переврать эту панель, а знак — то, что говорит, в какую сторону указало свидетельство. Заметьте также, что свидетельство здесь ничем не примечательно (47,5 % шансов появиться вообще) и всё же сильно информативно, потому что информативность даёт отношение двух правдоподобий, а не редкость самого свидетельства.

Апостериорная вероятность ровно настолько хороша, насколько хороши три введённых числа, и априорная вероятность — то из них, которое люди сильнее всего склонны выдумать. Когда состояние редкое, результат определяется априорным значением и долей ложных срабатываний, поэтому оптимистичная догадка в любом из них даёт уверенный и неверный ответ — панель не может сообщить вам, что априорное значение было догадкой. Две дополнительные оговорки. Правдоподобия считаются точными, поэтому чувствительность, взятая из маленького валидационного исследования, используется с точностью, которой у неё нет. И расчёт сделан для одного свидетельства, прочитанного один раз: применить один и тот же тест дважды — не то же самое, что применить два независимых теста, потому что второй результат того же неидеального инструмента коррелирует с первым; подстановка апостериорной вероятности обратно как нового априорного значения завысит вклад второго теста. Когда свидетельство невозможно ни при одном состоянии — оба правдоподобия по 0 %, или доля ложных срабатываний 0 % при априорной 0 % — знаменатель равен нулю и апостериорной вероятности нет, потому что обусловливание на том, чего не может произойти, не является вопросом с ответом.

Почему тест с точностью 90 % даёт лишь 15 % шансов, что состояние есть?

Потому что точность на людях с состоянием и точность на людях без него — два разных числа, и второе умножается на куда большую группу. При распространённости 1 % людей без состояния в девяносто девять раз больше, чем с ним, поэтому доля ложных срабатываний 5 % даёт сотни ложных результатов там, где чувствительность 90 % даёт десятки настоящих. Тест делает свою работу; состояние просто достаточно редкое, чтобы его ошибки перевесили попадания. Так работает базовая частота, и поэтому априорная вероятность — обязательный вход, а не запоздалая мысль.

Что за процентные пункты в строке сдвига?

Это разница между априорной и апостериорной вероятностью, измеренная в процентных пунктах, а не как относительное изменение. Переход с 50 % на 5,26 % — сдвиг на −44,74 процентного пункта; это не падение на 44,74 %, которое означало бы, что апостериорная вероятность оказалась около 27,6 %. Разница особенно важна при больших сдвигах, где относительное чтение грубо неверно, а знак говорит, в какую сторону толкнуло свидетельство: отрицательный сдвиг означает, что свидетельство было против события.

Можно ли взять апостериорную вероятность как априорную для следующего теста?

Только если второе свидетельство действительно независимо от первого. Два результата одного и того же теста независимыми не являются: ложное срабатывание в одном прогоне делает ложное срабатывание в следующем более вероятным, потому что у инструмента один и тот же изъян оба раза. Подстановка апостериорной вероятности обратно как нового априорного значения всё равно завысит вклад второго результата — иногда сильно. Когда свидетельства действительно независимы, обновление в два шага даёт тот же ответ, что и обновление сразу по обоим кускам, так что этот сокращённый путь безопасен ровно тогда, когда выполнено допущение о независимости.

Что означает строка с общей вероятностью свидетельства?

Это общие шансы увидеть свидетельство вообще, есть состояние или нет, — знаменатель теоремы, взвешивающий каждое правдоподобие по частоте его состояния. Его стоит показывать, потому что оно объясняет размер скачка: когда свидетельство в целом редкое, далёкая от априорной апостериорная вероятность ожидаема, а когда свидетельство обычное, чтобы сдвинуть хоть что-то, нужно сильное отношение правдоподобий. В первом примере свидетельство появляется у 5,85 % людей, и именно поэтому один положительный результат может сдвинуть убеждение так далеко.

Когда ответа нет совсем?

Когда свидетельство невозможно ни при одном состоянии: тогда знаменатель равен нулю и обусловливание на нём не определено. Так бывает, если оба правдоподобия равны 0 %, если априорная вероятность 0 % и доля ложных срабатываний 0 %, или если априорная 100 % и чувствительность 0 % — во всех этих случаях свидетельство произойти не может, поэтому «при условии свидетельства» — пустое условие. Панель сообщает об ошибке вместо ответа 0 % или 50 %, потому что вероятности для сообщения здесь нет, а не потому что она равна нулю.

Калькулятор выдаёт ещё и отношение правдоподобий?

Нет, и причина в том, что форма через шансы ломается на краях диапазона ввода. Шансы события — это его вероятность, делённая на единицу минус эта вероятность, поэтому априорная вероятность 100 % даёт бесконечные шансы, и вывод такого числа сломал бы панель результатов, а не проинформировал бы кого-то. Ту же работу выполняет строка сдвига в форме, которая выдерживает любое допустимое значение ввода: она говорит, насколько и в какую сторону одно свидетельство двигает убеждение, а это обычно и есть вопрос, стоящий за просьбой об отношении правдоподобий.

• Bayes' Theorem — Stanford Encyclopedia of Philosophy (the theorem itself, its special forms including the odds form, and the subjectivist reading of probability as degree of belief) — Stanford Encyclopedia of Philosophy, Stanford University
• 3.3 Two Basic Rules of Probability — Introductory Statistics 2e (the multiplication rule and conditional probability, which are the two pieces the posterior is assembled from) — OpenStax, Rice University
• 3.5 Tree and Venn Diagrams — Introductory Statistics 2e (the tree-diagram route to the same posterior, which is the count-of-people arithmetic used in the worked examples above) — OpenStax, Rice University