Априорная и апостериорная вероятность
Как уверенность пересчитывается после каждого наблюдения
Байесовское обновление это пересчёт уверенности после каждого наблюдения: априорная вероятность каждой гипотезы умножается на правдоподобие (вероятность увиденного при этой гипотезе), и результаты нормируются, чтобы снова сложиться в единицу. Апостериорное распределение становится априорным для следующего наблюдения. Силу свидетельства измеряет отношение правдоподобий, и оно от априора не зависит.
MIT 18.05, занятия 11-13 · Stat 110 · 45 мин · обновлено 01.10.2026
После урока вы сможете
- Записывать то, что известно до данных, в виде априорного распределения
- Доводить до конца пересчёт уверенности после каждого свидетельства
- Измерять силу свидетельства отношением правдоподобий и читать его словами
- Отвечать на возражение о субъективности априора, не отмахиваясь от него
На склад пришла коробка деталей без маркировки. Известно, что она с одной из двух линий: на первой брак случается в 10 % случаев, на второй в 30 %. По журналу поставок первая линия отгружает четыре коробки из пяти.
Ничего ещё не проверив, вы уже кое-что знаете: шансы на то, что коробка с первой линии, равны четырём к одному. Это не догадка, а запись имеющегося сведения в удобной форме.
Теперь достаём детали по одной. Первая бракованная. Вторая бракованная. Третья тоже. После каждой уверенность в том, откуда коробка, надо пересчитывать, и весь урок про то, как именно это делается и что означает результат.
В пятом уроке теорема Байеса появилась как разовый расчёт: базовая частота, точность теста, ответ. Здесь она работает иначе, как процедура, которую применяют повторно, и на выходе не одно число, а распределение уверенности по всем рассматриваемым вариантам.
Априор: то, что известно до данных
Априорное распределение это ответ на вопрос «во что вы верили до того, как посмотрели на данные», записанный числами. Требование к нему ровно одно: перечислены все рассматриваемые варианты и вероятности сложены в единицу.
В нашем случае вариантов два, и априор берётся из журнала поставок: 0,8 для первой линии, 0,2 для второй. Это не мнение, а частота, которую можно проверить по документам. Так бывает не всегда, и последний раздел урока говорит о том, что делать, когда журнала нет.
Существенно, что априор остаётся распределением, а не числом. Даже когда гипотез две, вы держите пару чисел, а не одно. Когда гипотез двадцать, чисел будет двадцать. Это и отличает байесовский вывод от привычной проверки «да или нет»: на выходе всегда картина целиком, а не вердикт по одной гипотезе.
Второе требование менее очевидно: список гипотез должен быть полным. Если коробка на самом деле пришла с третьей линии, о которой вы не знаете, никакое обновление этого не обнаружит, а арифметика будет исправно перераспределять уверенность между двумя неверными вариантами. Процедура отвечает на вопрос «какая из перечисленных гипотез вероятнее», а не «верна ли хоть одна из них».
Требование объявить априорное распределение обычно предъявляют как претензию к методу. Полезнее видеть в нём дисциплину: расчёт заставляет выписать то, что в других процедурах остаётся невысказанным. Чужой априор можно оспорить и пересчитать с другим, а с невысказанным предположением так не выйдет.
Обновление шаг за шагом
Достали первую деталь, и она бракованная. Пересчитываем.
Правило состоит из трёх действий. Первое: для каждой гипотезы взять вероятность увиденного при этой гипотезе, она и называется правдоподобием. При первой линии брак имеет вероятность 0,1, при второй 0,3. Второе: умножить априорную вероятность на правдоподобие. Получаем 0,8 × 0,1 = 0,08 для первой линии и 0,2 × 0,3 = 0,06 для второй. Третье: разделить оба числа на их сумму, чтобы они снова складывались в единицу. Сумма равна 0,14, значит 0,08 / 0,14 ≈ 0,571 и 0,06 / 0,14 ≈ 0,429.
После одной бракованной детали уверенность в первой линии упала с 80 % примерно до 57 %. Ответ сдвинулся, но не перевернулся: свидетельство говорит против первой линии, а априор стоит за неё.
Вторая деталь тоже бракованная. Теперь априором служит вчерашний апостериор: 0,571 и 0,429. Умножаем: 0,571 × 0,1 = 0,0571 и 0,429 × 0,3 = 0,1286. Сумма 0,1857. Делим: получаем 0,308 и 0,692. Уверенность перевалила за середину, и теперь вероятнее вторая линия, примерно 69 % против 31 %.
Третья бракованная. Считаем так же: 0,308 × 0,1 = 0,0308 и 0,692 × 0,3 = 0,2077, сумма 0,2385, итог 0,129 и 0,871. Около 13 % против 87 %.
Вся история умещается в четыре числа: 80 %, 57 %, 31 %, 13 %. Это уверенность в первой линии до проверки и после каждой из трёх деталей. Каждое свидетельство сдвигает её на понятную величину, и после любого шага можно остановиться и сказать, где вы находитесь.
Одно допущение спрятано в слове «умножаем»: считается, что при известной линии брак в разных деталях возникает независимо. Если брак идёт кусками, например станок сбился и запорол подряд десяток, то вторая и третья бракованные детали почти ничего не добавляют к первой, и расчёт завышает уверенность. Это место, где процедура ломается тише всего: арифметика продолжает работать, а смысла в ней уже нет.
Сила свидетельства: во сколько раз
Считать в три действия каждый раз утомительно, и есть форма записи, в которой обновление сводится к одному умножению. Вместо вероятностей берут шансы, то есть отношение вероятностей двух гипотез.
Априорные шансы здесь 0,8 к 0,2, то есть 4 к 1 в пользу первой линии. Бракованная деталь при первой линии имеет вероятность 0,1, при второй 0,3. Отношение этих правдоподобий равно одной третьей. Правило: апостериорные шансы равны априорным, умноженным на отношение правдоподобий.
Проверим. 4 × 1/3 даёт 4 к 3, ровно те же 57 % против 43 %. Ещё раз: 4 к 9, то есть 31 % против 69 %. Ещё раз: 4 к 27, то есть 13 % против 87 %. Три умножения вместо девяти действий, и видно устройство.
Отношение правдоподобий и есть мера силы свидетельства, а читается оно словами: во сколько раз наблюдение вероятнее при одной гипотезе, чем при другой. Втрое вероятнее при второй линии, значит, каждая бракованная деталь втрое сдвигает шансы в её сторону. Число 3 не зависит ни от априора, ни от того, сколько деталей проверено раньше: это характеристика самого наблюдения.
Теперь противоположный случай. Годная деталь при первой линии имеет вероятность 0,9, при второй 0,7. Отношение равно примерно 1,29. Это свидетельство в пользу первой линии, но слабое: три годных детали подряд сдвигают шансы с 4 к 1 всего до 8,5 к 1, то есть уверенность растёт с 80 % примерно до 89 %. Одна бракованная деталь двигает вывод сильнее, чем три годных, и это не парадокс, а следствие того, что редкое наблюдение различает гипотезы лучше частого.
Отношение около 1 означает, что наблюдение не различает гипотезы: оно одинаково ожидаемо при обеих и уверенность не двигает. Отношение 3 даёт заметный сдвиг, и три таких наблюдения меняют шансы в 27 раз. Отношение 100 перевешивает почти любой разумный априор с одного раза. Резких границ между «слабым» и «сильным» здесь нет, и это, пожалуй, главное отличие от порога значимости: сила свидетельства измеряется непрерывно, а не делится на «есть» и «нет».
Когда априор сильный
Величина сдвига зависит от двух вещей: силы свидетельства и того, откуда начали. Поменяем условие задачи. Пусть журнал показывает, что первая линия отгружает не четыре коробки из пяти, а девяносто девять из ста. Априорные шансы теперь 99 к 1.
Достаём бракованную деталь. Шансы становятся 99 к 3, то есть 33 к 1: вероятность первой линии упала с 99 % примерно до 97 %. После второй бракованной шансы 99 к 9, то есть 11 к 1, около 92 %. После третьей 99 к 27, примерно 79 %. После четвёртой 99 к 81, около 55 %. После пятой 99 к 243, около 29 %.
Здесь стоит остановиться. После первой бракованной детали уверенность сдвинулась всего на два процентных пункта, и со стороны это выглядит упрямством: свидетельство прямо против гипотезы, а расчёт почти не реагирует. Но посмотрите, что означало бы обратное. Если бы одна бракованная деталь при априоре 99 к 1 переворачивала вывод, то коробки с первой линии, где брак случается в одном случае из десяти, регулярно объявлялись бы пришедшими со второй. Малый сдвиг при сильном априоре не консерватизм процедуры, а условие того, чтобы она не ошибалась чаще, чем нужно.
И сдвиг всё-таки происходит. Пять бракованных деталей подряд сносят априор 99 к 1 полностью: было 99 %, стало 29 %. Свидетельства накапливаются перемножением, поэтому сильный априор не делает гипотезу неуязвимой, а только повышает цену, которую данные должны за неё заплатить.
Единственное исключение составляет априор, равный нулю или единице. Ноль, умноженный на любое правдоподобие, остаётся нулём: гипотеза, которой заранее приписана нулевая вероятность, не может её приобрести, сколько бы свидетельств ни пришло. Отсюда практическое правило: не назначать нулевых априорных вероятностей ничему, что в принципе возможно.
Если гипотезе заранее назначена вероятность 0, произведение с любым правдоподобием остаётся нулём, и после нормировки апостериорная вероятность тоже равна нулю, и так при любом объёме данных. То же с другой стороны верно для единицы. Практически это значит, что неполный список гипотез и категорический априор ломают процедуру одинаково: она перестаёт быть чувствительной к данным, продолжая исправно выдавать числа.
Не одно число, а распределение
До сих пор гипотез было две. Работа с распределением видна лучше, когда вариантов больше.
Другая задача. Партия деталей, доля брака в ней неизвестна, и разумно рассмотреть четыре версии: 5 %, 10 %, 20 % и 40 %. Заранее ничего не известно, поэтому берём равномерный априор, по 0,25 на каждую версию.
Проверили одну деталь, и она бракованная. Умножаем каждую априорную вероятность на правдоподобие: 0,25 × 0,05, затем 0,25 × 0,10, 0,25 × 0,20 и 0,25 × 0,40. Множитель 0,25 общий, поэтому после деления на сумму числа относятся как сами правдоподобия: 5 к 10 к 20 к 40, то есть 1 к 2 к 4 к 8. Всего частей 15. Апостериорное распределение даёт 1/15, 2/15, 4/15 и 8/15, то есть около 7 %, 13 %, 27 % и 53 %.
Одно наблюдение, а картина изменилась целиком: версия «5 % брака» почти вытеснена, версия «40 %» стала вероятнее всех остальных вместе взятых. При этом ни одна не отброшена, и в этом смысл работы с распределением: вы не выбираете победителя, а перераспределяете уверенность.
Из распределения можно вынуть одно число, если оно нужно. Ожидаемая доля брака до проверки равна среднему по четырём версиям с равными весами: (5 + 10 + 20 + 40) / 4 = 18,75 %. После проверки веса стали неравными, и то же среднее считается так: (1 × 5 + 2 × 10 + 4 × 20 + 8 × 40) / 15 = 425 / 15 ≈ 28,3 %. Оценка выросла почти на десять процентных пунктов от одной бракованной детали, и видно, за счёт чего именно.
Можно вынуть и интервал, например назвать диапазон, в который апостериорное распределение помещает 90 % уверенности. Такой интервал называют вероятностным, и читается он проще, чем доверительный интервал из восьмого урока: он прямо говорит, где, по принятой модели, лежит величина. Цена этой простоты в том, что априор придётся назвать.
Откуда берётся априор и что делать, когда его нет
Возражение против байесовского подхода почти всегда одно, и оно серьёзное: априор берётся из головы. В задаче с коробками был журнал поставок, но журнала обычно нет. Два добросовестных человека, глядя на одни и те же данные, назначат разные априоры и получат разные апостериорные вероятности, а числа на выходе будут выглядеть одинаково объективно. Хуже того, априор служит удобным местом, чтобы незаметно вложить в расчёт тот вывод, который хочется получить.
Отвечают на это четырьмя способами, и ни один не снимает возражение целиком.
Первый: там, где есть частоты, априор берут из них. Подойдёт доля брака по цеху за год, доля положительных результатов среди проверявшихся гипотез. Если такие данные есть, спор о субъективности заканчивается, не начавшись. Так устроена и учебная задача о медицинском тесте из пятого урока: базовая частота болезни это априор, и он взят из статистики, а не из ощущений.
Второй: когда частот нет, берут априор, который старается ничего не утверждать, то есть равномерный, как в примере с четырьмя версиями. Это не решение, а признание незнания, и у него есть слабое место: равномерность сама по себе есть содержательное утверждение, а на другой шкале то же незнание запишется иначе.
Третий, самый практичный: анализ чувствительности. Расчёт делают при нескольких разных априорах и смотрят, меняется ли вывод. Если при шансах 1 к 1 и при шансах 1 к 20 ответ один и тот же, спорить об априоре незачем. Если ответ переворачивается, то честный результат работы не апостериорная вероятность, а фраза «вывод определяется тем, во что мы верили до данных».
Четвёртый: с накоплением независимых свидетельств влияние априора убывает. Пятая бракованная деталь снесла априор 99 к 1, а при пятидесяти наблюдениях начальные шансы почти не важны. Слабое место ответа в том, что интересные задачи как раз те, где данных мало, а при малых данных априор решает.
И последнее. Частотная процедура априора не требует, но выборов не лишена: какая модель принята за нулевую, какая величина взята в качестве статистики, что считается более крайним результатом, когда решено прекратить сбор данных. Эти выборы влияют на ответ не меньше априора, с той разницей, что их не принято называть допущениями. Об этом следующий урок.
В курсе MIT 18.05 байесовское обновление стоит на занятиях 11-13, проверка значимости нулевой гипотезы дожидается только семнадцатого, а занятие 20 отведено сравнению подходов. Для вводных курсов такая последовательность редка, и она осмысленна: обновление убеждений устроено проще, чем логика отклонения гипотезы, и, разобравшись с ним, легче увидеть, на какой вопрос отвечает p-значение.
Обновление по шагам
Задайте начальную уверенность, затем подавайте свидетельства разной силы. После каждого видно, куда и насколько сдвинулась уверенность.
Ключевые работы
| Orloff, Kamrin, MIT 18.05 «Introduction to Probability and Statistics» | 2022 | Занятия 11-13: байесовское обновление с дискретным априорным распределением, предсказательные вероятности, обновление через шансы и переход к непрерывному априору. |
| Blitzstein, Hwang, «Introduction to Probability», Chapman & Hall | 2014 | Учебник Stat 110: правило Байеса записано в форме шансов, а отношение правдоподобий разобрано как мера силы свидетельства, не зависящая от априора. |
Что здесь путают
Возражение реальное, и отмахиваться от него нельзя: при малых данных ответ действительно определяется априором, а сам априор служит удобным местом, чтобы вложить в расчёт желаемый вывод. Но в этой форме утверждение не работает. Часть априоров берётся из частот и проверяется по документам. Влияние остальных проверяется расчётом при нескольких разных априорах: если вывод не меняется, спорить не о чем, а если меняется, это и есть результат работы, который надо сообщить. И главное: обязанность назвать априор делает допущение оспоримым, тогда как невысказанные допущения других процедур оспорить нельзя.
В форме шансов обновление сводится к умножению априорных шансов на отношения правдоподобий, а произведение от порядка сомножителей не зависит. Промежуточные числа при разном порядке будут разными, итоговое останется одним и тем же, и это проверяется арифметикой за минуту. Оговорка одна, зато существенная: равенство верно, пока наблюдения при заданной гипотезе независимы. Если брак идёт кусками или ответы респондентов влияют друг на друга, перемножать множители нельзя, но тогда неверна модель, а не правило о порядке.
Держится, и в уроке это видно на числах: априор 99 к 1 снесён пятью бракованными деталями. Слово «ненулевой» здесь несущее. Гипотеза с априорной вероятностью 0 остаётся при нуле после любого объёма данных, потому что ноль, умноженный на что угодно, есть ноль. То же с единицей. Второе условие состоит в правильности модели правдоподобия: если вероятности наблюдений при гипотезах посчитаны неверно, накопление данных не исправляет ошибку, а закрепляет её, наращивая уверенность в неверном ответе.
Термины
- априорное распределениеprior distribution
- Распределение вероятностей по рассматриваемым гипотезам до получения данных. Должно перечислять все варианты и складываться в единицу.
- апостериорное распределениеposterior distribution
- То же распределение после учёта данных. Становится априорным для следующего наблюдения.
- правдоподобиеlikelihood
- Вероятность наблюдённых данных при условии, что верна конкретная гипотеза. Считается для каждой гипотезы отдельно.
- отношение правдоподобийlikelihood ratio
- Во сколько раз наблюдение вероятнее при одной гипотезе, чем при другой. Мера силы свидетельства, не зависящая от априора.
- байесовский факторBayes factor
- Множитель, на который данные меняют шансы одной гипотезы против другой. Для двух простых гипотез совпадает с отношением правдоподобий и от априора не зависит.
- шансыodds
- Отношение вероятностей двух исходов: 4 к 1 соответствует вероятности 0,8. В этой форме обновление сводится к одному умножению.
- байесовское обновлениеBayesian updating
- Пересчёт распределения уверенности после каждого нового наблюдения: априор умножается на правдоподобие и нормируется.
- нормировкаnormalization
- Деление полученных произведений на их сумму, чтобы вероятности снова складывались в единицу.
- условная независимостьconditional independence
- Свойство наблюдений не влиять друг на друга при известной гипотезе. Без него перемножать правдоподобия нельзя.
- вероятностный интервалcredible interval
- Интервал, в который апостериорное распределение помещает заданную долю уверенности. Требует априора, зато читается напрямую.
Практикум · Пять свидетельств подряд
Задача в том, чтобы довести до конца одну таблицу обновления и увидеть, где ответ определяется данными, а где априором. Нужны бумага и калькулятор, всё вместе занимает около получаса.
- Выпишите две гипотезы и априорные шансы. Коробка либо со склада A, где доля брака 20 %, либо со склада B, где доля брака 5 %. По журналу поставок коробки со склада A приходят втрое чаще, значит априорные шансы A к B равны 3 к 1.
- Посчитайте два множителя. Для бракованной детали отношение правдоподобий равно 0,20 / 0,05 = 4 в пользу A. Для годной оно равно 0,80 / 0,95 ≈ 0,84, то есть слабо в пользу B. Запишите оба числа рядом и скажите словами, что каждое из них означает.
- Проверьте шесть деталей в таком порядке: годная, годная, брак, годная, годная, годная. Умножайте шансы по одному наблюдению и записывайте результат после каждого: 3 → 2,53 → 2,13 → 8,51 → 7,17 → 6,03 → 5,08. Переведите последнее число в вероятность: 5,08 / (5,08 + 1) ≈ 0,84, то есть около 84 % за склад A.
- Убедитесь, что порядок не важен. Посчитайте то же самое одним выражением: 3 × 4 × 0,84 в пятой степени. Должно получиться примерно 5,0-5,1, то же, что в шаге 3, с точностью до округления.
- Сделайте анализ чувствительности. Пересчитайте итог для тех же шести наблюдений при априорных шансах 1 к 1 и 20 к 1: получится около 1,7 (вероятность примерно 63 %) и около 33,9 (примерно 97 %). Выпишите три ответа в столбик и назовите априорные шансы, ниже которых версия «коробка со склада A» перестаёт быть более вероятной, чем противоположная.
Вопросы для самопроверки
Априорные шансы гипотезы A против гипотезы B равны 4 к 1. Пришло наблюдение, которое втрое вероятнее при B, чем при A. Каковы апостериорные шансы?
- 4 к 3, то есть около 57 % в пользу A
- 4 к 1: одно наблюдение шансы не меняет
- 1 к 3 в пользу B
- 12 к 1 в пользу A
Отношение правдоподобий для наблюдения равно 1,05. Как это читать?
- Такого отношения не бывает: свидетельством считается только отношение не меньше двух, а остальное уже шум
- Наблюдение подтверждает гипотезу из числителя на 5 %: к её вероятности прибавляется пять процентных пунктов
- Наблюдение бесполезно, и учитывать его не нужно
- Наблюдение почти не различает гипотезы и уверенность почти не двигает
Априорные шансы 99 к 1 в пользу гипотезы A. Пришло свидетельство, втрое более вероятное при B. Апостериорная вероятность A составляет около 97 %. Как это читать?
- Процедура игнорирует неудобные данные, и это дефект байесовского подхода
- Априор выбран неверно, иначе сдвиг был бы заметнее
- Свидетельство учтено полностью, а слабое свидетельство против сильного априора и должно двигать мало
- 97 % означает, что гипотеза B практически опровергнута
Проверены пять деталей: брак, годная, брак, годная, годная. Коллега проверил те же пять в другом порядке. Что можно сказать об итоговых апостериорных вероятностях?
- Порядок важен: последнее свидетельство весит больше
- У коллеги результат окажется ближе к априору, если брак пришёл позже
- Они совпадут: обновление сводится к перемножению множителей
- Совпадут, только если априор равномерный
Исследователь назначил гипотезе априорную вероятность 0, посчитав её нелепой. Затем пришли данные, которые крайне вероятны именно при этой гипотезе. Что даст обновление?
- Вероятность вырастет, но медленнее обычного
- Расчёт выдаст ошибку деления на ноль
- Вероятность вырастет тем сильнее, чем правдоподобнее данные: множитель применяется к нулю так же, как к любому другому числу
- Апостериорная вероятность останется нулевой при любых данных
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- MIT 18.05, конспекты занятий 11-13: Обновление на дискретном априоре, обновление через шансы, переход к непрерывному априору. Первые два занятия читаются и без матанализа.
- Blitzstein, Hwang, «Introduction to Probability», probabilitybook.net: Главы об условной вероятности и правило Байеса в форме шансов. Там же разобрано, почему обратная условная вероятность не то же самое, что прямая.
- Adhikari, DeNero, Wagner, «Computational and Inferential Thinking», глава 18: «Обновление предсказаний» у Berkeley: та же процедура, показанная на задаче классификации и без единой формулы.