Доверительный интервал простыми словами

Девяносто пять процентов это свойство процедуры, а не вашего интервала

Доверительный интервал это промежуток, построенный по выборке процедурой, которая при многократном повторении накрывает истинное значение с известной долей случаев, например 95 %. Эти 95 % относятся к процедуре, а не к отдельному интервалу: конкретный промежуток либо содержит параметр, либо нет, случайность исчерпана выбором выборки. Ширина интервала учитывает только случайную ошибку отбора. Смещение в неё не входит.

MIT 18.05, занятия 22-23 · Data 8, гл. 13 · 45 мин · обновлено 12.09.2026

Первая из ста групп прошлого урока получила среднее время дороги 38,7 минуты по выборке в сто человек. Что ей писать в отчёте?

Написать «38,7» значит сообщить число, которое почти наверняка неверно: вероятность того, что истинное среднее по городу равно ровно 38,7, исчезающе мала. Написать «примерно от 35 до 43» значит сообщить и оценку, и её надёжность одним объектом. Второе выглядит слабее и на деле сильнее: из первого сообщения нельзя понять, что стоит за числом, из второго можно.

Урок о том, как такой интервал получается и что означает приписанное к нему «95 %». Второй вопрос важнее первого. Именно там находится самая устойчивая ошибка чтения статистики, и в реестре курса она стоит со статусом «отвергнуто».

Интервал из симуляции, а не из формулы

Начнём с положения всеведущего наблюдателя, в котором мы были в прошлом уроке. Истинное среднее равно 40 минутам при стандартной ошибке 2 минуты для выборки в сто человек, и сто групп дали сто средних, разбросанных вокруг сорока.

Возьмём эти сто чисел, отсортируем и отрежем два-три самых крайних с каждой стороны. Останется середина, примерно от 36 до 44 минут. В этом промежутке лежат 95 оценок из ста. Никакой формулы пока не понадобилось: мы просто посмотрели, где на самом деле оказываются оценки, и отрезали хвосты. Это и есть процентильный способ, на котором строит все свои интервалы Data 8.

Беда в том, что промежуток построен вокруг сорока, а сорока никто не знает. Спасает разворот. Если 95 оценок из ста отстоят от истины не больше чем на 4 минуты, то для тех же 95 случаев верно и обратное: истина отстоит от оценки не больше чем на 4 минуты. Значит, надо взять свою оценку и отложить по 4 минуты в обе стороны.

Что получается у наших групп. Первая: 38,7, интервал от 34,7 до 42,7, сорок внутри. Вторая: 41,4, интервал от 37,4 до 45,4, сорок внутри. Двадцать седьмая, та самая невезучая: 44,8, интервал от 40,8 до 48,8, а сорока внутри нет. Мы это видим, потому что знаем ответ. Сама двадцать седьмая группа не видит ничего, её отчёт неотличим от остальных.

Откуда взялись 4 минуты, если считать не симуляцией, а формулой: это две стандартные ошибки, точнее 1,96 стандартной ошибки, то самое правило двух отклонений из третьего урока. Для среднего оба пути дают почти одинаковый ответ. Но процентильный работает и там, где формулы нет: для медианы, для отношения, для любой величины с несимметричным выборочным распределением, где откладывать поровну в обе стороны просто неверно.

Ширина интервала подчиняется правилу корня. При ста опрошенных это плюс-минус 4 минуты, при четырёхстах плюс-минус 2, при 1600 плюс-минус одна минута. И отдельным рычагом работает уровень доверия. Если резать не по 2,5 % с каждого края, а по 0,5 %, отрезать придётся дальше от центра: вместо 1,96 стандартной ошибки берётся около 2,58, и интервал становится шириной примерно плюс-минус 5,2 минуты. Оба множителя это границы, за которыми у нормально распределённых оценок остаётся 5 % и 1 %. На симуляции они и получаются как места среза хвостов. Бесплатного обеда нет: при том же числе наблюдений можно быть либо увереннее, либо точнее.

Что означает «95 %»

Теперь главное. Возьмите готовый интервал первой группы: от 34,7 до 42,7. Истинное среднее равно 40. Оно либо лежит в этом промежутке, либо нет, и здесь уже не осталось ничего случайного. В нашем случае лежит, и говорить о вероятности 95 % бессмысленно: вероятность равна единице. У двадцать седьмой группы интервал от 40,8 до 48,8, истина в него не попала, и вероятность равна нулю. Промежуточных значений не бывает.

Случайность была раньше, в том, какая выборка досталась. Она и есть носитель вероятности: выборка случайна, поэтому случаен интервал, а параметр стоит на месте. Отсюда единственная корректная формулировка: процедура, применённая много раз, даёт интервалы, накрывающие истинное значение примерно в 95 % случаев. О конкретном интервале сказать нечего, кроме того, что он получен процедурой с такой долей успеха.

Реестровая позиция звучит так: «95-процентный доверительный интервал содержит истинное значение с вероятностью 95 %», статус отвергнуто. Не «неточно сказано», а именно неверно: в частотной трактовке у параметра нет распределения вероятностей, он не случайная величина, и приписывать ему вероятность не к чему.

Аналогия, которая держится лучше прочих: сеть, которую забрасывают на рыбу. О сети известно, что она накрывает рыбу в 95 забросах из ста. Заброс сделан, сеть лежит на дне. Рыба либо под ней, либо нет. Спрашивать, с какой вероятностью рыба под этой конкретной сетью, значит спрашивать не о том. Число 95 характеризует сеть и руку, а не результат броска.

Педантизм ли это? Нет, и вот два следствия, из-за которых различие рабочее. Первое: нельзя утверждать, что истинное значение «скорее всего ближе к центру интервала». Частотная процедура не приписывает точкам внутри интервала никаких вероятностей. Разговор о более и менее вероятных значениях параметра идёт уже на байесовском языке, а он требует априорного распределения. Второе: существует интервал, о котором законно сказать «параметр лежит здесь с вероятностью 95 %», и называют его байесовским вероятностным интервалом. Это другой объект, строится он иначе и требует априора. MIT 18.05 разводит их по разным занятиям, и курс вернётся к сравнению в девятнадцатом уроке. Интуитивное прочтение, стало быть, не глупость, просто оно относится к другой конструкции.

Насколько ошибка распространена, видно по реакции. В 2015 году журнал Basic and Applied Social Psychology редакционной статьёй Трафимоу и Маркса запретил у себя проверку значимости и p-значения. Под запрет попали и доверительные интервалы в их частотной трактовке, именно потому, что читатели систематически понимают их как вероятностные утверждения о параметре. Практикой поля этот запрет не стал, но как индикатор он показателен.

Широкий интервал честнее узкой точки

Из сказанного легко сделать неверный вывод, будто интервал даёт способ снять с себя ответственность. Наоборот: точка её маскирует.

Пусть три группы работали с выборками не по сто человек, а по 25. Стандартная ошибка тогда 4 минуты, интервал выходит плюс-минус 8. Первая получила 35,2, вторая 44,0, третья 39,5. Как точки эти результаты выглядят противоречащими друг другу: между первым и вторым почти девять минут разницы, это повод для статьи о том, что исследования не сходятся.

Как интервалы они выглядят иначе: от 27,2 до 43,2, от 36,0 до 52,0 и от 31,5 до 47,5. Все три пересекаются в широкой области, и все три совместимы с одним и тем же значением 40. Никакого противоречия нет, есть три честных сообщения о том, что выборка в 25 человек не позволяет сказать больше.

Отсюда правило чтения, которое дальше в курсе не изменится: число без интервала, стандартной ошибки или хотя бы объёма выборки не позволяет понять, о чём оно. Широкий интервал не признак плохой работы, а точное описание того, что купили за эти деньги. Плохая работа это узкий интервал, полученный молчанием об источниках неопределённости.

Интервал, включающий ноль

Чаще всего интервалы строят не для среднего, а для разности: стало лучше или хуже, и насколько. Здесь возникает ошибка, к которой курс вернётся в одиннадцатом уроке, но подготовить её надо сейчас.

Пусть новая схема движения сократила время дороги в среднем на 3 минуты, интервал вышел от минус 1 до плюс 7. Ноль внутри. Стандартное чтение: «эффекта нет, различия незначимы».

Что интервал говорит на самом деле: данные совместимы и с ухудшением на минуту, и с отсутствием изменений, и с выигрышем в семь минут. Единственное, чего он не позволяет, это уверенно назвать знак. Объявить «эффекта нет» значит выбрать из всего промежутка одну точку, ровно ту, что удобна для короткого вывода, и выбросить остальные. Отсутствие свидетельства не есть свидетельство отсутствия.

Насколько это существенно, видно из сравнения двух исследований. Первое даёт интервал от минус 1 до плюс 7 минут. У второго он от минус 0,2 до плюс 0,4 минуты. Оба «включают ноль», и по дихотомии «значимо или незначимо» они неразличимы. Но второе сообщает много: эффект, если он есть, не превышает нескольких десятых минуты, то есть практически отсутствует. Первое не сообщает почти ничего: семь минут выигрыша это уже серьёзно, и они интервалом не исключены. Одинаковый ярлык, противоположное содержание.

Именно ширину выбрасывает разделение результатов на значимые и незначимые. На этом стоит предложение Амрайна, Гринленда и Макшейна в Nature (2019), подписанное 854 исследователями: отказаться от дихотомии и называть такие промежутки интервалами совместимости, интерпретируя их целиком, вместе с обоими концами.

Чего интервал не покрывает

Интервал считает только случайную ошибку, ту, что возникает из-за одной выборки вместо всех возможных. Больше ничего в него не входит, и это ограничение сильнее всех прочих.

Вернёмся к опросу у выхода из метро, где истинное среднее по пассажирам метро равно 46 минутам при общегородском 40. Выборка в 2500 человек даёт стандартную ошибку 0,4 и интервал примерно от 45,2 до 46,8. Он аккуратный, узкий и не накрывает сорок, и не накроет никогда, сколько ни повторяй процедуру. При этом свои 95 % процедура честно выдерживает: она накрывает то, на что нацелен способ отбора. Смещение сдвинуло мишень, а стрельба осталась кучной.

То же и с ошибками измерения, с формулировкой вопроса, с неответом. Опрос Literary Digest из второго урока при возврате в 2,4 миллиона бюллетеней дал бы интервал вокруг своих 57 % шириной в доли процентного пункта, при итоговых 62 % у противоположного кандидата. Интервал был бы посчитан безупречно и не спас бы ни от чего.

Отсюда чтение фразы «плюс-минус три процентных пункта» в сообщениях об опросах. Это оценка только случайной части, и обычно она наименьшая из проблем такого опроса. Полная фраза звучала бы так: плюс-минус три пункта из-за того, что опрошены не все, плюс неизвестно сколько из-за того, кто именно был опрошен и кто согласился ответить.

Практический вывод простой. Интервал отвечает на вопрос «насколько моё число могло бы оказаться другим при другой такой же выборке». Он не отвечает на вопрос «насколько моё число близко к истине», и разница между этими двумя вопросами и есть весь второй урок.

Вопросы для самопроверки

Что читать

• Adhikari, DeNero, Wagner, «Computational and Inferential Thinking», глава 13: Оценивание: интервалы строятся отрезанием хвостов у смоделированного распределения оценки, без единой формулы с квантилями.
• MIT 18.05, конспекты занятий 22-23: Классическое изложение доверительных интервалов с формулами. Полезно прочесть после этого урока и сверить два пути к одному ответу.