Закон больших чисел и ЦПТ простыми словами
Почему средние ведут себя предсказуемо, а сами величины нет
Закон больших чисел утверждает: при росте числа независимых испытаний доля события сходится к его вероятности, а среднее наблюдений стремится к теоретическому среднему. Центральная предельная теорема добавляет: распределение средних по выборкам одного размера приближается к нормальному независимо от формы исходного распределения. Поэтому средние ведут себя предсказуемо даже там, где сама величина распределена плоско, как броски игральной кости.
MIT 18.05, занятие 6b · Data 8, гл. 14 · Stat 110 · 45 мин · обновлено 01.10.2026
После урока вы сможете
- Формулировать закон больших чисел так, чтобы из него не следовала ошибка игрока
- Различать распределение самих величин и распределение их среднего
- Считать стандартную ошибку среднего и объяснять, откуда берётся корень из n
- Называть условия, при которых центральная предельная теорема не работает или работает медленно
Бросьте игральную кость много раз и постройте распределение результатов. Получится плоская картинка: шесть столбиков одинаковой высоты, никакого колокола, никакой середины.
Теперь бросайте по тридцать костей за раз и записывайте среднее. Повторите тысячу раз и постройте распределение этих тысячи средних. Получится колокол, симметричный, с вершиной около 3,5 и почти без хвостов.
С костью ничего не произошло: она как была равномерной, так и осталась. Изменился объект, который мы разглядываем. Урок объясняет, почему средние ведут себя так упорядоченно, и какое утверждение из этого следует, а какое нет.
Закон больших чисел: что именно сходится
Закон больших чисел словами: при увеличении числа независимых испытаний доля появлений события приближается к его вероятности, а среднее наблюдаемых значений к среднему теоретическому. Не «когда-нибудь попадёт точно», а «отклонение становится сколь угодно малым, если испытаний достаточно много».
Возьмём честную монету. Типичное отклонение числа орлов от половины бросков равно корню из числа бросков, делённому на два. Посчитаем на трёх объёмах.
При 100 бросках типичное отклонение числа орлов равно 5, то есть орлов бывает около 45-55. В долях это отклонение 0,05: доля орлов гуляет примерно между 0,45 и 0,55.
При 10 000 бросках типичное отклонение числа орлов равно 50, орлов бывает около 4 950-5 050. В долях получается 0,005: от 0,495 до 0,505.
При 1 000 000 бросков типичное отклонение равно 500, в долях 0,0005.
Посмотрите, что произошло с двумя колонками. Отклонение в штуках выросло с 5 до 500, то есть стократно. Отклонение в долях упало с 0,05 до 0,0005, тоже стократно, но в другую сторону. Обе величины меняются одновременно, и в этом расхождении сидит вся путаница вокруг закона больших чисел.
Практическая ценность закона в том, что он разводит два вопроса, которые в разговоре сливаются. Исход отдельного испытания непредсказуем и остаётся непредсказуемым при любом объёме данных. Доля исходов в длинной серии предсказуема, и точность этого предсказания растёт с длиной серии. На этом различии устроено страхование, на нём же устроено казино: ни страховщик, ни казино не знают результата отдельного случая и не нуждаются в этом знании.
«Отстающие орлы догонят» неверно пересказывает закон. Если после ста бросков орлов на десять меньше, чем решек, ничто не заставит следующие броски выравнивать счёт. Разрыв в штуках, скорее всего, вырастет. Доля выравнивается не потому, что дефицит возмещается, а потому, что он делится на всё большее число: десять штук из ста это 10 %, а те же десять штук из миллиона уже 0,001 %.
Центральная предельная теорема: о среднем, а не о величинах
Закон больших чисел говорит, куда сходится среднее. Он ничего не говорит о том, как именно оно колеблется по пути. Ответ на второй вопрос даёт центральная предельная теорема.
Формулировка словами: если брать выборки одного размера из одной и той же совокупности и считать по каждой среднее, то распределение этих средних при достаточно большом размере выборки будет близко к нормальному независимо от того, как распределена исходная величина.
Каждое слово здесь нагружено, и главное из них это «этих средних». Теорема говорит о распределении величины, которая получается усреднением, а не о распределении того, что усредняли.
Проследим это на костях, где всё считается вручную. Одна кость: шесть исходов, каждый с вероятностью 1/6, распределение плоское. Две кости, смотрим на сумму: исходов уже 36, и они распределены неравномерно. Сумма 7 получается шестью способами, а сумма 2 и сумма 12 одним способом каждая. Плоское распределение за один шаг превратилось в треугольное. При пяти костях картинка уже похожа на колокол, при тридцати почти неотличима от него.
Ни на одном шаге кость не менялась. Менялось только количество слагаемых. Причина проста и стоит того, чтобы её проговорить: крайние значения суммы требуют, чтобы все слагаемые оказались крайними, а средние получаются множеством способов. Отсюда и вершина посередине, и убывающие хвосты.
Отсюда следует главное практическое обещание модуля. Выборочное среднее остаётся величиной случайной: возьмёте другую выборку, получите другое число. Но её разброс предсказуем, и её форма предсказуема, даже если исходная величина устроена как угодно причудливо. На этом обещании построен весь третий модуль курса.
Тот же довод объясняет, почему нормальное распределение занимает в статистической технике столько места, хотя нормальных величин вокруг немного. Оно возникает не в данных, а в оценках: почти всё, что статистика считает по выборке, это среднее или величина, сводящаяся к среднему. Нормальность появляется на выходе процедуры, а не на входе, и путаница этих двух мест даёт самую частую ошибку в разговорах о «нормальности данных».
Корень из n
Разброс выборочного среднего называется стандартной ошибкой и считается по правилу: стандартное отклонение исходной величины, делённое на корень из объёма выборки.
Проверим на кости. Стандартное отклонение одной кости около 1,71. Для среднего по 25 броскам стандартная ошибка равна 1,71 / 5, то есть около 0,34. Для среднего по 100 броскам она выходит 1,71 / 10, около 0,17. Учетверив число бросков, мы вдвое сузили разброс среднего.
Это и есть содержание корня. Чтобы удвоить точность, нужно вчетверо больше данных. Чтобы утроить, вдевятеро. Правило безжалостное: первая тысяча наблюдений даёт огромный выигрыш, десятая тысяча почти никакого.
Тот же расчёт объясняет числа, которые постоянно попадаются в сообщениях об опросах. При выборке в 1 000 человек стандартная ошибка доли, близкой к половине, равна корню из 0,25/1000, то есть примерно 0,016, или полтора процентных пункта. Удвоенная стандартная ошибка даёт около трёх процентных пунктов, и это ровно та «погрешность ±3 %», которую пишут мелким шрифтом.
Увеличим выборку до 4 000 человек. Стандартная ошибка станет около 0,008, а погрешность около полутора пунктов. Вчетверо больше работы ради вдвое более узкого интервала: обычно на этом и останавливаются, потому что дальше цена растёт быстрее пользы.
И оговорка, без которой всё сказанное вредно. Стандартная ошибка описывает случайную ошибку и молчит о систематической. Опрос на 4 000 смещённых респондентов даст погрешность в полтора пункта вокруг неверного числа, ровно как в случае Literary Digest из второго урока. Корень из n сужает интервал и не двигает его центр.
Погрешность доли при выборке n примерно равна единице, делённой на корень из n. Для 400 человек это 5 %, для 1 000 около 3 %, для 10 000 уже 1 %. Прикидка занимает секунду и сразу показывает, различимы ли объявленные проценты вообще: разница в два пункта при выборке в тысячу человек не различима никак.
Почему из теоремы не следует нормальность доходов
Самое частое злоупотребление центральной предельной теоремой состоит в выводе, что раз она универсальна, то и нормальное распределение встречается повсюду. Из теоремы этого не следует, и следовать не может.
Теорема утверждает нормальность суммы или среднего многих независимых слагаемых. Доход человека не сумма многих независимых сопоставимых слагаемых, а одна величина, полученная механизмом другого устройства. Реальные распределения доходов вытянуты вправо и имеют тяжёлый хвост: об этом шла речь в третьем уроке, и никакая теорема о средних этого не отменяет.
Проверить утверждение легко, и проверка стоит того, чтобы её проделать. Соберите доходы тысячи человек и постройте гистограмму, и получите вытянутую вправо картину с длинным хвостом. Теперь разбейте тысячу человек на сто групп по десять и постройте гистограмму ста групповых средних, и картина станет заметно симметричнее. Оба графика построены по одним данным, и они разные, потому что описывают разные величины: первый показывает доход человека, второй среднее по десяти людям.
Отсюда рабочая проверка, которую стоит применять к любому графику в виде колокола: о чём это распределение, о самих объектах или об их средних? Если о самих объектах, нормальность надо обосновывать данными, а не теоремой.
Величин, для которых нормальность правдоподобна, немного, и все они устроены как сумма множества мелких независимых вкладов: ошибки измерения, рост в однородной популяции, отклонения размера детали в стабильном процессе. Доходы, размеры городов, продажи книг, размеры страховых выплат, длительность обращений в поддержку в этот список не входят, и применять к ним правило о двух стандартных отклонениях нельзя.
Где теорема отказывает
Теорема не безусловна, и знать её три ограничения полезнее, чем помнить формулировку.
Независимость. Слагаемые должны быть независимы. Наблюдения бывают связаны: люди из одного класса, дни подряд в одном ряду, клиенты одного менеджера. Тогда эффективное число независимых наблюдений меньше номинального, и стандартная ошибка по формуле оказывается заниженной. Это самая частая причина того, что заявленная погрешность меньше реальной.
Конечная дисперсия. У величины должен быть конечный разброс. Для распределений с очень тяжёлыми хвостами среднее по выборке само остаётся неустойчивым: одно наблюдение из хвоста способно сдвинуть его целиком, сколько бы данных ни было. Есть и практический признак. Если добавление одного наблюдения заметно меняет среднее по большой выборке, теорема здесь не работает.
Достаточный объём. «Достаточно большое n» не число, а зависимость от формы исходного распределения. Для симметричных величин хватает единиц наблюдений, для умеренно скошенных нужны десятки, для сильно скошенных с редкими крупными значениями не хватает и сотен. Правило «тридцати наблюдений достаточно» остаётся учебной условностью, а не результатом.
Общий вывод модуля прикладной. Случайность не хаос: доли сходятся, средние собираются в колокол, разброс среднего считается заранее. Именно эта предсказуемость делает возможным вывод по выборке, к которому курс переходит в следующем уроке. Но вся она держится на допущениях о независимости, об одинаковых условиях, о том, как наблюдения попали в данные. И когда допущения ломаются, ломаются и все дальнейшие расчёты, оставаясь при этом внешне безупречными.
Тренажёр берёт заведомо ненормальное распределение с одним горбом слева и длинным хвостом справа, позволяет выбирать размер выборки и строит распределение выборочных средних. Видно две вещи сразу: как форма исходной величины остаётся неизменной, а форма распределения средних становится колоколом, и как разброс средних сжимается ровно по корню из n.
Откуда берётся колокол
Исходная величина заведомо не нормальная, а сильно вытянута вправо, как доходы или время ожидания. Смотрим отдельно на распределение самих значений и на распределение их средних.
Ключевые работы
| Adhikari, DeNero, Wagner, «Computational and Inferential Thinking» | 2022 | Глава 14, «Почему среднее имеет значение»: закон больших чисел и центральная предельная теорема показаны симуляцией, без доказательств и без матанализа. |
| Orloff, Kamrin, MIT 18.05 «Introduction to Probability and Statistics» | 2022 | Конспект занятия 6b: закон больших чисел и центральная предельная теорема с гистограммами. Формальная сторона того же материала. |
Что здесь путают
Центральная предельная теорема утверждает нормальность распределения суммы или среднего многих независимых слагаемых, а не распределения самих величин. Доходы, размеры городов, продажи книг, страховые выплаты нормальными не являются: они ограничены снизу, не ограничены сверху и имеют тяжёлые хвосты. Практическое следствие: колокол на графике надо читать вместе с подписью оси и понимать, о самих объектах он или об их средних. Правило про доли наблюдений в пределах одного и двух стандартных отклонений применять только во втором случае или при обоснованной нормальности в первом.
Закон говорит о сходимости доли, а не разности. При 100 бросках типичное отклонение числа орлов от половины равно 5, при 10 000 уже 50, при миллионе 500, и в штуках разрыв растёт. В долях он при этом падает с 0,05 до 0,0005, потому что делится на всё большее число бросков. Никакой компенсации прошлого не происходит. Происходит его разбавление. Это же рассуждение закрывает ошибку игрока из четвёртого урока.
Стандартная ошибка убывает как корень из объёма, поэтому вдвое более узкий интервал требует вчетверо больше данных, а втрое более узкий уже вдевятеро. Для доли при выборке в 1 000 человек погрешность около трёх процентных пунктов, а чтобы получить полтора, нужно 4 000. Отсюда практическое следствие в обе стороны: первая тысяча наблюдений даёт почти всю доступную точность, а увеличение выборки в десять раз ради оставшейся её части обычно не окупается, и тем более не окупается, если ошибка систематическая, на которую объём не влияет вовсе.
Это теорема, и держится она с тремя названными условиями: независимость наблюдений, конечная дисперсия, достаточный объём, причём «достаточный» зависит от формы исходного распределения, а не равен тридцати. Проверяется прямо в уроке: тренажёр берёт заведомо ненормальную величину с длинным правым хвостом, и распределение средних становится колоколом, а разброс сжимается по корню из n, тогда как форма самой величины не меняется. Не уцелел перенос вывода на данные: нормальность возникает на выходе усреднения, а не на входе, и утверждения о «нормальности данных» из теоремы не следует.
Термины
- закон больших чиселlaw of large numbers
- При росте числа независимых испытаний доля события приближается к его вероятности, а среднее к теоретическому среднему.
- центральная предельная теоремаcentral limit theorem
- Распределение среднего по выборкам одинакового размера приближается к нормальному независимо от формы исходного распределения.
- выборочное среднееsample mean
- Среднее, посчитанное по одной выборке. Случайная величина: меняется от выборки к выборке.
- выборочное распределениеsampling distribution
- Распределение значений оценки по всем возможным выборкам заданного объёма. Его элемент не наблюдение, а целое исследование.
- стандартная ошибкаstandard error
- Стандартное отклонение выборочного распределения оценки, то есть типичное расстояние между оценкой и оцениваемой величиной. Для среднего равна стандартному отклонению величины, делённому на корень из объёма выборки.
- нормальное распределениеnormal distribution
- Симметричное колоколообразное распределение, к которому стремится распределение средних. Не свойство большинства реальных величин.
- предельная погрешностьmargin of error
- Половина ширины заявленного интервала оценки. Для доли при выборке n примерно равна единице, делённой на корень из n.
- независимые одинаково распределённые величиныindependent and identically distributed, i.i.d.
- Условие обеих теорем: наблюдения не влияют друг на друга и получены в одинаковых условиях.
- дисперсияvariance
- Средний квадрат отклонения от среднего, он же квадрат стандартного отклонения. Её конечность служит условием применимости центральной предельной теоремы.
Практикум · Колокол из плоского
Работа идёт в любой таблице: Excel, Google Таблицы, LibreOffice. Понадобится одна функция случайного целого числа от 1 до 6 и полчаса. Задача состоит в том, чтобы увидеть обе теоремы на собственных числах и сверить разброс с расчётом.
- Сгенерируйте 1 000 значений «броска кости», то есть случайных целых от 1 до 6. Постройте распределение по шести значениям: столбики должны выйти примерно одинаковой высоты, около 167 в каждом.
- Разбейте те же 1 000 значений на 200 групп по 5 и посчитайте среднее в каждой группе. Постройте распределение этих 200 средних, округлив их до десятых. Сравните форму с картинкой из шага 1.
- Разбейте те же 1 000 значений на 50 групп по 20 и повторите. Отметьте две вещи: колокол стал более гладким, а разброс средних заметно сузился.
- Посчитайте стандартное отклонение средних в шагах 2 и 3 и сравните с расчётом: 1,71 / корень из 5 ≈ 0,76 и 1,71 / корень из 20 ≈ 0,38. Расхождение в пределах десятой доли считайте совпадением, ведь при 200 и 50 группах точнее не выйдет.
- Возьмите свой несимметричный набор из практикума третьего урока: расходы, время в пути, длительность задач. Постройте гистограмму самих значений, затем разбейте их на группы по 5 и постройте гистограмму групповых средних. Запишите одним предложением, что изменилось и что осталось прежним.
Вопросы для самопроверки
Монету бросили 100 раз, орлов выпало 40, на 10 меньше половины. Что предсказывает закон больших чисел о следующих 900 бросках?
- Что доля орлов вернётся ровно к 0,5
- Ничего о выравнивании счёта: доля приблизится к 0,5 за счёт роста числа бросков
- Что орлов будет больше решек: дефицит компенсируется
- Что дефицит в 10 орлов сохранится точно таким же
Гистограмма доходов в городе вытянута вправо. Что говорит о ней центральная предельная теорема?
- Ничего: теорема о распределении средних, а не о распределении самих величин
- Что при увеличении числа жителей гистограмма станет нормальной: теорема как раз о том, что при большом объёме данные приближаются к нормальному виду
- Что теорема здесь неприменима из-за смещения выборки
- Что доходы распределены нормально, а хвост это артефакт
Опрос на 1 000 человек даёт погрешность около 3 процентных пунктов. Сколько нужно опросить, чтобы получить около 1,5 пункта?
- Около 3 000
- Около 2 000
- Около 10 000
- Около 4 000
Компания опросила 4 000 клиентов через форму на сайте и сообщает погрешность 1,5 процентных пункта. Что можно сказать?
- Погрешность описывает только случайную ошибку, а форма на сайте порождает систематическую
- Погрешность неприменима, потому что распределение ответов не нормально: формула требует нормальности самих ответов
- Оценка надёжна: выборка достаточно велика, и при четырёх тысячах наблюдений способ набора перестаёт влиять на результат
- Погрешность посчитана неверно: при 4 000 ответов формула даёт около 0,8 пункта, а не 1,5
В каком случае центральная предельная теорема работает хуже всего?
- Симметричная величина и выборка в 100 наблюдений
- Равномерная величина и выборка в 30 наблюдений
- Сильно скошенная величина с редкими очень крупными значениями и малый размер выборки
- Двумодальная симметричная величина и выборка в 50 наблюдений
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Adhikari, DeNero, Wagner, «Computational and Inferential Thinking», глава 14: «Почему среднее имеет значение»: обе теоремы показаны симуляцией. Ровно та подача, которую наследует этот урок.
- MIT 18.05, конспект занятия 6b: Формальные формулировки обеих теорем с гистограммами и примерами сходимости.