Статистическая грамотность

Двадцать лет исправлений, незакрытый спор о значимости и почему итог курса это не недоверие

Ответом науки на кризис воспроизводимости стали конкретные изменения практики. Предрегистрация публично фиксирует гипотезу, основной исход, объём выборки и правило остановки до сбора данных. Зарегистрированные отчёты журнал принимает до получения результата. Данные и код открыты. Эти меры забирают свободу решать по ходу дела, поднимавшую долю ложных находок. Итог курса не в недоверии к числам, а в проверке того, как они получены.

Amrhein и др., 2019 · Camerer и др., 2016 и 2018 · 45 мин · обновлено 01.10.2026

Седьмой модуль закончился неприятным списком. Публикуется не то, что верно, а то, что значимо. Свобода в обработке данных превращает шум в находку, не требуя ни одного недобросовестного шага. А в проверочных проектах размер эффекта при повторении систематически оказывался меньше исходного, и в психологии, и в экономике, и в социальных науках.

Всё это известно не потому, что кто-то со стороны обвинил профессию, а потому, что профессия это измерила: проекты воспроизводимости провели те же люди, которые публикуются в тех же журналах, а заявление о p-значениях выпустила Американская статистическая ассоциация, а не её критики.

Урок рассказывает про то, что сделали дальше, и что из этого можно взять себе.

Предрегистрация: план раньше данных

Ответ на поломку из тринадцатого и двадцать первого уроков устроен как её зеркало. Там долю ложных находок поднимала свобода решать по ходу дела: когда остановить сбор, какие ковариаты включить, что считать выбросом. Нечестного шага при этом не требовалось ни одного. Каждое решение по отдельности выглядело разумным, и подтасовкой не было ни одно.

Ответ прямой: принять эти решения до того, как данные увидены, и записать публично, с меткой времени. Это и есть предрегистрация, то есть гипотеза, основной исход, объём выборки, правило остановки, план обработки.

Чего она не делает, важнее того, что делает. Поисковый анализ она не запрещает и вторым сортом не объявляет: разглядывание данных в поисках неожиданного остаётся законным жанром, из которого берутся новые гипотезы. Недопустимо другое, выдавать поисковый результат за подтверждающий. Предрегистрация проводит границу между жанрами так, чтобы её нельзя было передвинуть задним числом.

Цену границы показала арифметика прошлого урока. Находка в одном сравнении из двадцати четырёх весит столько, сколько написано на пороге, если сравнение названо заранее. Если же оно выбрано из просмотренных, она не весит почти ничего: ровно одна такая находка при полном отсутствии эффекта и ожидается. Числа в таблицах одинаковые. Различает их дата на плане.

Следующим шагом идёт зарегистрированный отчёт: журнал рецензирует замысел и методы до сбора данных и решает вопрос о публикации по качеству плана, ещё не зная результата. Это прямой ответ на публикационное искажение из двадцатого урока: редакция обязуется напечатать работу, даже если эффекта не найдётся, и отрицательный результат перестаёт быть непубликуемым.

Открытые данные и код

Вторая линия изменений разделила два понятия. Воспроизводимость расчёта отвечает на вопрос, получится ли из тех же данных тем же кодом то же число. Воспроизводимость результата говорит о том, повторится ли эффект на новых людях. Провал первого обиднее: там речь об ошибке в обработке, а не о природе.

Практика простая, надо выкладывать данные и код вместе со статьёй. Пример из самого курса: Hernán и Robins выложили «Causal Inference: What If» бесплатно вместе с данными и кодом для R, Stata, SAS, Python и Julia, а учебник Berkeley Data 8 открыт по лицензии Creative Commons целиком. Помимо ловли ошибок это делает дешёвой проверку устойчивости: тот же анализ с другим правилом отсечения выбросов или другим набором ковариат даёт другое число или то же самое, и видно это всем, а не только авторам. Решения, из которых складывается сад расходящихся троп, становятся наблюдаемыми.

Ограничение назвать надо сразу: открытость не лечит смещение отбора. Выложить можно и плохо собранную выборку, репрезентативной от публикации она не станет.

Интервалы вместо порога: спор, который не закрыт

Заявление Американской статистической ассоциации 2016 года разбиралось в одиннадцатом уроке. Здесь важны два его принципа: решения не должны приниматься только по тому, перешло ли p-значение порог, и само p-значение остаётся плохой мерой доказательности.

Предложение 2019 года идёт дальше заявления. Amrhein, Greenland и McShane призвали в Nature отказаться от дихотомии «значимо или незначимо» вообще и интерпретировать размеры эффекта и интервалы. Заодно предложено называть доверительный интервал интервалом совместимости: слово «доверие» подсказывает ровно ту трактовку, которую восьмой урок разбирал как неверную.

Довод за. Дихотомия порождает две ошибки-близнеца. Незначимый результат объявляют отсутствием эффекта, хотя интервал может тянуться от заметного вреда до заметной пользы. Значимый объявляют установленным, хотя интервал способен включать величины, ради которых никто не стал бы ничего менять. И две работы с p = 0,04 и p = 0,11 объявляют противоречащими, хотя интервалы у них перекрываются почти целиком.

Довод против. Решение всё равно приходится принимать: регулятор одобряет или не одобряет, журнал печатает или нет, компания выкатывает версию или откатывает. Отмена правила не отменяет решения, а делает его непрозрачным. Там, где стоял порог, появляется суждение, а суждение есть та же исследовательская степень свободы, только без протокола. Интервал к тому же пересказывают выборочно ничуть не хуже p-значения.

Состояние спора: ни ASA, ни журналы в целом порог не отменили, а самый радикальный шаг, запрет проверки значимости в Basic and Applied Social Psychology (2015), остался экспериментом одного издания.

Курс не выбирает сторону, потому что её не выбрала профессия. Взять при этом можно то, с чем согласны обе: приводить размер эффекта и интервал всегда, а p-значение давать как одно из чисел, а не как вердикт.

Многолабораторные проекты

Даже безупречное повторение в одной лаборатории отвечает на узкий вопрос: держится ли эффект здесь, у этих людей. Широкий вопрос требует многих лабораторий сразу. Так устроен Many Labs 1 (Klein и др., 2014): тринадцать эффектов на тридцати шести выборках, 6 344 участника. Ценность не только в доле воспроизведённых. Когда один протокол выполняют тридцать шесть групп, разброс между выборками становится измеряемой величиной, а не предметом спора.

Обратите внимание, как устроены сами проверочные проекты: у Camerer и соавторов (2016) планы анализа публиковались заранее, а повторения ставились с мощностью не менее 90 %. В их же проекте 2018 года планы анализа были предрегистрированы так же. Проекты, измерявшие надёжность литературы, сами построены по правилам, которых у этой литературы не было, и разница между тем, как публиковали, и тем, как проверяли, есть измеренная цена старых правил.

Если вы сами собираете данные

Три четверти перечисленного применимо к таблице, которую вы заполняете сами: к сравнению двух вариантов страницы, двух текстов рассылки, двух способов вести встречи. Первое. Записать основной исход до сбора. Одна величина, один способ подсчёта. Не «посмотрим, что изменится», а «сравниваю долю дочитавших письмо до конца».

Второе. Объём и правило остановки. Здесь полезно один раз ужаснуться числам. Пусть конверсия страницы 4 % и вы хотите заметить рост до 5 %. Чтобы такой рост обнаруживался хотя бы в четырёх случаях из пяти, нужно порядка шести-семи тысяч посетителей на вариант, больше тринадцати тысяч всего. По тысяче на вариант тот же рост обнаружится меньше чем в каждом пятом повторении опыта. Следует из этого не «не проводите тестов», а «знайте заранее, на что рассчитываете»: тест на тысяче посетителей отвечает про крупные эффекты и молчит про мелкие.

Смотреть результат каждый день и остановиться, когда p опустится ниже 0,05, нельзя: это первый пункт списка Simmons и соавторов, и он поднимает долю ложных находок сам по себе, без всяких других вольностей. Число наблюдений называется заранее, либо заранее описывается процедура промежуточных проверок.

Третье и самое пропускаемое. Записать, что будет считаться неподтверждением. Формулировка «если эффекта не будет» не работает: незначимость сама по себе не значит ничего. Работает формулировка с порогом величины: «если разница окажется меньше половины процентного пункта, я считаю, что эффекта нужного мне размера нет, и версию не выкатываю». Такое правило проверяемо и лишает вас возможности объяснить себе задним числом любой исход.

Против нигилизма

После курса, где половина материала о том, как ломается вывод, возникает соблазн простого итога: числам верить нельзя. Это гиперкоррекция, о которой предупреждает курс критического мышления этой же школы: скептик, подозревающий всё, ровно так же слеп, как доверчивый, не подозревающий ничего. Разница лишь в том, что первый считает свою слепоту достоинством.

У фразы «статистикой можно доказать что угодно» есть дефект, видимый изнутри курса. Смещённость публикуемой литературы установлена подсчётом: взяли сто работ, повторили их по одному протоколу, сравнили числа. Если бы числами можно было показать что угодно, показывать кризис воспроизводимости было бы нечем.

Перечислим по пунктам, что как раз работает.

Рандомизированный эксперимент остаётся сильнейшим доступным инструментом. Неопределённость он не устраняет, но делает группы сравнимыми сразу по всем признакам, включая те, о которых никто не подумал и которых никто не измерял. Ни один способ обработки наблюдательных данных этого не даёт: поправка возможна только на измеренное. Поэтому семнадцатый урок ставит жребий в основание, а Hernán и Robins начинают книгу с того, чем рандомизация отличается от наблюдения.

Интервал честнее точечной оценки. Он сообщает и величину, и её неопределённость одним объектом. С этим согласны обе стороны спора 2019 года, и это редкое место, где спорящие сходятся.

Предрегистрация меняет результат измеримо. Исследовательские степени свободы не спорная гипотеза, а результат, который любой воспроизводит симуляцией, и тренажёр тринадцатого урока это делает. Фиксация плана заранее убирает ровно ту свободу, которая его порождает. Именно поэтому проверочные проекты предыдущего раздела и ставились по новым правилам: иначе их собственным числам нечего было бы противопоставить старым. И одно уточнение, без которого легко ошибиться адресом. Разрыв между 97 % значимых результатов в оригиналах и 36 % в повторениях объясняется не предрегистрацией, а отбором публикаций по значимости, который разбирал двадцатый урок. Предрегистрация закрывает другую дыру.

Систематическое падение размера эффекта в повторениях само по себе надёжно установлено. Оно предсказывается механизмом отбора публикаций по значимости и не требует предположения о чьей-либо недобросовестности. Метод, который обнаружил собственную поломку и объяснил её, работает. И профессия оказалась способна сказать это вслух: заявление ASA 2016 года состоит из перечня того, что в её собственной практике делается неверно.

И последнее, ради симметрии. Само «36 % психологии не воспроизводится» курс относит к мифам по разбору двадцать второго урока, где видно, из чего эта доля посчитана. Число выдёргивают из условий ровно тем способом, против которого весь курс. Нигилизм питается той же небрежностью с числами, на которую жалуется.

Чем кончается курс

Правильный вывод из двадцати четырёх уроков не недоверие, а список вопросов, на каждый из которых бывает проверяемый ответ. Какова базовая частота. Какой размер эффекта, а не только значим ли он. Какова мощность и что означала бы незначимость. Сколько сравнений сделано на самом деле. Кого нет в этих данных. Кто решал, в какую группу попадёт объект. Повторял ли это кто-нибудь независимо.

Разница между списком и фразой «числам верить нельзя» практическая. Фраза не проверяется и ни к чему не обязывает. Список даёт семь вопросов, на каждый из которых в хорошей работе ответ есть, а в плохой видно, где именно его нет: первое ощущается как мудрость и не стоит ничего, второе занимает двадцать минут и даёт формулировку, с которой можно работать дальше.

Логичным продолжением идут два других курса школы. Психология даёт материал, на котором всё разобранное и происходило: её результаты чаще прочих проверялись повторениями, и состояние доказательств там указано у каждой темы. Критическое мышление разбирает ту же работу с утверждениями там, где чисел нет вовсе.

Статистика не обещала уверенности. Она обещала отчёт о том, сколько её есть, и это обещание выполняет.

Вопросы для самопроверки

Что читать

• Amrhein, Greenland, McShane, «Retire statistical significance», Nature 567, 2019: Тот же комментарий на выходе из курса. Читать его стоит вместе с возражениями: спор не закрыт, и обе позиции формулируются коротко.
• Wasserstein, Lazar, «The ASA Statement on p-Values», The American Statistician, 2016: Опорный текст двух последних модулей. Шесть принципов удобно держать рядом как памятку.