Уровень значимости: порог, который выбирают до опыта

Уровень значимости это порог, выбранный заранее, и означает он долю ложных тревог, которую исследователь согласен терпеть, если эффекта на самом деле нет. Уровень 0,05 говорит: при верной нулевой гипотезе примерно одна проверка из двадцати даст «значимый» результат по чистой случайности. Он не является вероятностью ошибиться в данном конкретном случае и не превращает результат в установленный факт.

Что он означает

Проверка значимости устроена так: считают, насколько данные необычны при условии, что эффекта нет, и получают p-значение. Если оно ниже порога, результат называют значимым. Порог и есть уровень значимости. Он выбирается до сбора данных, исходя из цены ошибки: там, где ложная тревога дорога, его ставят строже, 0,01 или 0,001.

Число 0,05 не выведено из природы. Оно вошло в обиход после работ Фишера в 1920-х как удобное соглашение, и профессия по этому вопросу не сошлась: комментарий в Nature в 2019 году с 854 подписантами предлагал отказаться от дихотомии «значимо или незначимо», а возражение состоит в том, что без порога решения принимать труднее.

Почему один порог не спасает при многих проверках

Порог 0,05 означает одну ложную тревогу на двадцать независимых проверок. Если измерить двадцать показателей и рассказать про тот, который сработал, вероятность получить хотя бы один значимый результат при полном отсутствии эффекта достигает 64 %, и от объёма выборки эта величина не зависит. Недобросовестность для этого не требуется, достаточно умолчать о числе проверок.

Поэтому уровень значимости имеет смысл только вместе с заранее заявленным основным исходом или поправкой на множественность. Число проверок это такая же часть результата, как само p-значение.

Где ошибаются

Первая ошибка: читать p ниже 0,05 как «вероятность того, что эффекта нет, меньше 5 %». p-значение считается при условии, что эффекта нет, и о вероятности самой гипотезы не говорит. Чтобы её получить, нужны априорные шансы, которых в расчёте нет.

Вторая ошибка: считать незначимый результат доказательством отсутствия эффекта. Незначимость означает «не установлено» и ничего больше. Что именно не исключено, показывает доверительный интервал, а не порог.

Вопросы

Что такое уровень значимости 0,05 простыми словами?

Согласие ошибаться в одной проверке из двадцати, объявляя эффект там, где его нет. Это цена, которую назначают заранее, а не свойство данных.

Чем уровень значимости отличается от p-значения?

Уровень значимости выбирают до опыта, p-значение считают по данным. Результат значим, если p-значение оказалось ниже уровня значимости.

Что такое ошибка первого рода?

Ложная тревога: отвергли нулевую гипотезу, хотя она верна. Её вероятность и задаётся уровнем значимости. Ошибка второго рода это пропуск настоящего эффекта, и её вероятность задаётся мощностью, а не порогом.