Публикационное смещение

Почему литература смещена, даже когда все работают честно

Публикационное искажение это систематическое расхождение между проведёнными и опубликованными исследованиями: решение о публикации зависит от результата. Недобросовестности не требуется: если сто лабораторий проверяют нулевой эффект при пороге 0,05, около пяти получат значимый результат. Читатель увидит именно их. Долю верных среди значимых задают базовая доля истинных гипотез, мощность и порог: это выкладка Иоаннидиса 2005 года.

Ioannidis, 2005 · Open Science Collaboration, 2015 · 45 мин · обновлено 01.10.2026

Представим сто лабораторий, независимо друг от друга проверяющих одну и ту же гипотезу: новая методика обучения повышает результат теста. Пусть на самом деле она не повышает ничего, истинный эффект в точности равен нулю. Каждая лаборатория работает добросовестно, берёт порог 0,05, заранее фиксирует, что будет измерять, и в промежуточные данные не подглядывает.

Примерно пять лабораторий из ста получат p < 0,05. Не потому, что кто-то ошибся, а потому, что порог ровно это и означает: примерно одна случайная выборка из двадцати даёт отклонение, которое мы условились считать необычным. Остальные девяносто пять получат «различие не обнаружено».

Теперь спросим, что из этого попадёт в журналы. Пять находок дают готовый материал для статьи: результат новый, значимый, есть о чём рассказать. Девяносто пять «ничего не нашли» остаются материалом, в котором рецензент не видит вклада, редактор не видит новизны, а сам автор чаще всего даже не садится писать: незаконченная папка на диске выгоднее, чем полгода на текст, который отклонят.

В литературе окажется пять работ, и все пять покажут, что методика работает. Никто не солгал, ни одна из пяти статей не содержит ошибки, каждая честно докладывает то, что получила. И тем не менее читатель, добросовестно изучивший всё опубликованное по теме, придёт к выводу, прямо противоположному истине. Этот урок про механизм, который так делает, и про то, как считать поправку на него.

Три фильтра и ящик стола

Отбор происходит не в одном месте, а в трёх, и это важно, потому что чинить приходится каждое.

Автор. Незначимый результат тяжелее опубликовать, а время конечно. Работа откладывается «до лучших данных» и остаётся в ящике стола. Отсюда и название механизма, эффект ящика стола: литература состоит из того, что вынули, а оценивать её приходится вместе с тем, что осталось внутри.

Рецензент. Незначимый результат труднее оценить: непонятно, эффекта нет или мощности не хватило. Замечание «выборка мала, вывод неубедителен» справедливо почти всегда, и оно чаще звучит там, где результат отрицательный, потому что там оно легче формулируется.

Редактор. Место в журнале ограничено, и решение принимается по ожидаемой ценности. Сообщение «мы проверили и не нашли» ценно ровно настолько, насколько сильно кто-то ожидал обратного, а такое бывает редко.

Ни один из трёх не делает ничего предосудительного. Каждый принимает решение, которое по отдельности защитимо. Но их совместное действие устроено как фильтр, пропускающий результаты по признаку значимости, а значит, литература систематически смещена в сторону эффектов, и величина смещения тем больше, чем меньше эффектов на самом деле есть.

Полезно проговорить, чем это отличается от смещения выборки из второго урока. Там в данные не попадали определённые люди. Здесь в данные не попадают определённые исследования. Механизм тот же самый, попадание в выборку связано с измеряемой величиной. Но стоит он на уровень выше: смещена не выборка внутри работы, а выборка самих работ.

Арифметика Ioannidis

В 2005 году Джон Иоаннидис опубликовал в PLoS Medicine работу с заголовком «Почему большинство публикуемых результатов исследований ложны». Это эссе, а не эмпирическое измерение, и вся его сила в одной арифметической выкладке, которую стоит проделать самому.

Возьмём поле, где за год проверяется 1000 гипотез, и пусть верны из них 100, то есть одна десятая. Мощность исследований равна 0,5, порог 0,05. Считаем четыре клетки.

Из 100 верных гипотез значимый результат дадут 50 (это и есть мощность), остальные 50 будут пропущены. Из 900 неверных значимый результат дадут 45, это 5 % от 900, то есть ложные срабатывания на пороге. Значимых результатов всего 95, и верны из них 50. Доля верных среди значимых составляет примерно 53 %.

Проверьте это число на ощущение. Каждая из 95 работ докладывает «p < 0,05», и вроде бы каждая имеет пятипроцентный шанс ошибиться. На деле шанс ошибиться у случайно взятой из них близок к половине. Разница возникает оттого, что 5 % считается от неверных гипотез, которых 900, а 50 % от верных, которых 100. Это ровно та же арифметика базовой частоты, что в пятом уроке про медицинский тест, только вместо больных и здоровых здесь истинные и ложные гипотезы.

Теперь опустим мощность до 0,2, для небольших исследований такая величина не экзотическая. Верных гипотез значимыми станут 20, ложных срабатываний по-прежнему 45. Значимых результатов 65, верны из них 20: доля падает до 31 %. Мощность не изменила ни одной гипотезы и ни одного порога, но перевернула вывод о литературе.

Отсюда виден и порог, за которым большинство опубликованного оказывается неверным. При мощности 0,2 доля верных среди значимых опускается ниже половины, как только истинных гипотез среди проверяемых меньше 20 %. При мощности 0,5 для этого достаточно, чтобы их было меньше примерно 9 %. Эти два числа считаются в одну строчку и стоят того, чтобы посчитать их своей рукой в практикуме.

Третья величина в аргументе это число независимо работающих групп. Пусть двадцать команд проверяют одну и ту же неверную гипотезу, каждая на пороге 0,05. Вероятность того, что хотя бы одна из них получит значимый результат, равна единице минус 0,95 в двадцатой степени, то есть примерно 0,64. Почти в двух случаях из трёх в литературе появится подтверждение несуществующего эффекта, а девятнадцать неудачных проверок останутся в ящиках столов, потому что рассказывать о них негде. Чем интереснее тема и чем больше групп ею занято, тем надёжнее срабатывает этот механизм.

Недобросовестность не требуется

Это главный пункт урока, и его стоит сформулировать отдельно, потому что при разговоре о смещённой литературе разговор обычно сворачивает на подтасовки.

Во всех примерах выше не было ни одного нечестного действия. Сто лабораторий из вводного примера работали безупречно. Пять опубликованных статей содержат корректные расчёты и правдивые описания процедуры. Рецензенты не покрывали друзей, редакторы не продавали место. И тем не менее итоговая картина ложна.

Из этого следует практический вывод, неудобный для привычного разговора о науке. Если бы искажение порождалось недобросовестностью, лечилось бы оно контролем: поймать, проверить, отозвать статью. Но искажение порождается правилом отбора, а правило нельзя поймать за руку. Лечится оно только изменением самого правила: публикацией отрицательных результатов, предрегистрацией плана до сбора данных, форматом, где решение о публикации принимается по описанию замысла, а не по тому, что получилось.

Есть и обратная сторона, о которой стоит помнить, чтобы не впасть в противоположную крайность. Из существования механизма не следует, что конкретная прочитанная вами работа неверна. Смещение остаётся свойством совокупности публикаций, а не отдельной статьи, и утверждение «эта статья ошибочна, потому что литература смещена» такая же ошибка перехода, как вывод о человеке из статистики по группе.

Малая мощность завышает найденный эффект

У публикационного искажения есть второе действие, менее заметное и более важное для чтения чисел. Оно не только наполняет литературу лишними находками, но и раздувает те находки, которые верны.

Пусть методика действительно работает и повышает результат в среднем на 4 балла. Пусть исследование маленькое, и стандартная ошибка разности средних составляет те же 4 балла: разброс оценки такой же по величине, как сам эффект. Порог значимости при таком разбросе составляет примерно две стандартные ошибки, то есть 8 баллов.

Первое следствие касается мощности. Значимый результат получится, если оценка превысит 8 при истинном значении 4, то есть отклонится вверх на одну стандартную ошибку. Это происходит примерно в 16 % случаев. Мощность такого исследования составляет около одной шестой: пять раз из шести настоящий эффект останется незамеченным, и это разбиралось в двенадцатом уроке.

Второе следствие важнее. Всякая работа, которая всё-таки пересечёт порог, покажет эффект не меньше 8 баллов, вдвое больше истинного. Не потому, что оценка сама по себе смещена: до отбора она честно колеблется вокруг четырёх. Смещение вносит отбор. Публикуются ровно те выборки, где случайность сыграла вверх, и средняя опубликованная оценка окажется где-то около девяти-десяти при истине в четыре.

Это явление называют проклятием победителя: выигрывает конкурс за публикацию тот, кому больше повезло, и его число тем сильнее преувеличено, чем жёстче конкурс. Обратите внимание, что оба следствия вытекают из одной величины, а именно из мощности. При мощности 80 % порог достигается уже при оценках, близких к истинному эффекту, и завышение почти исчезает. Малая мощность не просто мешает найти эффект, но и гарантирует, что найденный будет преувеличен.

Отсюда прямо следует то, что увидели проекты по воспроизводимости: при повторении на большой выборке эффект оказывается систематически меньше опубликованного. Это не свидетельство обмана и даже не обязательно свидетельство того, что исходный результат ложен. Это ожидаемое поведение оценки, отобранной по превышению порога. Числам, которые получили эти проекты, посвящён двадцать второй урок.

Как читать литературу, зная это

Полностью снять смещение при чтении нельзя, ведь недостающих работ у вас нет. Но три приёма делают чтение заметно осторожнее.

Первый: спросить о мощности поля, а не отдельной работы. Если в области принято работать на выборках, где мощность заведомо мала, то значимые результаты в ней встречаются в основном потому, что незначимые не публикуются, а размеры эффектов завышены по построению. Это оценка литературы целиком, и она делается до чтения конкретной статьи.

Второй: посмотреть на форму совокупности результатов. Существует простой приём, надо расположить все известные по теме оценки эффекта против их точности: маленькие исследования дают широкий разброс, большие узкий. При отсутствии искажения картина симметрична относительно общего среднего и сужается кверху, как воронка. Если из неё выеден угол и маленьких исследований с малым и отрицательным эффектом нет вовсе, перед вами тот самый ящик стола, ставший видимым. Приём диагностический, а не доказывающий: асимметрия может возникнуть и по другим причинам.

Третий: изменить вес одиночной находки. Одно значимое исследование в поле с низкой мощностью даёт слабое свидетельство, а не сильное. Правильная реакция на новость «исследование показало» звучит не как «значит, это так», а как вопрос: сколько групп занималось этим вопросом и что стало с их результатами.

И последнее, о чём легко забыть. Метаанализ, добросовестно собравший все опубликованные работы, наследует смещение целиком и вдобавок придаёт ему узкий доверительный интервал. Объединение смещённых оценок не отменяет смещения, а делает его увереннее, ловушка ровно та же, что с выборкой в два миллиона из второго урока. Вопрос «как отбирались вошедшие работы» к метаанализу задаётся раньше, чем вопрос об их числе.

Вопросы для самопроверки

Что читать

• Ioannidis, «Why Most Published Research Findings Are False», PLoS Medicine, 2005: Открытый доступ, читается за вечер. Читать стоит ради выкладки, а не ради заголовка: полезно проследить, какие допущения делают вывод сильным и что происходит при их изменении.
• Open Science Collaboration, «Estimating the Reproducibility of Psychological Science», Science, 2015: Данные, на которых видно предсказанное здесь падение размера эффекта. Разбирается в двадцать втором уроке.