Неопубликованные исследования в медицине

Почему напечатанная литература устроена радужнее, чем сделанная работа

Отрицательные результаты часто не публикуют: авторы откладывают статью «разницы не нашли», журнал берёт то, что будут читать, а спонсора долго не обязывали печатать неудачу. Из-за неопубликованных работ литература завышает эффект, а против этого придумана предварительная регистрация исследования с заранее названным главным исходом. Дорогие исследования лекарств в основном оплачивают производители, и их работы чаще приходят к благоприятным выводам: это основание для осторожности, а не доказательство обмана.

Обзор Кокрейн о конфликте интересов, 2017. Разбор 600 самых цитируемых работ, JAMA Network Open, 2023. Отзыв рофекоксиба, 2004 · 23 мин · обновлено 24.09.2026

Представьте, что новое средство проверяли десять раз. Десять независимых групп, десять отдельных исследований, один и тот же вопрос. В трёх работах средство помогло, в семи разницы с плацебо не нашлось. Вот и все данные, какие о нём есть на свете.

Дальше начинается то, ради чего написан этот урок. Три удачные работы вышли быстро и в заметных журналах: результат интересный, редакция берёт его охотно. Из семи неудачных две напечатали года через три в изданиях поменьше, а пять не напечатали вовсе.

Теперь посмотрите на средство глазами человека, который добросовестно читает литературу. Он находит пять исследований: в трёх польза есть, в двух её нет. Ни одной неверной цифры при этом никто не написал, а картина перевернулась.

Как отрицательные результаты не доходят до печати

Первым делом стоит отказаться от слова «прячут», потому что оно уводит в сторону. Работы никто не уничтожает и не засекречивает, просто они не доходят до печати. Разница между «спрятали» и «не дошло» существенная: от неё зависит, что с этим вообще можно сделать.

Начинается всё с самих исследователей. На статью уходят месяцы работы, и берутся за неё охотнее там, где есть о чём рассказать. Результат «разницы не нашли» ощущается как неудача, его откладывают на потом, а потом группа уже занята следующим проектом.

Вторым участником выступает журнал. Редакция выбирает из потока присланного то, что будут читать и цитировать. «Средство работает» читают, «средство не работает» читают заметно реже, и это не злой умысел редакции, а спрос читателя.

Третьим участником оказывается тот, кто платил за работу. Долгое время публиковать неудобный результат никого не обязывали, и часть исследований оставалась в столе. Заметьте: чисел и здесь никто не трогал, выбирали не между правдой и неправдой, а между «печатать» и «не печатать».

Складываясь, эти три обстоятельства дают смещение публикации: положительные результаты публикуются чаще отрицательных. Следствие у него одно, зато важное: обзор опубликованной литературы систематически завышает эффект. Слово «систематически» здесь ключевое, потому что перекос идёт не вразнобой, а всегда в одну сторону.

Величину этого перекоса курс намеренно не называет одним числом. Она разная в разных областях медицины и заметно зависит от способа счёта: что считать отрицательным результатом, от какой точки отмерять срок, брать ли работы, брошенные на середине. Направление же перекоса от таких решений не зависит, и для чтения важно именно оно. Требовать паспорт и самому ставить в него непроверенное число значит делать ровно то, против чего написан весь курс.

Десять работ и то, что от них осталось

Вернёмся к десяти работам и посмотрим на арифметику. Пример условный: таких ровных чисел в жизни не бывает, зато на них видно устройство перекоса.

Проведено. Десять работ: в трёх польза найдена, в семи разницы нет.
Напечатано. Все три удачные и две неудачные из семи.
Осталось в столе. Пять работ, во всех разницы нет.
Видно читателю. Пять работ: в трёх польза, в двух её нет.

Польза была найдена в трёх случаях из десяти, а в литературе она обнаруживается в трёх из пяти. Доля выросла на ровном месте, и ни одна работа при этом не соврала. Если теперь свести напечатанное в обзор, средний эффект окажется завышенным, и тем сильнее, чем больше неудачных работ осталось в столе.

Отсюда видно, почему смещение публикации не лечится внимательностью читателя. Он читает то, что напечатано, и по напечатанному не может узнать, чего не хватает. Незаметность составляет главное свойство этого перекоса и главную причину, по которой с ним борются правилами, а не бдительностью.

Что это делает с систематическим обзором

Выше всего в иерархии доказательств стоит систематический обзор, то есть сведение всех работ по одному вопросу по объявленному заранее правилу поиска. Правило объявляют до начала затем, чтобы автор не мог отобрать удобное. Здесь у верхней ступени и обнаруживается уязвимое место.

Обзор силён ровно настолько, насколько полно он нашёл то, что искал. Если пять работ напечатаны, а пять лежат в столе, добросовестный обзор соберёт пять. Правило поиска при этом объявлено заранее и выполнено честно, а перекос всё равно войдёт внутрь и станет выводом.

Поэтому современный обзор ищет не только по журналам. Он смотрит в регистры исследований, где работа записана до начала, пишет авторам и спрашивает про незаконченное, а найденную дыру называет прямо: столько-то работ существуют, отчёта по ним нет. Читателю от этого польза прямая: видно не только то, что нашли, но и то, чего не хватает.

Ответ области: сказать заранее

Против такого перекоса придумано средство, простое до обидного: объявить заранее, что собираешься делать. Предварительная регистрация и есть публичная запись об исследовании, сделанная до его начала. В ней указано, кого включают, сколько человек, что и как измеряют.

Первое, что это меняет: исследование становится видимым до того, как получен результат. Потом уже нельзя сделать вид, будто работы не было: запись есть, и по ней видно, что отчёта нет. Спрятать неудобный итог стало не невозможно, а заметно.

Второе изменение тоньше и важнее. В записи заранее назван главный исход, то есть та величина, ради которой всё затевалось. Без этого можно измерить два десятка величин и рассказать про ту, которая случайно вышла удачной, и такая подмена называется избирательным сообщением об исходах. Регистрация позволяет её увидеть: достаточно сравнить, что обещали измерить и о чём отчитались.

Третье средство, требование опубликовать результат независимо от того, каким он вышел, идёт в паре с первым. Правило это выполняется не идеально, и часть работ по-прежнему остаётся без отчёта. Но само его появление изменило положение дел: раньше молчание было нормой, теперь оно нарушение.

Кто платил

Вторая половина урока посвящена деньгам, и здесь особенно легко ошибиться в обе стороны сразу. Факт, который стоит держать в точной формулировке, звучит так: финансирование производителем связано с более благоприятными выводами. Связь эта наблюдается устойчиво, и делать вид, что её нет, нельзя.

У связи есть размер, и его посчитали. Обзор Кокрейн 2017 года свёл работы, сравнивавшие исследования по источнику денег: оплаченные производителем чаще давали благоприятный результат по эффективности (отношение рисков 1,27 при интервале от 1,17 до 1,37, по 25 работам). Благоприятный вывод встречался ещё чаще: 1,34 при интервале от 1,19 до 1,51, по 29 работам. А по вреду разницы не нашли: 1,37 при интервале от 0,64 до 2,93, и работ там всего четыре.

Третье число обязательно читать вместе с двумя первыми. Систематическая разница видна в подаче пользы и в выводах, а в подаче вреда она не показана, и не показана в том числе потому, что таких работ набралось четыре. «Не показана» и «её нет» не одно и то же, и урок 15 разбирает эту разницу отдельно. Стоит заметить и другое: вывод сдвигается сильнее результата, то есть расходятся не столько измерения, сколько сказанное о них.

Теперь о том, чего этот факт не означает. Он не означает подлога: это основание для осторожности, а не доказательство обмана. Связь описывает поток работ в целом и ничего не сообщает о конкретной статье, которую вы держите в руках.

Откуда берётся связь, понятнее всего на списке решений, которые принимают до начала работы. С чем сравнивать: с плацебо или с лучшим из существующих средств. Кого включать: тех, у кого шансов на успех больше, или всех подряд. Сколько наблюдать: год или пять лет. Что считать главным исходом: инфаркт или уровень холестерина.

Каждое такое решение по отдельности защитимо, и на каждое найдётся разумный довод. Но выбор между двумя защитимыми вариантами делает человек, и делает он его не в пустоте. Сумма мелких склонений в одну сторону даёт заметный сдвиг результата без единой неправды.

Полезно знать и масштаб явления, иначе осторожность незаметно превращается в отказ от чтения. Из 600 самых цитируемых рандомизированных работ, опубликованных с 2019 года, 409 (то есть 68 %) финансированы индустрией, а 303 оплачены исключительно ею. Отбросить всё, за что платил производитель, значит отбросить разом две трети доказательной базы. Осторожность поэтому означает читать внимательнее, а не откладывать в сторону.

И о том, о чём в этом разговоре забывают чаще всего. Конфликт интересов бывает не только денежным: репутация, карьера и двадцать лет собственной работы над методом склоняют не слабее гранта. Автор, защищающий дело своей жизни, заинтересован не меньше того, кому заплатили, только его интерес не указан в конце статьи.

Почему вред виден позже пользы

У публикации есть ещё одна сторона, и на ней держится вся система надзора. Пользу лекарства проверяют до выхода на рынок: в рандомизированных исследованиях, на тысячах людей, за месяцы или за несколько лет. Редкий вред за это время может не встретиться ни разу.

Арифметика тут простая, и её стоит проделать. Пусть событие случается у одного человека из тысячи за год само по себе, а лекарство прибавляет к этому ещё один случай на ту же тысячу. В исследовании на две тысячи участников, по тысяче в каждой группе, за год ожидается два случая на лечении против одного на плацебо. Инфаркты и инсульты случаются и без всякого лекарства, так что разница в один случай означает обычные колебания, а не сигнал.

После выхода на рынок числа меняются на два порядка. Препарат получают миллионы людей, и получают годами, а не месяцами. То, что было неотличимо от колебаний, становится различимым, но не сразу и не само собой.

Так и устроен надзор после выхода на рынок: сообщения врачей о необычных случаях, базы назначений, наблюдательные работы, а при необходимости и новые рандомизированные исследования. Занимает это годы, и причина не в нерасторопности. Сигнал слабый, фон высокий, а наблюдательные данные путает знакомое обстоятельство: лекарство чаще получают те, кто и без него болеет тяжелее.

Самым известным случаем такого рода стал отзыв рофекоксиба в 2004 году. Обезболивающее было отозвано с рынка после того, как накопились данные о повышении сердечно-сосудистого риска. Разбирательства о том, что и когда было известно, тянулись потом годами, и пересказывать их здесь незачем.

Важно в этой истории другое, и оно повторяется всякий раз. Редкие вредные эффекты видны только на больших числах и после долгого применения, то есть уже после того, как препарат вышел к людям. Отзыв означает, что надзор сработал, а открытым остаётся другой вопрос: насколько быстро он срабатывает.

Что отсюда следует и чего не следует

Сначала о том, чего не следует, потому что этот вывод притягивает сильнее. Из смещения публикации не следует, что литературе нельзя верить и что «на самом деле не работает ничего». Отрицательные результаты доходят и до крупнейших журналов (на них стоят уроки 7 и 8), просто доходят реже и позже прочих. Следует ровно одно: напечатанное не случайная выборка из сделанного, и потому одна работа никогда не вывод.

Дальше идёт то, что читатель может проверить сам, не имея медицинского образования. Есть ли у исследования предварительная регистрация и совпадает ли главный исход с обещанным. Есть ли систематический обзор по этому вопросу и что сказано в нём. Кто финансировал работу, и это вопрос об осторожности, а не приговор.

И отдельно стоит заметить вещь, которую в разоблачительном чтении теряют первой. Про смещение публикации мы знаем потому, что медицина сама его нашла, измерила и придумала против него правила. Область, которая ловит собственный перекос и меняет из-за него порядок работы, устроена лучше области, которая о своём перекосе не подозревает.

Что дальше

Мы разобрали, откуда берётся разрыв между сделанным и напечатанным. Осталось спуститься на этаж ниже, туда, где напечатанное превращается в новость. Урок 20 разбирает по шагам пресс-релиз и данные под ним и даёт шесть вопросов, которые отсеивают большую часть шума.

Там же выяснится вещь, неприятная на первый взгляд. Заголовок способен ввести читателя в заблуждение, не сказав ни одного неверного числа, и делает он это чаще, чем прямая неправда.

Вопросы для самопроверки

Что читать

• Cochrane Library, описание того, как обзор ищет неопубликованные работы: Открытое изложение правил поиска: регистры, запросы авторам, оценка того, чего не хватает. Читается как ответ на вопрос, что делать со смещением публикации на практике.
• Курс школы «Искусственный интеллект», уроки о том, как читать заявления о способностях машин: Тот же механизм отбора вне медицины: удачные запуски показывают, неудачные не показывают. Дополнение к этому уроку, а не условие его понимания.