Как проверять новости о здоровье
Статья, пресс-релиз и заголовок, в котором все числа верны
Проверить медицинскую новость можно шестью вопросами, которые не требуют медицинского образования: какой дизайн, сколько участников, у кого, что измеряли, относительное число или абсолютное, выживаемость или смертность. Искажает новость обычно не ложь, а сокращение: по дороге от статьи к пресс-релизу и заголовку оговорки выпадают первыми. Заголовок «учёные доказали» вводит в заблуждение даже с верными числами, ведь одна работа даёт оценку с неопределённостью.
Цепочка от статьи к заголовку. Шесть вопросов и проверка на случайность. CAST. FIDELITY, 2013 · 24 мин · обновлено 24.09.2026
После урока вы сможете
- Задавать сообщению о здоровье шесть вопросов, ни один из которых не требует медицинского образования
- Проверять не число участников, а число событий: хватило ли их, чтобы разница не оказалась случайной
- Отличать клинический исход от суррогатной величины, которая его якобы предсказывает
- Переводить относительное снижение риска в число людей и в число пролеченных
- Понимать, почему выживаемость и смертность не одно и то же и почему первая обманчива
- Видеть, где заголовок вводит в заблуждение, не сказав ни одного неверного числа
В ленте попадается заголовок: «Препарат снижает риск инфаркта на четверть». Ниже три абзаца о том, что учёные из известного университета доказали пользу. Больше в сообщении нет ничего: ни числа участников, ни того, у кого мерили, ни того, что именно мерили.
За этим заголовком стоит цепочка из трёх текстов. Сначала статья на пятнадцать страниц с таблицами и оговорками. Потом пресс-релиз на одну страницу, написанный не автором статьи. Потом новость на четыреста слов, у которой заголовок пишет уже третий человек.
Каждый следующий текст короче предыдущего и увереннее его. В этом и состоит механизм, из-за которого новости о здоровье выглядят то спасением, то катастрофой. Урок даёт шесть вопросов, которые возвращают сообщение к тому, что в нём есть на самом деле.
Откуда берётся новость
Начать стоит с того, что заговора здесь нет. На каждом шаге цепочки человек делает свою работу, и работа эта устроена так, что оговорки теряются сами. Искажение возникает не там, где кто-то лжёт, а там, где текст сокращают.
Пресс-служба университета или производителя пишет о том, чем можно гордиться. Ей нужно, чтобы новость заметили, и потому в релиз попадает самое яркое число. Преувеличивает пресс-релиз предсказуемым образом: относительные числа вместо абсолютных, суррогатные величины вместо настоящих исходов, вывод шире, чем данные.
Журналист чаще всего не имеет доступа к самой статье и почти всегда не имеет времени. У него четыреста слов и час до сдачи, а релиз лежит перед ним готовым. Оговорки в четыреста слов не помещаются, и первыми из текста выпадают именно они.
Заголовок пишет редактор, и пишет он его не к статье, а к новости. Задача заголовка только в том, чтобы текст открыли. Поэтому претензии к заголовку почти всегда бьют мимо: он делает ровно то, для чего написан.
Отсюда правило, которое стоит принять заранее. Проверять надо не добросовестность участников цепочки, а само сообщение, причём по одному и тому же списку вопросов, одинаковому для всех новостей. Список этот составляет остаток урока.
Шесть вопросов
Список короткий, и медицинского в нём нет ничего. Каждый вопрос устроен так, что ответ на него либо есть в тексте, либо его нет, и отсутствие ответа тоже результат, притом самый частый. Пустая клетка не повод отбросить новость, а повод не достраивать её самому.
1. Какой дизайн? Рандомизированное сравнение, наблюдение или серия случаев: от этого зависит, что вообще можно заключить.
2. Сколько участников? Двадцать человек и двадцать тысяч дают разные новости при одном и том же выводе.
3. У кого? Возраст, тяжесть состояния, сопутствующие болезни: вывод относится к тем, кого включали.
4. Что измеряли? Клинический исход или суррогат: то, что важно человеку, или величину, которая это якобы предсказывает.
5. Число относительное или абсолютное? «На четверть меньше» и «шесть человек из тысячи» бывают одной и той же разницей.
6. Выживаемость или смертность? В новостях про раннее обнаружение болезни эти два слова означают совершенно разное.
Первые три вопроса отвечают, что за работа стоит за сообщением. Последние три отвечают, что именно она показала. Разберём подробнее те, на которых спотыкаются чаще всего, а начнём с третьего: его недооценивают сильнее прочих.
Исследование FIDELITY сравнивало артроскопию с плацебо-операцией у 146 человек 35-65 лет при двойном ослеплении. У всех был дегенеративный разрыв мениска и ни у кого не было артроза. Вывод этой работы относится к таким людям и не относится ни к свежим травматическим разрывам у молодых, ни к заклинившему колену. В новости такая строчка выпадает первой, а без неё вывод расползается на всех подряд.
Исход или суррогат
Четвёртый вопрос требует одного различения, и оно того стоит. Клиническим исходом называют то, что важно человеку: умер он или нет, случился ли инфаркт, вернулась ли подвижность. Ради этого лечатся, и это имеет смысл измерять.
Суррогатной величиной называют то, про что считается, что она клинический исход предсказывает: уровень холестерина, сахар крови, плотность кости, размер опухоли. Слово «считается» здесь не придирка, а суть дела. Связь между суррогатом и исходом сама по себе нуждается в доказательстве.
Используют суррогаты не по глупости, а из-за времени и денег. Чтобы увидеть разницу в числе инфарктов, нужны тысячи людей и годы наблюдения, а чтобы увидеть разницу в холестерине, хватит сотни людей и нескольких месяцев. Это осознанный компромисс, и он законен ровно до тех пор, пока связь держится.
А держится она не всегда, и цена ошибки бывает высокой. В рандомизированном исследовании CAST антиаритмические препараты сравнили с плацебо у людей, перенёсших инфаркт: аритмию они подавляли, как и задумано, а смертность в группе лечения оказалась выше, чем в группе плацебо. Суррогат улучшился, исход ухудшился. Урок 6 разбирает этот сюжет целиком.
Отсюда практический приём. Услышав, что средство «улучшает показатели», спросите себя, что должно было бы измениться в жизни человека. Если ответа на этот вопрос в сообщении нет, измеряли суррогат.
Формула безотказная: она звучит как польза и не обещает ничего проверяемого. Улучшить показатель можно, не изменив ни одного события в жизни человека, а иногда и ухудшив их. Требуйте от сообщения глагола, за которым стоит событие: реже случались, дольше жили, вернулись к работе.
Относительное число или абсолютное
Пятый вопрос решается одной привычкой. Всякий раз, когда сказано, во сколько раз что-то снизилось, надо спросить: от какого уровня. Без ответа на это слова «вдвое» и «на четверть» не значат ровно ничего.
Возьмём данные, на которых устроен тренажёр урока. Без лечения инфаркт или смерть от болезни сердца случались у 24 человек из тысячи за четыре года. С лечением они случались у 18 человек из тысячи за тот же срок.
Одну и ту же разницу можно назвать двумя способами, и оба будут верны. «Риск меньше на четверть» говорит об отношении 24 и 18. «Шесть человек из тысячи за четыре года» говорит о разнице между ними. Первое продаётся, второе информирует.
Полезно перевести всё это и в третье число. Шесть спасённых на тысячу означают, что ради одного предотвращённого события лечить придётся около 170 человек четыре года. Такое число называют NNT, и оно немедленно ставит рядом второй вопрос: что за эти четыре года получат остальные 169. Подробный счёт пользы и вреда разбирает урок 5.
Ни одно из трёх чисел не является правильным или неправильным. Неправильно называть первое и умалчивать второе: тогда читатель достраивает масштаб сам, и достраивает его всегда в большую сторону. Проверка простая: если число в сообщении одно, второго не хватает.
Выживаемость или смертность
Шестой вопрос выглядит придиркой к словам, а на деле он важнее прочих. Два похожих слова означают разные величины, и в новостях про раннее обнаружение болезней их путают почти всегда. Различить их можно за секунду, если помнить, от чего каждая считается.
Выживаемость считается от даты диагноза: какая доля людей прожила пять лет после того, как болезнь нашли. Смертность считается от числа людей вообще: сколько человек из тысячи умирает от этой болезни за год. Первая величина зависит от того, когда поставлен диагноз, вторая не зависит.
Фокус стоит проделать в уме, он короткий. Возьмите человека, у которого болезнь нашли в шестьдесят лет, а умер он в шестьдесят три. В пятилетнюю выживаемость он не попал. Теперь найдите ту же болезнь на три года раньше, не изменив в лечении ничего: тот же человек, умерший в тот же самый день, попадает в число проживших пять лет.
Не изменилось ничего, кроме даты начала отсчёта, а статистика улучшилась. Поэтому выживаемость растёт от программ раннего обнаружения почти автоматически и о пользе не говорит. О пользе говорят смертность от болезни и общая смертность в рандомизированном сравнении, и урок 11 разбирает это вместе с двумя родственными смещениями.
Разница между двумя словами важна там, где сдвигается дата диагноза, то есть в разговоре про скрининг и раннее обнаружение. Когда сравнивают две группы лечения при уже поставленном диагнозе, дата начала отсчёта у обеих одна, и подвох исчезает. Правило поэтому звучит так: как только речь заходит про «нашли раньше», ищите в тексте слово «смертность».
Разбор по шагам
Теперь пройдём весь список на одном материале. Данные ниже учебные, они собраны для тренажёра урока, но устроены как настоящие. Идти стоит строго по порядку: каждый вопрос отсекает своё, и пропущенный не заменяется следующим.
Дизайн. Рандомизированное двойное слепое исследование.
Участников. 4800 человек, по 2400 в группе, срок наблюдения четыре года.
Исход. Инфаркт или смерть от болезни сердца.
Без лечения. 24 случая на 1000, то есть 58 человек в группе.
С лечением. 18 случаев на 1000, то есть 43 человека в группе.
Финансирование. Производитель препарата.
Вопрос 1. Какой дизайн? Рандомизированное двойное слепое исследование. Участников распределял жребий, и ни пациент, ни оценивающий врач не знали, кто что получает. Это верхняя ступень доказательности, и по данному пункту к работе претензий нет.
Вопрос 2. Сколько участников? Четыре тысячи восемьсот человек и четыре года наблюдения. Число выглядит солидно, но считать надо не людей, а события: их вышло около 58 в одной группе и 43 в другой. На такой горстке случаев разница в шесть человек на тысячу вполне может оказаться игрой случая, и ниже мы это доведём до чисел.
Вопрос 3. У кого? Ответа нет. Ни возраста, ни исходного состояния, ни сопутствующих болезней не названо, а значит, неизвестно, к кому вывод относится. Дыра существенная: 24 события на тысячу за четыре года означают немаленький риск, и человеку с другим исходным риском эти числа не подойдут.
Вопрос 4. Что измеряли? Инфаркт или смерть от болезни сердца, то есть клинический исход, а не суррогат. Пункт важный: заголовок про холестерин из этих же данных был бы подменой, потому что главным здесь было не содержимое анализа, а сами события.
Вопрос 5. Число относительное или абсолютное? Здесь даны оба: 24 против 18 случаев на тысячу за четыре года. Отсюда получается и «на четверть», и «шесть человек из тысячи», то есть одна разница, названная двумя способами.
Вопрос 6. Выживаемость или смертность? Мерили события, а не долю проживших пять лет после диагноза. Ловушка тут не срабатывает, и это тоже ответ, который стоит проговорить.
Второй вопрос стоит довести до конца, потому что он решает судьбу всей карточки. Разница в шесть случаев на тысячу получена как оценка, и у неё есть разброс. При таком числе событий он тянется от двух лишних случаев на тысячу до четырнадцати предотвращённых, то есть данные допускают и полное отсутствие пользы.
Чтобы такая разница, будь она настоящей, уверенно проступила сквозь случайность, участников понадобилось бы около восемнадцати тысяч, то есть почти вчетверо больше. Отсюда и смысл второго вопроса: он не о том, солидно ли выглядит число людей, а о том, хватило ли событий. Это не новый пункт списка, а вторая половина второго. Откуда берётся разброс у любой оценки и как читать его ширину, разбирает урок 23.
Осталась строчка о том, кто платил, и в шести вопросах её нет. Здесь платил производитель препарата, и читается это так: связь финансирования с более благоприятными выводами известна и устойчива, подлога она не доказывает, а осторожность обосновывает. Тренажёр урока называет его седьмым (вне списка из шести), и урок 19 разбирает, почему он стоит именно там: ответов на первые шесть вопросов он не отменяет, а говорит лишь, насколько внимательно их перепроверять.
Данные учебные: такого препарата нет, числа собраны для тренажёра. Размер выбран нарочно: 4800 человек звучат солидно, а событий при таком исходе набирается около сотни на обе группы, и отличить 24 случая на тысячу от 18 они не позволяют. Строчки «у кого» в карточке нет, ровно так же, как её обычно нет и в настоящих сообщениях о здоровье.
Заголовок, в котором все числа верны
Тренажёр показывает те же данные и пять заголовков, собранных из них. Неверного числа нет ни в одном. Честны из пяти два, в том смысле, что верно передают масштаб.
В заголовке «Препарат снижает риск инфаркта на четверть» число верное, впечатление ложное: без абсолютной величины читатель достраивает масштаб сам. Заголовок «Препарат улучшает холестерин» подменяет клинический исход суррогатом: главным исходом здесь были инфаркты, а не анализ крови. В заголовке «Учёные доказали пользу препарата» слово «доказали» не из научного словаря: одна работа даёт оценку с неопределённостью, а выводы делают из совокупности.
Честные заголовки выглядят иначе. В заголовке «Из каждой тысячи людей препарат уберёг от инфаркта шестерых за четыре года» есть абсолютное число, названный срок, клинический исход. В заголовке «Препарат снижает риск инфаркта с 24 до 18 случаев на 1000 за четыре года» даны оба числа сразу. Придраться к последнему можно разве что за молчание о побочных эффектах и о том, у кого был такой исходный риск.
Есть у всех пяти и общая недомолвка, и находит её как раз второй вопрос. Ни один заголовок не говорит, что разница могла оказаться случайной, а по этой карточке она могла. Полная запись звучала бы так: препарат уберёг от инфаркта шестерых из тысячи за четыре года, и разница эта пока не отличима от случайной. В заголовок такое не помещается никогда.
Разница между честным заголовком и нечестным не в правдивости чисел. Она в том, достаточно ли сказанного, чтобы читатель составил верное представление о масштабе. Заголовок, после которого масштаб представляется неверно, вводит в заблуждение, даже когда каждое слово в нём можно защитить по отдельности.
Чего этот список не делает
Шесть вопросов отсеивают шум, и на этом их работа заканчивается. Специалиста из читателя они не делают и основания что-нибудь отменить или начать самостоятельно не дают. Проговорить это стоит прямо, потому что на радостях от нового умения ограничение теряется первым.
Причина простая: сообщение и решение не одно и то же. Новость рассказывает о среднем результате у людей, которых вы никогда не видели. Решение касается вас, вашего исходного риска, ваших других болезней и того, как вы сами взвешиваете пользу и неудобства.
Поэтому у разбора всегда один конец. Разобранная новость служит хорошим поводом задать более точный вопрос, а решение принимается врачом вместе с человеком: у врача знание случая, у человека знание своих приоритетов. Урок 22 разбирает, как этот разговор устроен и какие вопросы в нём уместны.
Умение разобрать новость не заменяет консультации и не даёт оснований менять назначенное. Оно даёт другое: возможность прийти к врачу с точным вопросом вместо тревожной ссылки. Вопрос «какова польза в абсолютных числах для человека с моим риском» полезнее любого пересказа заголовка.
Что дальше
Мы прошли путь от статьи до заголовка и научились идти по нему в обратную сторону. Остался последний источник заявлений о здоровье, самый влиятельный и самый скучный на вид: официальные рекомендации. На вид это всего лишь свод известного, а на деле именно он определяет, что происходит в кабинете врача.
Урок 21 разбирает, как из исследований собирается строчка в таком документе. Заодно выяснится, почему рекомендации меняются и почему они расходятся у разных стран при одних и тех же данных. Смена рекомендации при этом окажется признаком работающей системы, а не её провала.
Соберите честный заголовок
Данные одного исследования и пять заголовков из них. Три вводят в заблуждение, не соврав ни в одном числе.
Ключевые исследования
| CAST, антиаритмические препараты после инфаркта | 1989 | Рандомизированное двойное слепое сравнение с плацебо у людей, перенёсших инфаркт и имеющих нарушения ритма: рандомизировано 1727 человек. Препараты подавляли аритмию, как и предполагалось, а смертность в группе лечения оказалась выше, чем в группе плацебо. |
| Сихвонен и соавторы, исследование FIDELITY, NEJM | 2013 | Двойное слепое сравнение артроскопии с имитацией операции: 146 пациентов 35-65 лет с симптомами дегенеративного разрыва мениска и без артроза. Пример работы, у которой круг участников очерчен строго, и именно эта строчка выпадает из новостей первой. |
Что подтвердилось, а что нет
Из пяти заголовков тренажёра три вводят в заблуждение, не соврав ни в одном числе. Достаточно назвать относительное снижение без абсолютного, подменить клинический исход суррогатом или прибавить слово «доказали». А умолчание, общее у всех пяти, касается того, что разница в 6 случаев на 1000 при таком числе событий не отличима от случайной. Проверять поэтому приходится не арифметику, а то, о чём число говорит и чего оно не говорит.
Искажение обычно направленное: относительные числа вместо абсолютных, суррогатные величины вместо клинических исходов, вывод шире полученных данных. Подлога при этом нет нигде, каждый участник цепочки делает свою работу. Отсюда практическое следствие: сверяться стоит с самой статьёй, а не с двумя её пересказами.
Шесть вопросов урока не требуют ни одного специального знания: они про устройство работы, а не про биохимию. Этот набор действительно не даёт решения о лечении: он отсеивает шум и не заменяет разговора с врачом. Различать эти две вещи важнее, чем помнить сам список наизусть.
Термины
- пресс-релизpress release
- Сообщение о работе, написанное пресс-службой для журналистов. Преувеличивает предсказуемо: относительные числа, суррогатные величины, вывод шире данных.
- главный исходprimary outcome
- Величина, ради которой затевалось исследование, названная до его начала. Если её объявляют задним числом, из многих измеренных величин выбирается самая удачная.
- иерархия доказательствhierarchy of evidence
- Порядок типов исследований по силе. Основание порядка одно: сколько посторонних объяснений результата отсекает каждый тип.
- рандомизированное контролируемое исследованиеrandomised controlled trial, RCT
- Исследование, в котором распределение участников по группам решает жребий, а не человек. Так группы уравниваются и по тому, что не измерялось.
- двойное ослеплениеdouble blinding
- Порядок, при котором ни участник, ни оценивающий врач не знают, кто получил настоящее лечение. Защищает ещё и от смещения в оценке наблюдателем.
- применимостьexternal validity
- Степень, в которой вывод исследования переносится на людей за пределами его участников. Определяется тем, кого включали и кого исключали.
- смещение публикацииpublication bias
- Перекос в пользу положительных результатов: они публикуются чаще отрицательных. Из-за него обзор опубликованной литературы систематически завышает эффект.
- конфликт интересовconflict of interest
- Обстоятельство, склоняющее исследователя к определённому выводу: финансирование, репутация, авторство метода. Основание для осторожности, а не доказательство подлога.
Практикум · Разобрать одну новость по шести вопросам
Список запоминается не с чтения, а с первого применения. Возьмите одну новость о здоровье и пройдите по ней сверху вниз, записывая ответы в столбик. Занимает двадцать минут, и почти всегда половина клеток остаётся пустой. Это и есть главный результат.
- Выберите новость, которая попалась случайно, а не самую подозрительную из знакомых. Выпишите её заголовок дословно: дальше вы будете сравнивать с ним всё остальное.
- Ответьте по тексту новости на первые три вопроса: дизайн, число участников, у кого. Каждый вопрос без ответа отметьте отдельным знаком: пустых клеток обычно больше, чем заполненных.
- Найдите, что измеряли, и решите, клинический это исход или суррогат. Если названа величина из анализа, спросите себя, что должно было бы измениться в жизни человека.
- Найдите числа. Если названо только относительное снижение, поищите в первоисточнике абсолютные числа и переведите их в людей на тысячу за названный срок.
- Сравните заголовок с тем, что вы выписали, и запишите одной фразой, где он обгоняет данные: в громкости вывода, в круге людей или в подмене исхода.
Вопросы для самопроверки
«Препарат снижает риск инфаркта на четверть». Что нужно узнать, чтобы понять, велика ли польза?
- Как называется действующее вещество и какая фирма его выпускает
- В каком журнале вышла статья и насколько строг там отбор работ
- Сколько человек участвовало в исследовании и сколько из них дошло до конца
- От какого уровня считали: с 24 случаев на тысячу до 18 за четыре года
Новость сообщает, что средство «улучшает показатели холестерина». Что это за исход?
- Суррогатный: величина, про которую считается, что она предсказывает инфаркты
- Клинический: холестерин измеряют в крови, а измеренное прибором человеку и важно
- Главный исход этой работы, иначе о нём не написали бы в новости
- Тот же, что и смертность, только измеренный на несколько лет раньше
В карточке исследования не сказано, у кого именно был исходный риск 24 случая на тысячу. Что это значит для читателя?
- Ничего существенного: важна только разница между двумя группами
- Неизвестно, к кому относится вывод, и перенести его на себя нельзя
- Что работа выполнена с ошибкой: без такой строчки её не приняли бы к печати
- Что нужно искать другое исследование того же препарата, где эта строчка есть
В новости о программе раннего обнаружения сказано, что пятилетняя выживаемость выросла. О чём это говорит?
- О том, что программа спасает жизни: доля проживших пять лет выросла
- О том, что лечение стало эффективнее, раз с диагнозом стали жить дольше
- Почти ни о чём: выживаемость растёт от одного переноса даты диагноза
- О том, что болезнь стала встречаться реже, чем в прежние годы
В учебной карточке 4800 участников, четыре года наблюдения и 24 случая на тысячу против 18. Что об этом вернее всего сказать?
- Работа крупного размера: при четырёх с лишним тысячах участников случайность исключена
- Событий вышло около сотни на обе группы, и разница вполне может оказаться случайной
- Числа несопоставимы: без указания возраста участников считать разницу нельзя вовсе
- Абсолютных чисел здесь нет, поэтому оценить масштаб пользы по такой карточке невозможно
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Cochrane Library, открытые резюме систематических обзоров: Полезное упражнение: найти резюме по теме свежей новости и сравнить два вывода. Обзор почти всегда осторожнее, и видно, за счёт чего.
- Курс школы «Критическое мышление», уроки о чтении чисел в новостях: Тот же приём в общем виде, без медицины: как из сообщения вынимают довод и что при этом теряется. Дополнение к этому уроку, а не условие его понимания.