Еда и рак: что показывают исследования
Пятьдесят продуктов, вытянутых жребием из поваренной книги 1896 года, и работа, у которой резюме расходится с собственным полным текстом
Связь с раком медицинские публикации находят у большинства продуктов, но обычно слабую и с выводами в обе стороны. Шёнфельд и Иоаннидис вытянули жребием 50 продуктов из поваренной книги 1896 года, и работы о раке нашлись для 40 из них. Из 264 оценок 39 % сообщали о повышении риска, 33 % о снижении, 23 % не нашли ясной связи, а медианный относительный риск в 36 мета-анализах составил 0,96, почти единицу.
Schoenfeld & Ioannidis, AJCN 2013: обзор по случайной выборке предмета, 264 оценки эффекта в 216 публикациях. Два расхождения резюме с полным текстом сверены по первоисточнику · 23 мин · обновлено 15.09.2026
После урока вы сможете
- Пересказывать работу Шёнфельда и Иоаннидиса так, как она написана, а не так, как её пересказывают
- Различать резюме статьи и её полный текст и знать, что именно между ними расходится
- Объяснять, почему список продуктов, выбранный жребием, говорит о литературе больше, чем список, выбранный по теме
- Называть предмет работы: она измеряла публикации, а не людей
- Задавать к любому числу о еде первый вопрос курса: чем эту величину получили
Про кофе вы почти наверняка читали дважды. Сначала о том, что он повышает риск рака. Потом о том, что понижает. То же самое можно вспомнить про молоко, про мясо, про сахар и почти про что угодно ещё.
В конце 2012 года двое исследователей решили проверить это не впечатлением, а счётом. Джонатан Шёнфельд и Джон Иоаннидис взяли поваренную книгу, вытянули из неё пятьдесят продуктов жребием и посмотрели, что о каждом написано в медицинской литературе. Работа вышла в American Journal of Clinical Nutrition и называлась вопросом: всё ли, что мы едим, связано с раком.
Обычное объяснение таким разворотам звучит так: учёные всё время меняют мнение. Объяснение это мешает больше, чем помогает: оно закрывает вопрос вместо того, чтобы его задать. Спросить надо другое. Что именно измерили в той работе, из которой сделан заголовок?
Курс начинается с неё по двум причинам. Первая причина в её ответе, который пересказывают неверно почти всегда. Вторая важнее: в резюме этой работы есть арифметическая ошибка, и увидеть её может любой, кто откроет полный текст.
Как выбирали продукты
Обычный обзор литературы начинается с темы. Кто-то интересуется кофе и собирает работы о кофе. Список изучаемого при этом задаёт сам исследователь, и потому обзор отвечает про то, что занимало его автора.
Здесь сделали иначе, и в этом вся работа. Взяли The Boston Cooking-School Cook Book Фанни Фармер издания 1896 года, выложенную на archive.org. Номера страниц генерировали случайно в Excel. На выпавшей странице брали первый рецепт, а из рецепта все входящие в него продукты. Страницу без рецептов пропускали и тянули следующую.
Так повторяли, пока не набралось пятьдесят разных продуктов. Список получился таким, каким его сделал жребий: телятина, соль, перец, мука, яйцо, хлеб, лавровый лист, гвоздика, черепаха. Никто не решал, что проверять, и в этом смысл приёма: перекос обычно вносит как раз выбор темы.
Такой обзор называется обзором по случайной выборке: предмет в нём назначен жребием, а не интересом. Дальше по каждому продукту делали один и тот же запрос в PubMed и брали десять самых свежих когортных работ или работ «случай-контроль». Ни один продукт не получил преимущества перед другим.
Так собрались 264 оценки эффекта в 216 публикациях, датированных с февраля 1976 по декабрь 2011 года. Из них 154 работы вышли в 2005 году или позже. Литература бралась англоязычная, индексируемая PubMed, и это тоже часть паспорта: обзор отвечает про неё, а не про мировую науку вообще.
Что нашлось
Хотя бы одна работа о связи с раком нашлась для сорока продуктов из пятидесяти. Не нашлось ни одной для десяти: лавровый лист, гвоздика, тимьян, ваниль, гикори, патока, миндаль, пищевая сода, имбирь и черепаха. Авторы отмечают, что эта десятка в целом более экзотична.
Теперь главное, и как раз оно теряется в пересказах первым. Ходовая формула звучит так: «для сорока продуктов из пятидесяти показали повышение риска рака». Это неверно, и неверно в существенном месте.
Как разделились выводы 264 оценок.
39 %: риск повышен.
33 %: риск снижен.
5 %: вывод пограничный.
23 %: ясной связи нет.
Отдельно: у 36 из 40 продуктов нашлась хотя бы одна работа с выводом о повышении или о снижении риска.
Сорок это число продуктов, о которых нашлась хоть какая-нибудь работа. Оно не означает, что все сорок «повышают риск». Выводы разошлись почти поровну в обе стороны, и это интереснее односторонней страшилки: литература готова сообщить про один и тот же продукт и то, и другое.
Опора у всего этого слабая, и она измерена. Как напечатано в полном тексте, в 80 % работ статистическая поддержка была слабой или отсутствовала вовсе. Медианный относительный риск, то есть отношение риска в одной группе к риску в другой, составил 2,20 у работ, заключивших о повышении, и 0,52 у заключивших о снижении.
Стоит назвать и распределение по болезням. Желудочно-кишечных раков касались 45 % оценок, мочеполовых и рака молочной железы по 14 %, головы и шеи 9 %, лёгких и гинекологических по 5 %. Продукт в этой работе выбран жребием, а болезнь нет: её выбирали авторы исходных работ.
У всех этих чисел один и тот же прибор, и назвать его обязательно. Съеденное в таких работах узнают со слов участников: анкетой или расспросом о вчерашнем дне. Устройство этого прибора и величину его ошибки разбирает урок 3.
Края, которые каждый проводит сам
Есть в этой работе ещё одна находка, приборная по существу. Авторы посмотрели, что именно сравнивали между собой 264 оценки. Почти две трети из них (172) сравнивали крайние категории потребления: тех, кто ест продукта больше всех, с теми, кто ест меньше всех. Весь вопрос в том, где проходит край. В 32 работах людей делили на трети, в 36 на четверти, в 22 на пятые части. Где-то края назначали прямо словами: пять и больше чашек в день против меньше одной, часто против никогда.
Ещё 36 оценок сравнивали с нулевым потреблением, 45 брали промежуточные уровни, а у 11 определить сравнение не удалось вовсе. Выходит, что «много» и «мало» здесь определяются не свойствами еды, а решениями авторов. Две работы могут получить разные числа об одном продукте, ни разу не разойдясь в данных.
Держите это в голове при чтении любого заголовка про тех, кто ест чего-то больше. Больше, чем кто именно? И насколько? Пока граница не названа, число не читается, и сравнить его с числом из соседней работы нельзя.
Что делает со всем этим мета-анализ
У части продуктов нашлась не одна работа, а сведение нескольких в одну оценку. Такое сведение называется мета-анализом, и в выборке их оказалось 36. Числа в них выглядят иначе, чем в одиночных работах.
Медианный относительный риск по всем 36 мета-анализам составил 0,96, то есть практически единицу. Там, где мета-анализ всё же заключал о повышении, медиана падала с 2,20 до 1,33, а где о снижении, поднималась с 0,52 до 0,68. В 43 парных сравнениях из 64 оценка мета-анализа оказалась ближе к единице, чем в исходной одиночной работе.
Читать это надо в обе стороны сразу. Сжатие оценки не доказывает, что связи нет вовсе, но показывает, что одиночная работа систематически даёт число крупнее, чем сведение многих. Величина эффекта тут зависит не столько от продукта, сколько от того, сколько работ вы сложили.
Ошибка в резюме
Теперь то, ради чего эта работа стоит первой. У научной статьи есть резюме, то есть короткое изложение в начале, которое читают почти все. Полный текст читают немногие, а пересказывают статью обычно по резюме. В резюме этой статьи напечатано: из 36 мета-анализов «лишь 13 (26 %)» сообщили о повышенном или сниженном риске. Поделите сами: 13 из 36 составляют 36 %, а не 26. И ровно 36 % стоит в полном тексте строкой ниже, только относится там к другому числу.
Расхождение не одно. Резюме говорит, что слабую статистическую поддержку или никакой имели 75 % оценок, а полный текст говорит, что 80 %. Число 75 в полном тексте тоже есть, но принадлежит подгруппе: работам, заявившим о повышении риска.
Из расхождения не следует, что работа плоха. Скорее наоборот: обе неточности видны только потому, что авторы напечатали полный текст с таблицами и разбивками. Работа, у которой сверить нечего, хуже той, у которой нашлось расхождение.
Проверить это может любой, у кого есть статья. Не нужны ни доступ к данным, ни знание статистики, нужно только поделить 13 на 36. Курс, который учит открывать первоисточник, открывается работой, где резюме расходится с собственным полным текстом.
Резюме пишут те же авторы, но по другим правилам: коротко, без таблиц и с расчётом на цитирование. Поэтому расхождение с полным текстом встречается нередко и не обязательно означает подлог. Чаще это перестановка цифр или пересказ подгруппы как целого. Правило простое и работает до конца курса: если число вам важно, смотрите его в полном тексте. Если полного текста нет, так и говорите: «по резюме сказано», а не «в работе показано».
Куда деваются неудачи
У этого расхождения есть продолжение, измеренное в той же работе. Авторы посмотрели, какие результаты попадают в резюме, а какие остаются только в полном тексте. Разница вышла резкой.
В резюме попали 62 % статистически значимых оценок. Незначимые в 70 % случаев остались лишь в полном тексте, и это расхождение само по себе статистически значимо. То есть резюме систематически показывает находки и так же систематически прячет их отсутствие.
На одной статье такую закономерность не увидишь, и умысла тут искать не надо. Резюме и полный текст пишет один и тот же коллектив, обычно из лучших побуждений и ради краткости. Видно перекос только на большой пачке работ, и ровно её эта работа и собрала.
Отсюда рабочее правило, которое понадобится до конца курса. Читая о еде, спрашивайте не только «что нашли», но и «что искали и не нашли». Второе почти никогда не выносят вперёд, хотя весит оно ровно столько же.
Почему так получается
Откуда берётся такая картина, объясняют три вещи, и ни одна из них не про еду. Первая: связей ищут очень много. Когда по одному продукту делают десятки сравнений с десятками болезней, часть совпадений набирается сама собой, и подробный счёт таких случайных находок разбирает курс статистики.
Вторая: сами эффекты малы. Различие между теми, кто ест продукта больше и меньше, обычно невелико. На слабом сигнале знак результата начинает зависеть от мелочей: от выбранных границ, от набора поправок, от прибора.
Третья: печатается не всё найденное, и печатается неравномерно. Работа с ярким результатом доходит до публикации быстрее, чем работа без результата, и это явление подробно разбирает курс о здоровье. Внутри одной статьи то же самое видно между резюме и полным текстом.
Чего отсюда не следует
Из этой работы очень легко вынести то, чего в ней нет. Первое неверное чтение: «наука о питании врёт». Работа никого не обвиняет в подлоге, и ни одна из 216 публикаций не названа недобросовестной.
Второе неверное чтение: «Иоаннидис поймал коллег». Ошибка в резюме у него собственная, и напечатана она в его же статье. Это не разоблачение чужих, а образец того, как проверка вообще устроена: открыл текст, поделил, увидел.
Третье неверное чтение самое ходовое: раз всё связано со всем, значит, о еде ничего не известно. Из работы это не следует. Предметом её были публикации, а не люди: она измеряла, что напечатано в литературе, и ни одного человека не обследовала.
Границы своей работы авторы называют сами, и это стоит повторить. Поиск не был исчерпывающим: охватить всю литературу пищевой эпидемиологии, по их собственным словам, невозможно. Из каждой статьи брали первую оценку эффекта из резюме, а это не случайная выборка оценок. Что из работы следует, звучит скромнее и полезнее. Если взять случайный продукт, литература, скорее всего, сообщит про него связь с раком, причём, скорее всего, слабую. Прежде чем спорить о продукте, стоит спросить, чем в этих работах измеряли съеденное.
Так эту работу пересказывают чаще всего, и в этом пересказе склеены две разные вещи. Сорок это число продуктов, о которых нашлась хоть одна публикация. Выводы этих публикаций делились примерно поровну: 39 % за повышение риска, 33 % за снижение, 5 % пограничных, 23 % без ясной связи. Односторонний пересказ переворачивает смысл работы: она показывает не «еда опасна», а «литература готова сообщить и то, и другое».
Что дальше
Вопрос «чем измеряли» и есть хребет всего курса. Каждое утверждение о еде получено каким-то прибором, и приборов этих немного: анкета, дневник, взвешивание, анализ мочи, таблица состава, расчёт по коэффициентам. У каждого своя цена, своя ошибка и своя область применимости. Отдельного урока дневник питания при этом не получит: он разобран в уроке 3 вместе с анкетой, где оказывается негодным эталоном для её проверки.
Прежде чем разбирать приборы по одному, надо ответить на встречный вопрос. Если наблюдательные работы так шатки, почему бы не проверить еду жребием, как проверяют лекарства? Урок 2 показывает, из чего сложена эта трудность и почему длинных испытаний питания почти не бывает.
А урок 3 берёт прибор, на котором стоит почти всё перечисленное выше: анкету о том, что человек ел за прошедший год. Там же станет видно, откуда взялись 264 оценки эффекта и какой ценой. Числа сегодняшнего урока после этого читаются иначе.
Ключевые работы
| Schoenfeld JD, Ioannidis JPA, American Journal of Clinical Nutrition | 2013 | Систематический обзор по случайной выборке предмета: пятьдесят продуктов вытянуты жребием из поваренной книги 1896 года, по каждому взяты десять самых свежих когортных работ или работ «случай-контроль». Собрано 264 оценки эффекта в 216 публикациях 1976-2011 годов и 36 мета-анализов. Измеряли не людей, а публикации: выводы авторов, статистическую значимость и величину эффекта. Хотя бы одна работа нашлась для сорока продуктов из пятидесяти. Выводы разделились так: 39 % повышение риска, 33 % снижение, 5 % пограничный вывод, 23 % нет ясной связи. Медианный относительный риск одиночных работ 2,20 и 0,52, мета-анализов 1,33 и 0,68 при общей медиане 0,96. Литература англоязычная, индексируемая PubMed, и о людях работа не утверждает ничего. |
Что подтвердилось, а что нет
Сорок это число продуктов, по которым нашлась хотя бы одна публикация, а не число продуктов с повышенным риском. Выводы 264 оценок разделились почти поровну: 39 % повышение, 33 % снижение, 5 % пограничный вывод, 23 % нет ясной связи. Односторонний пересказ переворачивает смысл работы: она показывает не опасность еды, а готовность литературы сообщить про один продукт оба вывода сразу.
В этой же работе резюме расходится с полным текстом дважды. Напечатано «13 (26 %)» там, где 13 из 36 составляют 36 %, и ровно 36 % стоит в полном тексте строкой ниже. Напечатано 75 % оценок со слабой поддержкой там, где полный текст даёт 80 %, а 75 % относятся к одной подгруппе. Проверка не требует ни данных, ни статистики, а только деления.
Измерено в этой же работе и на её же материале: в резюме попали 62 % статистически значимых оценок, а 70 % незначимых остались только в полном тексте, и расхождение статистически значимо. Из этого не следует, что кто-то прячет неудачи намеренно: резюме пишется коротко и с расчётом на цитирование. Следствие для читателя одно: отсутствие находки надо искать глазами, вперёд его не выносят.
Измерено в этой же работе и на её же материале: среди собранного оказалось 36 мета-анализов. Медианный относительный риск по всем 36 составил 0,96, то есть практически единицу. Там, где мета-анализ всё же заключал о повышении риска, медиана падала с 2,20 до 1,33, а где о снижении, поднималась с 0,52 до 0,68. В 43 парных сравнениях из 64 оценка мета-анализа оказалась ближе к единице, чем в исходной одиночной работе. Читать это надо в обе стороны сразу: сжатие оценки не доказывает, что связи нет вовсе, но показывает, что величина эффекта в такой литературе зависит ещё и от того, сколько работ сложили. Мерили публикации, а не людей, и литературу англоязычную, индексируемую PubMed.
Термины
- обзор по случайной выборкеsystematic cookbook review
- Обзор литературы, в котором список изучаемого назначен жребием, а не интересом исследователя. Отвечает не на вопрос «что известно про кофе», а на вопрос «что литература в среднем сообщает про случайно взятый продукт».
- резюме статьиabstract
- Короткое изложение работы в начале статьи, доступное бесплатно и потому читаемое чаще всего. Пишется по другим правилам, чем полный текст, и может расходиться с ним в числах. При цитировании честная форма звучит так: «по резюме сказано».
- первоисточникprimary source
- Сама работа, а не пересказ о ней: статья с методами, таблицами и полным текстом. Проверка по первоисточнику часто не требует ни данных, ни статистики: достаточно сверить два напечатанных числа между собой.
- мета-анализmeta-analysis
- Сведение результатов нескольких работ по одному вопросу в одну оценку. Обычно даёт величину эффекта ближе к единице, чем отдельная работа: в 43 парных сравнениях из 64 в этой выборке было именно так.
- относительный рискrelative risk
- Отношение риска в одной группе к риску в другой: 2,0 значит вдвое выше, 0,5 значит вдвое ниже, а 1,0 значит, что разницы нет. Величина безразмерная и ничего не говорит о том, сколько человек это затрагивает и чем измерено само воздействие.
- статистическая значимостьstatistical significance
- Формальный признак того, что наблюдённая разница слишком велика, чтобы легко объясниться случайностью. Не мера величины эффекта и не мера правильности прибора: значимой бывает и связь, измеренная анкетой с большой ошибкой.
- пищевая эпидемиологияnutritional epidemiology
- Область, которая ищет связи между едой и болезнями на больших группах людей. Данные о еде в ней получают почти всегда самоотчётом, поэтому каждое её утверждение читается вместе с вопросом, чем измерено воздействие.
Практикум · Дойти от новости до полного текста
Упражнение на один вечер и на один источник. Смысл его не в том, чтобы поймать кого-то на ошибке, а в том, чтобы увидеть, сколько шагов лежит между статьёй и заголовком и на каком из них теряется что.
- Возьмите одну новость о еде и болезни и найдите в ней название работы, журнал и год. Если этого нет вовсе, запишите это отдельной строкой: новость без адреса первоисточника не проверяется в принципе.
- Откройте резюме работы и выпишите из него все числа подряд, вместе с тем, к чему каждое относится. Обычно чисел оказывается меньше, чем кажется по новости.
- Найдите полный текст и сверьте с ним два-три числа из резюме. Сверять надо не «примерно то же», а точное совпадение цифры и того, к чему она относится.
- Отдельно поищите в полном тексте результаты, которых в резюме нет: несостоявшиеся сравнения, пустые подгруппы, оговорки авторов о границах. Выпишите, сколько их.
- Напишите одну фразу о том, чем в этой работе измеряли еду: анкетой, расспросом о вчерашнем дне, взвешиванием, анализом. Если прибор не назван нигде, это и есть главный вывод упражнения.
Вопросы для самопроверки
Как в работе Шёнфельда и Иоаннидиса отбирали продукты для проверки?
- Жребием тянули страницы поваренной книги и брали продукты первого рецепта
- Взяли продукты, о которых чаще всего спорят в новостях о питании
- Отобрали те, по которым в PubMed нашлось не меньше десяти работ
- Составили список по рекомендациям по питанию, действовавшим тогда
Что означает число «сорок из пятидесяти» в этой работе?
- Сорок продуктов повышают риск рака
- По сорока продуктам нашлась хотя бы одна публикация
- Сорок публикаций из пятидесяти были когортными исследованиями
- Сорок оценок эффекта из пятидесяти оказались статистически значимыми
В резюме напечатано «13 (26 %)» о мета-анализах, а в полном тексте стоит 36 %. Что здесь произошло?
- Резюме и полный текст считают разные подгруппы мета-анализов
- В полном тексте учтены работы, добавленные при рецензировании
- В резюме арифметическая ошибка: 13 из 36 составляют 36 %
- Проценты в резюме считались от 50 продуктов, а в тексте от 36 мета-анализов
Что показало сравнение мета-анализов с одиночными работами в этой выборке?
- Мета-анализы подтверждали оценки одиночных работ в половине пар
- Мета-анализы чаще давали статистически значимый результат, чем одиночные работы
- Оценки мета-анализов оказались ближе к единице в 43 парах из 64
- Мета-анализы удвоили величину эффекта по сравнению с исходными
Что из перечисленного эта работа НЕ утверждает?
- Что литература готова сообщить про один продукт и повышение, и снижение риска
- Что статистическая поддержка большинства найденных оценок была слабой
- Что незначимые результаты чаще остаются только в полном тексте
- Что связи между едой и раком не существует, а найденные эффекты выдуманы
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Schoenfeld JD, Ioannidis JPA. «Is everything we eat associated with cancer? A systematic cookbook review». American Journal of Clinical Nutrition, 2013, 97(1):127-134: Первоисточник урока, открытый доступ. Полезно открыть резюме и полный текст рядом: расхождение в двух числах видно за минуту, а таблица с разбивкой выводов стоит в тексте, а не в резюме.
- Bohan Brown MM, Brown AW, Allison DB. «Nutritional epidemiology in practice: learning from data or promulgating beliefs?». American Journal of Clinical Nutrition, 2013, 97(1):5-6: Редакционная статья в том же номере, написанная как отклик на обзор. Полный текст закрыт, и курс называет только сам факт её существования: содержание доводов пересказать нельзя, пока текст не прочитан.
- PubMed, поисковая система Национальной медицинской библиотеки США: Тот самый инструмент, которым пользовались авторы. Годится и для практикума: по названию работы из новости он обычно находит и резюме, и ссылку на полный текст.