Рандомизированное исследование (РКИ)
Почему наблюдение обманывает при любом числе участников и что с этим делает жребий
Рандомизированное контролируемое исследование (РКИ) делит участников на группы жребием, и ни врач, ни пациент не выбирают, кому достанется лечение. Так группы уравниваются даже по тому, что никто не измерял, а наблюдение этого не даёт при любом числе участников. В двойном слепом исследовании не знают, кто что получил, ни пациент, ни врач, который оценивает результат. Применимость вывода к людям, которых в работу не включали, жребий не гарантирует.
Скрытый фактор, рандомизация и ослепление, наблюдения по гормональной терапии против WHI (2002) · 24 мин · обновлено 01.10.2026
После урока вы сможете
- Объяснять, что такое скрытый фактор и почему его нельзя вычесть после сбора данных
- Понимать, чем распределение жребием отличается от учёта различий между группами
- Различать простое и двойное ослепление и знать, от чего каждое защищает
- Видеть, чего рандомизация не даёт: применимость вывода к другим людям она не гарантирует
Крупное наблюдение находит закономерность: люди, принимающие витамины, живут дольше и болеют реже. Участников десятки тысяч, разница устойчивая, случайностью её не объяснить. Вывод, кажется, готов.
Прежде чем его сделать, вспомните, кто эти люди. Они ходят к врачу на осмотры, чаще двигаются, реже курят, лучше спят и в среднем зарабатывают больше. Каждое из этих обстоятельств само по себе связано с продолжительностью жизни, и ни одно из них не связано с содержимым капсулы.
Так выглядит главная слабость наблюдения, и от размера выборки она не зависит совсем. Обойти её тщательностью тоже не выходит, хотя попытки предпринимаются постоянно. Этот урок объясняет, в чём тут дело, и что взамен даёт простое подбрасывание монеты.
Скрытый фактор
Обстоятельство, которое связано и с выбором лечения, и с исходом одновременно, называется скрытым фактором. Оно создаёт видимость связи между лечением и исходом там, где никакой связи нет. Убедительность этой видимости растёт вместе с числом участников, и в этом её главная неприятность.
В примере с витаминами скрытым фактором служит общая забота о здоровье. Она заставляет человека покупать капсулы и она же заставляет его ходить на осмотры и двигаться. Исход улучшает второе, а заслуга достаётся первому, потому что первое видно на чеке, а второе нигде не записано.
Механизм этот работает всюду, а не только в медицине, и примеры бывают комическими. Люди, покупающие дорогие автомобильные кресла для детей, реже попадают в аварии, и не оттого, что кресло влияет на дорогу, а оттого, что осторожный водитель покупает хорошее кресло и осторожно ездит. Логика ровно та же.
Ключевое свойство скрытого фактора в том, что он не обязан быть известен. Он может не иметь названия, не приходить исследователю в голову и не быть измеренным ничем. От этого он не перестаёт работать, а данные о нём молчат.
Фраза встречается в описаниях наблюдательных работ постоянно и означает меньше, чем кажется. Учесть можно только то, что записали, а список записанного составлял человек из того, что пришло ему в голову. Скрытый фактор по определению живёт в остальном.
Почему нельзя просто вычесть различия
Возражение напрашивается само: измерьте курение, доход, возраст и подвижность, а затем сравните людей, равных по этим признакам. Приём существует, применяется постоянно и называется учётом различий. Он полезен и он не решает задачу.
Причина в том, что вычесть можно лишь измеренное. Каждый признак, который вы записали, вы учли. Каждый, который не записали, продолжает работать. А узнать, велик ли вклад незаписанного, изнутри тех же данных нельзя: на то он и незаписанный.
Есть и вторая, менее очевидная трудность. Измеренный признак почти всегда огрублён: «курит» и «не курит» вместо тридцати лет по пачке в день, «занимается спортом» вместо конкретной нагрузки. Огрубление оставляет часть различия неучтённой даже там, где признак записан.
Отсюда следует неприятный вывод о наблюдательных работах вообще. Они честно показывают, что группы различаются исходом, и не могут показать, что именно это различие создало. Увеличение числа участников уточняет оценку разницы и ни на шаг не приближает к её причине.
Четыреста человек и лекарство, которое не работает
Это место лучше увидеть, чем прочитать, потому что на слух оно звучит как придирка. Тренажёр урока берёт четыреста человек и лекарство, которое по условию задачи не делает ничего. Исход зависит только от общего состояния здоровья, то есть от скрытого фактора, которого в настоящем исследовании никто бы не увидел.
В режиме наблюдения лекарство достаётся тем, кто его выбрал, а выбирают его чаще люди покрепче. Разница в исходах получается заметная и устойчивая, и любой добросовестный исследователь заключил бы, что средство помогает. Вторая пара полос в тренажёре показывает подделку изнутри: группы различались с самого начала.
Переключите режим на монету и посмотрите снова. Разница схлопывается почти до нуля, и вторая пара полос сходится. Жребий не спрашивал, кто здоровее, и потому распределил здоровье поровну.
В тренажёре скрытый фактор показан отдельной парой полос, и потому подделка очевидна. В настоящей работе этой пары полос нет: у исследователя есть только первая пара, и она выглядит одинаково в обоих режимах. Именно поэтому дизайн приходится обеспечивать заранее, а не разбираться потом.
Что именно делает жребий
Приём выглядит до смешного простым. Участников распределяют по группам случайным механизмом (сегодня это программа, в 1948 году это были запечатанные конверты), и врач с пациентом на распределение не влияют. Ни один из них не выбирает, кому что достанется.
Сила приёма в том, чего он не делает: жребий не смотрит на участника. Он не знает ни про доход, ни про привычки, ни про заботу о здоровье, ни про то, о чём исследователь не подумал. Поэтому все эти свойства, и названные, и безымянные, распределяются между группами примерно поровну.
Именно здесь проходит главный водораздел лестницы прошлого урока. Учёт различий работает со списком, составленным человеком, и потому ограничен воображением этого человека. Жребий работает со всем сразу и потому не ограничен ничем.
У этого есть цена, о которой стоит сказать честно. Поровну распределяется в среднем, а в маленьком исследовании группы могут разойтись просто по невезению. Поэтому число участников важно и здесь, но важно оно для случайного разброса, а не для систематического перекоса.
И вторая цена, покрупнее. Жребием можно распределять только то, что этично и возможно распределять: лекарство, порядок наблюдения, вид процедуры. Образ жизни, привычки и обстоятельства рождения так изучать нельзя, и потому часть медицинских вопросов навсегда остаётся за пределами верхней ступени.
Вторая защита: ослепление
Жребий уравнивает группы в начале, а дальше исследование продолжает жить, и в него успевают войти ожидания. Их гасит второй приём, ослепление, при котором участники не знают, что именно получают. Ожидания влияют и на самочувствие участника, и на то, как его состояние оценивают.
При простом ослеплении не знает пациент. Это отсекает ту часть улучшения, которая идёт от самого факта лечения, то есть механизм плацебо из первого урока. Обе группы одинаково уверены, что лечатся, и потому эффект уверенности вычитается разницей.
При двойном ослеплении не знает и врач, который оценивает результат. Этот слой защищает уже не от чувств пациента, а от глаза наблюдателя: зная, кто получил настоящее лечение, врач невольно оценивает его состояние мягче, чаще расспрашивает и иначе записывает жалобы. Умысла тут нет и не требуется. Достаточно того, что человек знает, чего ждать.
Особенно важно двойное ослепление там, где исход субъективен. Когда измеряют боль, подвижность или самочувствие, оценка проходит через двух людей, и оба знают, чего ждать. Когда измеряют дату смерти, ослепление менее критично, потому что эту величину ожидания не сдвигают.
Крайней формой приёма служит имитация процедуры, о которой шла речь в первом уроке. Пациенту делают надрез, воспроизводят обстановку и звуки операции, но саму суть вмешательства не выполняют. Такие работы редки, потому что этически спорны, но именно они дали медицине самые неожиданные результаты.
Как это выглядело в жизни
Самый известный случай, когда наблюдение подвело медицину надолго, связан с заместительной гормональной терапией. Десятилетиями наблюдательные работы показывали, что у женщин, принимающих её, реже случаются сердечно-сосудистые события. Терапию назначали в том числе ради этой защиты.
В 2002 году крупное рандомизированное исследование WHI дало другую картину: защиты сердца в когорте в целом не нашлось, а риск сердечно-сосудистых событий оказался скорее выше, чем ниже. Вывод, простоявший десятилетия, рухнул за один год, и назначения обрушились следом. Реакция была резкой настолько, что тему на время сочли закрытой, и это, как выяснится позже, оказалось поспешным. Насколько прочно держится само «выше», разбирает урок 9: показатель по сердцу стоял у самой границы значимости, а границу мониторинга перешёл другой.
Объяснение расхождения оказалось ровно тем, о чём этот урок. Женщины, получавшие терапию, отличались от не получавших не только ею: они были обеспеченнее, образованнее, чаще наблюдались у врача и вели другой образ жизни. Наблюдение видело сумму всего этого и приписывало её гормонам.
У истории есть третий акт, без которого она подаётся неверно, и ему посвящён урок 9. Забегая вперёд: последующий разбор показал, что дело зависит от возраста женщины и срока от наступления менопаузы, а упрощение «гормоны опасны всем» само оказалось неточным. Курс не даёт по этой терапии никаких рекомендаций: решение принимается врачом вместе с пациенткой и зависит от случая.
Из этого сюжета не следует ни «гормональная терапия опасна», ни «безопасна». Следует одно: наблюдательный вывод о защите сердца был отвергнут рандомизированным исследованием, а дальнейший разбор оказался сложнее обоих утверждений. Что это значит для конкретного человека, определяет врач, а не курс и не новость.
Чего рандомизация не даёт
Верхняя ступень лестницы отвечает на один вопрос и не отвечает на другой. Она отвечает: подействовало ли лечение на тех, кто участвовал. Она не отвечает: подействует ли оно на вас.
Разница называется применимостью и зависит от того, кого в исследование включали. Если участникам было от тридцати пяти до шестидесяти пяти и у них не было артроза, вывод относится к таким людям, а распространять его на других значит выходить за пределы данных. Каждая работа сама очерчивает круг, внутри которого её ответ что-то значит.
Ограничения обычно записаны в самой работе и почти никогда не доходят до новости. Заголовку неудобны оговорки, и первым из текста выпадает именно перечень тех, кого в исследование не брали. Именно на этом месте курс будет останавливаться каждый раз: у любого разворота из реестра указано, к кому он относится и к кому нет.
Есть и третье ограничение, чисто практическое. Исследование длится ограниченный срок, а лечение люди получают годами, поэтому редкие и отсроченные вредные эффекты рандомизированная работа часто не улавливает. Как их ловят потом и почему на это уходят годы, разбирает урок 19.
Что дальше
Первый модуль закончен, и его итог можно уложить в одну фразу. Улучшение бывает без лечения, доказательства бывают разной силы, а разница между наблюдением и жребием состоит в том, работает ли исследователь со списком известного или со всем сразу. Дальше эти три вещи будут работать вместе, потому что поодиночке они редко встречаются.
Дальше начинается вторая часть работы, не менее важная. Даже безупречно устроенное исследование сообщает результат числом, и это число можно подать так, что оно создаст ложное впечатление, не сказав ни слова неправды. Урок 4 разбирает главный источник таких впечатлений: разницу между относительным и абсолютным риском.
Скрытый фактор
По условию задачи лекарство не делает ничего. В наблюдении оно «помогает», после рандомизации эффект исчезает. Видно и сам скрытый фактор, которого в настоящем исследовании никто бы не увидел.
Ключевые исследования
| Наблюдательные работы по гормональной терапии (свод до 2002 года) | 2002 | Не одно исследование, а свод многолетних когортных наблюдений: у женщин, принимавших терапию, сердечно-сосудистые события случались реже. Группы при этом различались достатком, образованием и частотой обращения к врачу, и в этом слабое место свода. Числа участниц у него в целом нет. |
| WHI, Women's Health Initiative | 2002 | Рандомизированное сравнение эстрогена с прогестином против плацебо у здоровых женщин в постменопаузе: 16 608 участниц. Остановлено досрочно после среднего наблюдения 5,2 года: границу мониторинга перешёл показатель по инвазивному раку молочной железы, а сводный индекс дал перевес вреда. Защиты сердца наблюдений жребий не подтвердил: риск сердечно-сосудистых событий в когорте в целом оказался не ниже, а выше. Точнее это разбирает урок 9. |
| Совет по медицинским исследованиям, стрептомицин при туберкулёзе лёгких | 1948 | Первое современное рандомизированное сравнение: 107 участников, стрептомицин с постельным режимом против одного постельного режима. Распределение задавала последовательность случайных чисел в запечатанных конвертах. Плацебо-контроля не было: группа сравнения получала не имитацию, а обычный уход того времени. Пациенты и лечащие врачи группу знали: из двух разных приёмов, рандомизации и ослепления, главным новшеством здесь был первый. |
Что подтвердилось, а что нет
Учесть можно только записанное, а список записанного составлял человек из того, что пришло ему в голову. Скрытый фактор по определению живёт в остальном и не обязан иметь названия. Вдобавок измеренные признаки почти всегда огрублены, и часть различия остаётся неучтённой даже там, где признак записан.
Простое ослепление отсекает вклад уверенности пациента в лечение, двойное добавляет защиту от глаза наблюдателя: зная, кому досталось настоящее, врач иначе расспрашивает и иначе записывает. Важнее всего это там, где исход субъективен (боль, подвижность, самочувствие). Там, где измеряют дату смерти, вклад ослепления меньше.
Работа отвечает на вопрос о тех, кого в неё включили, и границы включения записаны в ней самой. Возраст, тяжесть состояния, сопутствующие болезни и получаемое лечение определяют, к кому вывод относится. Именно на этом месте разошлись два исследования стентов из урока 8, при том что оба были рандомизированными и оба слепыми.
Термины
- скрытый факторconfounder
- Обстоятельство, связанное и с выбором лечения, и с исходом. Создаёт видимость связи там, где её нет, и не обязано быть измеренным или даже названным.
- рандомизацияrandomisation
- Распределение участников по группам случайным механизмом, на который не влияют ни врач, ни пациент. Уравнивает группы и по тем свойствам, которые никто не измерял.
- учёт различийadjustment
- Статистическое выравнивание групп по записанным признакам. Полезен и ограничен списком того, что исследователь догадался измерить.
- простое ослеплениеsingle blinding
- Порядок, при котором участник не знает, что именно получает. Отсекает вклад уверенности пациента в лечение.
- двойное ослеплениеdouble blinding
- Порядок, при котором ни участник, ни оценивающий врач не знают, кто получил настоящее лечение. Защищает ещё и от смещения в оценке наблюдателем.
- применимостьexternal validity
- Степень, в которой вывод исследования переносится на людей за пределами его участников. Определяется тем, кого включали и кого исключали.
- смещение отбораselection bias
- Искажение результата из-за того, что попадание в группу связано с исходом. Главный источник ложных выводов в наблюдательных исследованиях.
Практикум · Найти скрытый фактор за десять минут
Навык этот тренируется быстро и потом работает сам. Задача одна: услышав про связь между двумя вещами, придумать третью, которая объясняла бы обе. Хорошо получается на утверждениях, с которыми вы согласны. На них сложнее и потому полезнее.
- Найдите три сообщения вида «у тех, кто делает X, реже бывает Y». Годятся новости, реклама и разговоры. Медицинскими они быть не обязаны.
- Для каждого ответьте письменно, кто эти люди. Не «те, кто делает X», а что ещё про них известно или легко угадывается: возраст, достаток, привычки, забота о себе.
- Придумайте к каждому по два кандидата в скрытые факторы, то есть обстоятельства, которые заставляли бы человека и делать X, и реже иметь Y. Двух достаточно, чтобы вывод перестал быть единственно возможным.
- Проверьте, можно ли было бы распределить X жребием. Если нельзя по этическим или практическим причинам, отметьте это: вопрос из тех, где рандомизированного ответа не будет никогда.
- Для одного из трёх сообщений найдите первоисточник и посмотрите, было ли исследование наблюдательным. Заодно проверьте, называет ли новость это слово вообще.
Вопросы для самопроверки
Наблюдение показало: у людей, покупающих дорогие детские автокресла, дети реже страдают в авариях. Что здесь скрытый фактор?
- Стоимость кресла, влияющая на его прочность
- Осторожность водителя, влияющая и на покупку кресла, и на манеру езды
- Возраст ребёнка, влияющий на тяжесть травм
- Размер выборки, недостаточный для вывода
Исследователи учли возраст, пол, доход, курение и физическую активность. Почему наблюдение всё равно не сравнялось с рандомизированным сравнением?
- Потому что учтённых признаков слишком мало, а нужно не меньше двадцати
- Потому что учёт различий применим только к редким болезням
- Потому что учесть можно лишь записанное, а незаписанное продолжает работать
- Потому что при учёте различий уменьшается число участников
Что именно даёт распределение участников жребием?
- Группы становятся похожими и по тем свойствам, которых никто не измерял
- Исчезает эффект плацебо в обеих группах
- Результат становится применим к любому человеку с этой болезнью
- Уменьшается число участников, нужное для вывода
В каком случае двойное ослепление особенно важно?
- Когда измеряют дату смерти
- Когда участников больше десяти тысяч
- Когда исследование финансирует производитель
- Когда измеряют боль, подвижность или самочувствие
Почему десятилетия наблюдений за гормональной терапией дали вывод, который рандомизированное исследование не подтвердило?
- Наблюдения были слишком малы по числу участниц
- Женщины, получавшие терапию, отличались от не получавших ещё и достатком, образованием и образом жизни
- Приборы измерения сердечно-сосудистых событий были менее точны
- Состав препаратов за эти десятилетия изменился
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Cochrane, описание источников смещения в исследованиях: Открытый перечень того, чем портится работа: отбор, ослепление, потеря участников, избирательный отчёт. Читается как чек-лист и годится для любой статьи.
- Курс школы «Критическое мышление», уроки о причине и корреляции: Тот же приём вне медицины: как из связи двух величин делают вывод о причине и что при этом теряется. Дополнение к этому уроку.