Репликация: одни данные, четыре ответа
Одни данные дают четыре величины, и ни одну из них нельзя выбрать за остальные
Одни данные дают четыре величины эффекта: перепроверка кенийской дегельминтизации на тех же 75 школах дала на один вопрос четыре ответа. Исходная работа печатала прибавку присутствия 7,5 процентного пункта, чистая репликация теми же методами дала 3,9 пункта и незначимо, статистическая репликация другими методами дала отношение шансов 1,82, а кокрейновский свод 51 испытания ответил, что не знает. Упал не прямой эффект в лечебных школах, а межшкольная часть, сменившая знак после исправления кода.
Чистая и статистическая репликации кенийской дегельминтизации, 2015 · Кокрейновский обзор 2019 года · ответ экономистов в PNAS, 2024 · 27 мин · обновлено 24.09.2026
После урока вы сможете
- Отличать чистую репликацию от статистической и называть, что проверяет каждая
- Читать разложение эффекта на прямой и межшкольный и видеть, какая часть двинулась
- Называть спор двух сводов о весе тем, чем он является: спором о правиле включения
- Сверять выборку, срок и исход у двух чисел, прежде чем ставить их рядом
- Различать «эффекта нет» и «мы не знаем» по ширине интервала и по словам о достоверности
Четверо эпидемиологов из Лондонской школы гигиены и тропической медицины получили заказ на перепроверку чужой работы. Им отдали папку с данными: записи о 75 сельских школах кенийского округа Бусиа. Данные, файлы анализа и пояснительные записки передали сами авторы исходной работы. Они же потом отвечали на вопросы в созвонах, и это записано в благодарностях обеих вышедших статей.
Вопрос у всех был один и тот же. Как часто ребёнок физически присутствовал в школе в день внезапного визита проверяющего, за 2 года, 1998-й и 1999-й. Мерили присутствие тела, а не умение. Экзаменационные баллы в тех же данных тоже лежали, и по ним нуль признают все стороны спора.
Ответов вышло четыре, и все четыре сосчитаны по одному массиву о 75 школах. Исходная публикация давала прибавку 7,5 п. п. (СО 2,7). Перепроверка теми же методами дала 3,9 п. п. (СО 3,2), и это уже незначимо. Другой заранее объявленный метод на тех же данных дал отношение шансов 1,82 с интервалом 1,74-1,91. А свод 51 испытания в 2019 году ответил, что не знает.
Ни одну из четырёх величин нельзя выбрать за остальные голосованием. Они получены разными процедурами и отвечают на слегка разные вопросы. Спорить о них можно только доводом о процедуре, и один такой довод в уроке будет. Урок разбирает, чем эти ответы отличаются друг от друга. И заодно показывает, кто именно нашёл ошибку в коде знаменитой работы.
Первая перепроверка: те же данные, те же методы
Первая из двух статей повторяла исходный анализ буквально. Авторы прямо пишут, что новых вычислений и новых понятий не вводили. Такое повторение называется чистой репликацией: берутся те же данные и те же методы, и проверяется, получится ли то же число. Это самый скучный вид проверки и самый безжалостный.
Расхождений нашлось пять видов: непонятная маркировка, ошибки округления, неверно напечатанные знаменатели, неверно проставленные уровни значимости и ошибки в файлах анализа Stata. Последние оказались главными. Ошибок в коде было четыре, и три из них считали местное население вокруг школ. Четвёртая относилась к переменной заражённости, и о ней в самой работе сказано, что на истолкование она почти не повлияла.
Полный эффект на пролеченных за 2 года в этих 75 школах упал с 7,5 п. п. (СО 2,7) до 3,9 п. п. (СО 3,2). Но упало в этой тройке не то, что обычно называют. «Наивное» сравнение лечебных школ с контрольными выросло и стало точнее: было 5,1 п. п. (СО 2,2), стало 5,7 п. п. (СО 1,4). А межшкольная экстерналия (прибавка у детей соседних школ, куда таблетки не привозили) сменила знак с +2,0 п. п. (СО 1,3) на −1,7 п. п. (СО 3,0).
Полный эффект за 2 года складывается из этих частей, но не простым сложением: числа людей, к которым части относятся, разные. Уронил сумму именно разворот межшкольной доли. Сами репликаторы называют такой итог контринтуитивным: свидетельства прямого эффекта сильные, а совокупного нет. Это их собственная формулировка, а не пересказ со стороны.
В тех же файлах по 75 школам нашлось ещё две вещи. Строка про анемию в оригинале была помечена значимой ошибочно: на деле P = 0,194. А год рождения отсутствовал у 17 % детей первой группы, 19 % второй и 31 % третьей, и в исходной статье об этом не сказано. Экзамены не сдвинулись совсем ни в первый год, ни во второй: было −0,032 SD (СО 0,046), стало −0,035 SD (СО 0,047).
Пересказы этой истории ходят в двух формах, и обе неверны. «После исправления двух ошибок» пишут потому, что две из четырёх названы вместе в разборе одной таблицы. «После исправления четырёх ошибок» тоже мимо: четвёртая касалась переменной заражённости, а не посещаемости. Точная форма такая: посещаемость сдвинули три ошибки из четырёх, и все три считали местное население вокруг школ. Проверяется это по списку ошибок, напечатанному в самой статье под номерами.
Вторая перепроверка: те же данные, другие методы
Вторая статья тех же четверых устроена иначе. Данные те же, а методы те, что приняты в эпидемиологии, с двумя заранее объявленными соглавными исходами: посещаемость и экзамены. Это называется статистической репликацией. Проверяется не арифметика предшественника, а устойчивость вывода к смене процедуры.
Масштаб данных стоит назвать. 75 школ по 25 в каждой из трёх групп. Зарегистрированных учеников 10 612, 10 752 и 10 081. Наблюдений посещаемости за 2 года набралось 179 741: 90 571 в 1998-м и 89 170 в 1999-м. Пропущенных визитов во второй год оказалось 83 из запланированных, то есть 20,6 %.
Дальше начинается главное. Кластерные средние по годам эффекта не показывают: +5,48 п. п. (95 % ДИ −1,48…12,44) в первый год и +2,16 п. п. (−3,95…8,27) во второй. Регрессия на уровне наблюдений даёт слабый эффект: отношение шансов 1,48 (0,88-2,52) и 1,23 (1,01-1,51). А объединение двух лет даёт 1,82 (1,74-1,91), то есть больше, чем в каждом году порознь, и с очень узким интервалом.
Объединённой модели не доверяют сами её авторы, и они объясняют почему. Их диагностический признак: оценка по объединённым ступеням лежит заметно вне границ оценок по отдельным ступеням. Плюс объединение вводит сравнение второй группы с самой собой до и после, а оно не рандомизировано. По экзаменам и здесь нуль: −0,121 SD (−0,293…0,052).
И отдельная строка, которая в пересказах теряется. В 27 школах из 75 та же организация за 2 года оценивала ещё пять посторонних вмешательств, причём распределены они неровно: 7 школ в первой группе, 12 во второй, 8 в третьей. В таких школах эффект вышел 1,88 (1,78-2,00) против 1,74 (1,63-1,86) в остальных, P взаимодействия 0,045. Значит, в части школ мерили не одну программу, а две.
Что ответили авторы оригинала
Ответ вышел в том же номере журнала. Авторы исходной работы признают, что репликаторы полезным образом исправили часть ошибок. Признают и конкретную: в коде считались 12 ближайших школ вместо всех, которых могло быть до 75. Признают, что оценка внешнего эффекта на 3-6 км стала незначимой, а стандартные ошибки там почти удвоились.
Спорят они не с арифметикой, а с самой конструкцией «полного эффекта». Оценщик, который тянется дальше 3 км, взваливает большой вес на незначимую часть, просто потому, что школ на таком расстоянии много. В приложении они показывают, что оценщик без диапазона 3-6 км предпочтительнее по критерию минимума среднеквадратичной ошибки. Прямой эффект, по их словам, это нижняя граница пользы, если перетоки нулевые или направлены туда же.
К статистической репликации у них три претензии. Первая про отнесение периода: вторая группа начала получать таблетки в марте 1999 года, а часть её ранних наблюдений отнесена к пролеченным, и речь примерно о 20 % наблюдений того года. Вторая касается смещения к нулю: все оценки строятся на разнице лечебных и контрольных школ там, где перетоки положительны. Третья это дробление данных по годам, которое, по расчётам мощности самих репликаторов, оставляет анализ без силы.
Ответ репликаторов на эти три претензии вышел там же, четвёртым текстом номера. В базу курса его полный текст не добыт, и потому содержание этого ответа урок не пересказывает. Отсутствие пересказа тут не мелочь: именно там репликаторы отвечают на обвинение в неверном кодировании периода лечения второй группы. Молчание источника называется вслух, а не заполняется догадкой.
Свой конфликт интересов авторы ответа заявили сами: один из них работает научным директором программы в агентстве, которое поддерживает дегельминтизацию. У второй стороны в этом же обмене заявлен свой: двое авторов редакционного комментария сами входят в число авторов кокрейновского обзора о тех же программах. Раскрытие это повод читать внимательнее, а не основание для вывода.
Данные для перепроверки не добывали и не отсуживали: их отдали сами авторы вместе с файлами анализа. Перепроверку заказала организация, которая финансирует оценку программ развития, а ошибку в коде позже зафиксировал официальный документ Нобелевского комитета, сноска на двадцатой странице научной справки. Репликаторы, в свою очередь, между электронной и печатной публикацией нашли собственные числовые ошибки в четырёх своих таблицах и приложении, перечислили их поимённо и извинились. Ни одна работа этого спора не отозвана и ни в какой подделке не уличена.
Четвёртый ответ: свод, который отказался отвечать
Четвёртая величина пришла не из кенийских данных. Её дал свод работ по всему полю, то есть не одно исследование, а вся доступная литература сразу. Кокрейновский обзор 2019 года собрал 51 испытание, из них 10 кластерных. Одно испытание о смертности охватывало больше миллиона детей, остальные 50 охватывали 84 336 участников. Работы разложены по фоновой заражённости: 24 с высокой, 18 со средней, 9 с низкой.
По посещаемости обзор отвечает отказом. Свидетельства он называет противоречивыми и подверженными смещению, а достоверность очень низкой. Сама величина такая: средняя посещаемость выше на 2 процентных пункта при интервале от 5 пунктов ниже до 8 выше, 20 650 участников, три испытания. Вывод сформулирован прямо: мы не знаем, есть ли эффект на посещаемость.
По остальным исходам тот же обзор отвечает уверенно и отрицательно. При регулярном лечении рост, познание, успеваемость и смертность не улучшаются. Гемоглобин: на 0,01 г/дл ниже при интервале от 0,05 ниже до 0,07 выше, 5 498 участников, девять испытаний. Слово «регулярное» тут обязательно: у разовой дозы в том же обзоре другая выборка и другие числа.
Разница между «эффекта нет» и «мы не знаем» видна по прибору, а не по интонации. Первое сказано там, где интервал узкий и содержательных величин не накрывает. Второе сказано там, где интервал широк и достоверность помечена очень низкой. Один и тот же свод в одном и том же обзоре пользуется обеими формулировками, и путать их нельзя.
Спор о весе это спор о правиле включения
Единственный исход, где два добросовестных свода расходятся, это вес. Расходятся они не в арифметике, а в том, какие работы складывать. Обе процедуры объявлены, и обе можно прочесть целиком.
Кокрейновский обзор видит, что работы слишком разные: неоднородность I² = 78 %. Дальше он делает пост-хок-анализ (расчёт, придуманный после того, как данные увидели) и выбрасывает испытания старше 2000 года. Остаётся 0,02 кг прибавки веса при интервале от 0,04 кг потери до 0,08 кг прироста, а неоднородность падает до нуля. Вывод обзора: весь наблюдаемый прирост держали две старые площадки.
Ответ экономистов вышел в 2024 году и делит работы иначе: по бремени инвазии. Там, где заражено больше 20 % (это порог рекомендации ВОЗ), многократная массовая раздача даёт 0,15 кг (0,07-0,24). Окружность плеча прибавила 0,20 см (0,03-0,37), рост 0,09 см (0,01-0,16). Гемоглобин не двинулся: 0,06 г/дл (−0,01…0,14).
У этого ответа была рабочая версия 2016 года (рабочая статья, рецензирования не проходила), и числа в ней другие: 0,148 кг (0,039-0,258) при том же пороге в 20 %. Курс называет журнальные числа. Разница между сводами сводится к одному решению аналитика: что считать одним вмешательством. Величины при этом крошечные в человеческих единицах у обеих сторон: 0,15 кг и 0,09 см.
Фраза «мета-анализ показал, что дегельминтизация не работает» не имеет смысла без второй половины. Свод показывает то, что следует из его правила включения: какие работы взяты, какие исключены и по каким слоям разложены. Смена одного правила здесь переводит вес из «эффекта нет» в «эффект есть» и обратно, при том что первичные работы почти те же. Спрашивать надо не «что показал свод», а «какой вопрос он себе задал и какие работы под него отобрал».
Разные вопросы дают разные ответы
Есть и пятая величина, которую в спор о посещаемости затаскивают напрасно. Испытание DEVTA в Северной Индии охватило около миллиона детей до пяти лет в 8 338 сельских центрах и растянулось на 5 лет с одиннадцатью массовыми раздачами. Смертность в возрасте от года до шести составила примерно 2,5 % против 2,6 %, отношение 0,95 (0,89-1,02). Вес не двинулся тоже: 12,72 кг против 12,68 кг.
Прочитать это как «на миллионе детей доказали, что дегельминтизация не работает» нельзя. Возраст другой: дошкольники, а не школьники. Исход другой: смерть, а не присутствие в классе. И заражённость другая: 16 % против 36 % по яйцам, инвазия преимущественно лёгкая. Авторы прямо оговаривают, что мерили слабо заражённую дошкольную популяцию.
Отсюда общее правило всего сюжета. Прежде чем ставить два числа рядом, надо сверить три строки паспорта: на ком мерили, сколько длилось и что считали исходом. Четыре кенийских ответа совпадают по всем трём и расходятся только процедурой счёта. DEVTA расходится по всем трём, и потому оно не опровержение, а другое измерение.
Как выглядит согласие приборов
Чтобы вся эта история не прочиталась как «измерить ничего нельзя», рядом стоит поставить работы, где приборы сходятся. Испытание WASH Benefits в сельском Бангладеш набрало 5 551 беременную женщину в 720 кластерах, а данные о диарее собрало у 14 425 детей за 2 года. Улучшенная санитария дала 3,5 % против 5,7 % в контроле, отношение рисков 0,61 (0,46-0,81). Мытьё рук с мылом дало 0,60 (0,45-0,80), а одна только очистка воды 0,89 (0,70-1,13), то есть ничего.
Испытание SHINE в сельском Зимбабве набрало 5 280 беременных женщин в 211 кластерах и обследовало 3 686 детей в 18 месяцев. Ветка питания дала рост к возрасту +0,16 SD (0,08-0,23) и гемоглобин +2,03 г/л (1,28-2,79). Ветка воды и санитарии не сдвинула ни один из двух первичных исходов.
Обе работы устроены строже кенийской: рандомизация настоящая, испытания зарегистрированы, первичные исходы объявлены до сбора данных. И результат у них разложен по веткам, а не сведён в одно число про «программу». Так выглядит измерение, которое отвечает на заданный вопрос, включая ответ «эта ветка не сдвинула ничего».
Что из четырёх ответов следует
Сложить четыре ответа в один нельзя, и это не фигура речи. Голосование здесь не работает: величины получены разными процедурами и на пересекающихся, но не одинаковых вопросах. Осмысленно другое: сказать по каждой, на что она отвечает.
Прямой эффект на посещаемость в лечебных школах уцелел и стал точнее, и с этим согласны обе стороны. Экстерналия на заражённость в радиусе до 3 км уцелела тоже: было −0,26 (СО 0,09), стало −0,21 (СО 0,10). Мерили её у детей 75 школ за 2 года. На 3-6 км её больше нет, и причину назвали сами авторы оригинала. А совокупная прибавка 7,5 п. п. как число не устояла.
Осталось сказать про два других ответа. Отношение шансов 1,82 отвечает на вопрос, что даёт на тех же данных другая, эпидемиологическая процедура. Идёт оно с оговоркой самих её авторов: объединённой по годам модели они не доверяют и объясняют почему. А свод 51 испытания отвечает на четвёртый вопрос, что известно полю в целом, и по посещаемости отвечает «не знаем».
Что до успеваемости, тут спора нет вовсе. Ни исходная работа, ни обе перепроверки, ни кокрейновский обзор эффекта на экзаменах не нашли. Это редкая точка полного согласия, и в пересказах она теряется чаще прочего.
Мерили присутствие тела в школе у детей 75 школ округа Бусиа в 1998-1999 годах, и только это. Решение о том, раздавать ли таблетки где-то ещё, требует того, чего в этом измерении нет: заражённости и цен другого места, чужого бюджета и того, от чего ради этого откажутся, и того, кто будет исполнять. Ни одно из четырёх чисел таких величин не содержит, и ни одна из сторон спора их не измеряла. Принимают его те, кто распоряжается этим бюджетом и отвечает за исполнение, и на этом курс останавливается. Испытание говорит, что случилось в этом месте при этих условиях. Что из этого делать: решение, а не измерение, и курс его не принимает.
Что дальше
Из этого урока стоит унести три различения. Чистая репликация проверяет, воспроизводится ли число теми же методами. Статистическая проверяет, устоит ли вывод при смене процедуры. Свод отвечает на свой вопрос, заданный правилом включения, и потому может ответить «не знаю» там, где отдельная работа отвечает числом.
Следующий урок остаётся в тех же 75 школах, но меняет предмет. Речь пойдёт о том, кто вправе не лечить: как устроено согласие, чего не проверяет комитет по этике и почему форма согласия способна изменить состав участников. В кенийской программе эта форма менялась между первым и вторым годом, и вопрос там уже не про числа.
Ключевые работы
| Aiken AM, Davey C, Hargreaves JR, Hayes RJ, чистая репликация кенийской дегельминтизации, International Journal of Epidemiology | 2015 | Чистая репликация: повторение исходного анализа теми же методами на данных, переданных авторами оригинала. План анализа опубликован заранее. Объём: 75 школ округа Бусиа, 1998 и 1999 годы. Полный эффект на посещаемость упал с 7,5 п. п. (СО 2,7) до 3,9 п. п. (СО 3,2) и перестал быть значимым. «Наивное» сравнение выросло с 5,1 п. п. (СО 2,2) до 5,7 п. п. (СО 1,4), а межшкольная экстерналия сменила знак с +2,0 п. п. (СО 1,3) на −1,7 п. п. (СО 3,0). Ошибок в коде четыре, посещаемость сдвинули три из них. Строка про анемию была помечена значимой ошибочно: P = 0,194. Экзамены остались нулём. |
| Davey C, Aiken AM, Hayes RJ, Hargreaves JR, статистическая репликация тех же данных по стандартам CONSORT, International Journal of Epidemiology | 2015 | Статистическая репликация: те же данные, другие заранее объявленные методы, два соглавных исхода, а именно посещаемость и экзамены. Объём: 75 школ по 25 в группе, 10 612, 10 752 и 10 081 зарегистрированный ученик. Наблюдений посещаемости 90 571 и 89 170. Кластерные средние дают +5,48 п. п. (−1,48…12,44) и +2,16 п. п. (−3,95…8,27). Регрессия по годам: отношение шансов 1,48 (0,88-2,52) и 1,23 (1,01-1,51). Объединение лет: 1,82 (1,74-1,91). По экзаменам нуль: −0,121 SD (−0,293…0,052). В 27 школах из 75 шли ещё пять посторонних вмешательств. Между электронной и печатной публикацией авторы напечатали список собственных числовых ошибок. |
| Hicks JH, Kremer M, Miguel E, ответ авторов оригинала, International Journal of Epidemiology | 2015 | Печатный комментарий-ответ в том же номере, разбор обеих перепроверок с собственными расчётами. Признают исправление части ошибок и конкретную из них: в коде считались 12 ближайших школ вместо всех, которых могло быть до 75. Признают, что внешний эффект на 3-6 км стал незначимым, а стандартные ошибки там почти удвоились. Отстаивают прямой эффект и оценщик без диапазона 3-6 км по критерию минимума среднеквадратичной ошибки. К статистической репликации три претензии: отнесение примерно 20 % наблюдений 1999 года, смещение к нулю и дробление по годам. Конфликт интересов заявлен авторами самостоятельно. |
| Taylor-Robinson DC и др., кокрейновский обзор массовой дегельминтизации 2019 года, Cochrane Database of Systematic Reviews | 2019 | Систематический обзор с оценкой достоверности по GRADE, поиск литературы до 19 сентября 2018 года. Объём: 51 испытание, из них 10 кластерных. Одно о смертности с более чем миллионом детей, остальные 50 охватывали 84 336 участников. 24 работы с высокой фоновой заражённостью, 18 со средней, 9 с низкой. Посещаемость: выше на 2 процентных пункта при интервале от 5 пунктов ниже до 8 выше, 20 650 участников, три испытания, достоверность очень низкая. Гемоглобин при регулярном лечении: на 0,01 г/дл ниже (от 0,05 ниже до 0,07 выше), 5 498 участников, девять испытаний. По весу неоднородность I² = 78 %. Пост-хок-анализ без испытаний старше 2000 года даёт 0,02 кг (от 0,04 кг потери до 0,08 кг прироста) при I² = 0 %. |
| Croke K, Hamory J, Hsu E, Kremer M, Maertens R, Miguel E, Więcek W, ответ экономистов на кокрейновский обзор, PNAS | 2024 | Мета-анализ со случайными эффектами по многократной массовой раздаче, со стратификацией по бремени инвазии. Опубликованный ответ на свод предыдущей стороны. Там, где распространённость выше 20 %, прибавка веса 0,15 кг (0,07-0,24), окружность плеча 0,20 см (0,03-0,37), рост 0,09 см (0,01-0,16). Гемоглобин не двинулся: 0,06 г/дл (−0,01…0,14). Рабочая версия 2016 года давала при том же пороге 0,148 кг (0,039-0,258). В курс идут журнальные числа, а рабочая версия только как предыстория. Спор с обзором идёт о правиле включения, а не об арифметике. |
| Awasthi S, Peto R, Read S и др., DEVTA, The Lancet | 2013 | Кластерное рандомизированное испытание по схеме 2×2 с открытым контролем, распределение по административным блокам, 36 блоков против 36. Объём: 8 338 сельских детских центров, около миллиона детей до пяти лет, 5 лет и одиннадцать массовых раздач раз в полгода. Исход первичный: смерть в возрасте от 1,0 до 6,0 года. Риск примерно 2,5 % против 2,6 %, отношение смертности 0,95 (0,89-1,02). Вес в 3,0-6,0 года: 12,72 кг против 12,68 кг (разница 0,04 кг, −0,14…0,21). Соблюдение 86 %. Заражённость яйцами 16 % против 36 %, инвазия преимущественно лёгкая, и авторы называют эту границу переноса сами. |
| Luby SP, Rahman M, Arnold BF и др., WASH Benefits в Бангладеш, The Lancet Global Health | 2018 | Кластерное рандомизированное испытание с семью группами: вода, санитария, мытьё рук, их сочетание, питание, всё вместе и контроль. Объём: 5 551 беременная женщина в 720 кластерах, данные о диарее у 14 425 детей, рост измерен у 4 584 детей на втором году. Диарея в контроле 5,7 %, при улучшенной санитарии 3,5 %, отношение рисков 0,61 (0,46-0,81). Мытьё рук с мылом дало 0,60 (0,45-0,80), одна только очистка воды 0,89 (0,70-1,13), то есть без эффекта. Сочетание веток не дало прибавки сверх отдельных веток, и авторы пишут это прямо. |
| Humphrey JH, Mbuya MNN, Ntozini R и др., SHINE в Зимбабве, The Lancet Global Health | 2019 | Кластерное рандомизированное испытание по схеме 2×2 с ограниченной рандомизацией по 14 переменным, 211 кластеров. Объём: 5 280 беременных женщин, в 18 месяцев обследовано 3 686 детей ВИЧ-отрицательных матерей. Первичные исходы объявлены заранее: рост к возрасту и концентрация гемоглобина. Ветка питания дала +0,16 SD роста к возрасту (0,08-0,23) и +2,03 г/л гемоглобина (1,28-2,79). Доля низкорослых упала с 35 % до 27 %. Ветка воды, санитарии и гигиены не сдвинула ни один из двух первичных исходов и не снизила диарею. |
Что подтвердилось, а что нет
Как число не устояло: повторение теми же методами на тех же данных дало 3,9 п. п. (СО 3,2), то есть чуть больше одной стандартной ошибки от нуля. Упал при этом не прямой эффект, а межшкольная часть: она сменила знак с +2,0 п. п. (СО 1,3) на −1,7 п. п. (СО 3,0). Причина в ошибках кодирования, тех трёх из четырёх, что считали местное население вокруг школ. Авторы оригинала арифметику не оспаривают. Они оспаривают саму конструкцию совокупного эффекта, и это отдельный спор.
После исправления кода оценка уменьшилась и осталась значимой: было −0,26 (СО 0,09), стало −0,21 (СО 0,10). Мерили умеренно-тяжёлую заражённость гельминтами у детей 75 школ округа Бусиа за 2 года. Признают это обе стороны спора: и репликаторы, и авторы оригинала, которые в своём печатном ответе перечисляют уцелевшие эффекты поимённо.
Было −0,14 (СО 0,06) и значимо на уровне 90 %, стало −0,05 (СО 0,08) и незначимо. Причину назвали сами авторы оригинала: в коде считались 12 ближайших школ вместо всех, которых могло быть до 75. Стандартные ошибки на этом расстоянии после правки почти удвоились. Ту же ошибку зафиксировала сноска научной справки Нобелевского комитета. Формального исправления у самой статьи при этом нет до сих пор: в экономике поправка такого рода живёт не в поле журнала, а в отдельной статье в чужом журнале.
Два свода расходятся не в арифметике, а в правиле включения, и оба правила объявлены. Кокрейновский обзор 2019 года после пост-хок-исключения испытаний старше 2000 года даёт 0,02 кг при интервале от 0,04 кг потери до 0,08 кг прироста и неоднородности I² = 0 %. Ответ 2024 года делит работы по бремени инвазии и там, где заражено больше 20 %, даёт 0,15 кг (0,07-0,24). Величины у обеих сторон крошечные в человеческих единицах, и это тоже часть ответа.
Термины
- чистая репликацияpure replication
- Повторение чужого анализа теми же методами на тех же данных, без новых понятий и новых вычислений. Проверяет ровно одно: получается ли из этих данных то же число. Ошибки округления, знаменателей и кода видны только такой проверкой.
- статистическая репликацияstatistical replication
- Повторный анализ тех же данных другими методами, объявленными заранее вместе с исходами. Проверяет не арифметику предшественника, а устойчивость вывода к смене процедуры. Расхождение с оригиналом здесь не означает ошибки: оно означает, что ответ зависит от выбора аналитика.
- ошибка кодированияcoding error
- Ошибка в программном файле анализа: обрезанный список, перепутанная переменная, неверно посчитанная величина. От опечатки в тексте отличается тем, что меняет само число, а не его написание, и обнаруживается только при доступе к файлам анализа.
- межшкольная экстерналияbetween-school externality
- Изменение исхода у детей соседних школ, в которые программа не приходила, вызванное тем, что рядом лечат других. Величина отдельная от прямого эффекта, со своим радиусом и своей ошибкой, и складывать её с прямым эффектом напрямую нельзя: числа людей, к которым они относятся, разные.
- правило включенияinclusion rule
- Объявленный заранее набор условий, по которым свод работ берёт одни испытания и отбрасывает другие: год публикации, доза, фоновая заражённость, качество распределения. Меняет результат свода сильнее, чем арифметика, и потому у любого свода спрашивают правило, а не только вывод.
- отношение шансовodds ratio
- Отношение шансов события в одной группе к шансам в другой. Единица означает отсутствие различия. Скорректированным его называют, когда в модель добавлены поправки на другие признаки. В процентные пункты прямо не переводится: это другая шкала.
- неоднородностьheterogeneity, I²
- Мера того, насколько результаты отдельных работ в своде расходятся сильнее, чем объясняется случайностью выборок. Записывается величиной I² от нуля до ста процентов. Высокая неоднородность означает, что складывать эти работы в одно число сомнительно, а не что одна из них неверна.
- пост-хок-анализpost hoc analysis
- Расчёт, придуманный после того, как данные увидели. Законен и часто полезен, но проверять им гипотезу нельзя: выбор среди уже увиденных вариантов сам создаёт находки. В отчёте такой расчёт обязан быть назван пост-хок, иначе читатель примет его за заранее объявленный.
Практикум · Разобрать одно число из новости на паспорт
Упражнение на сорок минут и на одну заметку в новостях о программе помощи. Считать ничего не нужно, решать что-либо тем более. Цель одна: увидеть, сколько строк паспорта отсутствует в обычном пересказе и как быстро они находятся в первоисточнике.
- Выпишите число дословно вместе с единицей: проценты, процентные пункты, килограммы, отношение шансов или стандартные отклонения. Отдельно отметьте, стоит ли рядом интервал или стандартная ошибка.
- Найдите, на ком мерили и сколько их было. Если в заметке этого нет, спуститесь к первоисточнику по ссылке и выпишите число участников, школ или деревень оттуда.
- Найдите срок: сколько длилась программа и через сколько после её конца измеряли исход. Отсутствие срока запишите отдельной строкой, а не пропустите.
- Назовите исход дословно: присутствие, умение, вес, доход, заражённость, смерть. Сверьте его с заголовком заметки и отметьте, не подменён ли он по дороге.
- Проверьте судьбу работы: была ли перепроверка, печатный ответ, поправка. Если ответа нет вовсе, так и запишите: молчание оппонента не равно согласию.
Вопросы для самопроверки
Чем чистая репликация отличается от статистической?
- Чистая берёт те же данные и те же методы, статистическая берёт те же данные и заранее объявленные другие методы
- Чистая делается независимой командой, а статистическую проводят авторы исходной работы у себя
- Чистая собирает новые данные в том же месте и в те же годы, а статистическая обходится опубликованными таблицами
- Чистая проверяет только арифметику, а статистическая проверяет только достаточность размера выборки
Что именно сдвинулось в кенийских данных после исправления кода?
- Прямое сравнение лечебных школ с контрольными: оно потеряло сразу и величину, и точность
- Межшкольная экстерналия: она сменила знак, а её стандартная ошибка выросла с 1,3 до 3,0
- Эффект на экзаменационных баллах: он был положительным и значимым, а стал нулевым
- Разница по заражённости между лечебными и контрольными школами: она перестала быть значимой
В чём состоит спор двух сводов о прибавке веса?
- Одна сторона считала выборку честно, а вторая допустила ошибку в арифметике и её не признала
- Своды пользуются разными первичными работами, потому что одной из сторон не дали данные
- Один свод меряет прирост в килограммах, а другой в стандартных отклонениях, и шкалы несопоставимы
- Своды по-разному решили, какие работы складывать: один выбросил старые испытания, другой разложил все по бремени инвазии
Почему испытание DEVTA нельзя считать опровержением кенийского результата?
- Оно было наблюдательным, а не рандомизированным, и контрольных блоков в нём не было
- Его результаты остались в рабочей версии и рецензирования не проходили
- Оно мерило смертность у слабо заражённых дошкольников, а не присутствие школьников в классе
- В нём сравнивали только состояние до раздачи таблеток и после неё, без второй группы
Что из перечисленного НЕ следует из этого спора?
- Что эффекта на экзаменационных баллах не нашёл никто из участников спора
- Что величина эффекта на посещаемость зависит от выбранной процедуры счёта
- Что из этих чисел вытекает судьба таких программ в других странах
- Что экстерналия на заражённость в радиусе до 3 км признана обеими сторонами
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Aiken AM, Davey C, Hargreaves JR, Hayes RJ. «Re-analysis of health and educational impacts of a school-based deworming programme in western Kenya: a pure replication». International Journal of Epidemiology, 2015, 44(5):1572-1580: Открыта полностью в PMC (PMC4681107). Главное лежит не в аннотации, а в таблице 3 и в перечне четырёх ошибок кода под номерами: там видно, что посещаемость сдвинули три из них и что прямой эффект после правок вырос.
- Davey C, Aiken AM, Hayes RJ, Hargreaves JR. «Re-analysis… a statistical replication of a cluster quasi-randomized stepped-wedge trial». International Journal of Epidemiology, 2015, 44(5):1581-1592: Открыта полностью в PMC (PMC4681108). Читать стоит таблицу 2 с тремя моделями подряд и приписку «Note added in proof», где авторы перечисляют собственные числовые ошибки, найденные между электронной и печатной версией.
- Hicks JH, Kremer M, Miguel E. «Commentary: Deworming externalities and schooling impacts in Kenya». International Journal of Epidemiology, 2015, 44(5):1593-1596: У издателя закрыт, открытая копия лежит в архиве UC eScholarship. Там же, а не в пересказах, стоит признание про 12 ближайших школ вместо всех и заявленный авторами конфликт интересов.
- Taylor-Robinson DC, Maayan N, Donegan S, Chaplin M, Garner P. «Public health deworming programmes for soil-transmitted helminths in children living in endemic areas». Cochrane Database of Systematic Reviews, 2019, 9(9):CD000371: Открыт полностью (PMC6737502). Ключевая строка спрятана в разделе о весе: пост-хок-анализ без испытаний старше 2000 года, где неоднородность падает с 78 % до нуля вместе с эффектом.
- Croke K, Hamory J, Hsu E, Kremer M, Maertens R, Miguel E, Więcek W. «Meta-analysis and public policy: Reconciling the evidence on deworming». PNAS, 2024, 121(25):e2308733121: Условие «распространённость выше 20 %» стоит прямо в аннотации, и без него числа этой работы читать нельзя. Полезно сравнить их с числами рабочей версии 2016 года: величины разошлись при том же пороге.