Дегельминтизация: эксперимент в Кении
Испытание, из которого выросла половина спора, и порог окупаемости, который в самой работе не проходится
Дегельминтизация это лечение от гельминтов, и кенийское испытание 1998 года в 75 школах округа Бусиа измерило, что она даёт школе. Полный эффект на пролеченных за два года составил 7,5 процентного пункта прибавки присутствия в школе, а экзаменационные баллы не сдвинулись: минус 0,032 стандартного отклонения при ошибке 0,046. Исходом было присутствие ребёнка в день внезапного визита, а не умение. Цена 3,50 доллара за учебный год посчитана по танзанийской цене таблетки, втрое ниже кенийской.
Miguel & Kremer 2004, Econometrica · Baird и др. 2016 · Hamory и др. 2021 · статистическая репликация Davey и др. 2015 · 26 мин · обновлено 24.09.2026
После урока вы сможете
- Различать присутствие ребёнка в школе и его умение как два исхода с разными приборами
- Называть, какую долю сокращения бремени болезни дал шистосомоз и во что обходится год жизни при лечении одних геогельминтов
- Читать внешний эффект как отдельное утверждение со своим радиусом и своей ошибкой
- Видеть, из чего сложена цена дополнительного учебного года и откуда взята цена таблетки
- Отличать три взгляда на одну когорту от трёх независимых проверок
В январе 1998 года 75 сельских начальных школ округа Бусиа в западной Кении разделили на три очереди по двадцать пять. Первая очередь получила программу в 1998 году, вторая в 1999-м, третья в 2001-м. Учеников в этих школах числилось больше тридцати тысяч, в возрасте от шести до восемнадцати лет. Распределение по очередям было не жребием, а систематическим правилом, и об этом курс говорил отдельно.
Число, ради которого это испытание запомнили, такое. Полный эффект на пролеченных за два года составил 7,5 процентного пункта прибавки школьного участия при стандартной ошибке 2,7. В аннотации той же работы стоит и словесная форма результата: программа сократила школьные прогулы в лечебных школах на четверть. Отсюда же выведена цена: 3,50 доллара за дополнительный учебный год участия.
Исходом при этом было присутствие ребёнка в школе в день внезапного визита проверяющего. Не умение, не оценки, не грамотность. Экзаменационные баллы в той же работе собирали, и там вышел нуль. Это −0,032 стандартного отклонения при ошибке 0,046 в первый послелечебный год и 0,001 при ошибке 0,073 во второй.
Этот урок о том, что в этой работе измерено и чем. Что стало с числом 7,5 п. п. потом и почему ответов на один вопрос оказалось четыре, разбирает следующий урок. Здесь важнее другое: у этой работы есть строка, которую почти никогда не цитируют, и в ней она сама себе отказывает.
Что раздавали и кому
Раздавали два лекарства и не только лекарства. Альбендазол против геогельминтов давали дважды в год в школах, где заражённость ими выше 50 процентов. Празиквантел против шистосомоза давали раз в год там, где шистосомоз выше 30 процентов. К этому шло санитарное просвещение: лекции, настенные плакаты, обученный учитель в каждой школе.
Отсюда первое ограничение всей истории. Вмешательство комплексное, и таблетки от просвещения в нём не отделены. Что бы ни дала программа, разложить её вклад между лекарством и разговором о мытье рук эти данные не позволяют. Перепроверка тех же данных позже назовёт поведенческий путь среди возможных объяснений прибавки посещаемости наравне с лекарственным.
Лечили всех мальчиков и всех девочек до двенадцати лет включительно. Девочек тринадцати лет и старше лечить не собирались: вред празиквантела при беременности на тот момент исключён не был. В 1998 году лечение всё же получили 19 процентов таких девочек. Причины авторы называют сами: путаница с возрастом учеников в поле и решение части медсестёр министерства здравоохранения, посчитавших пользу выше риска.
Фон, на котором всё это мерили, стоит назвать сразу. Хотя бы один гельминт нашёлся у 92 процентов обследованных учеников, умеренно-тяжёлая инвазия у 37 процентов. Это очень высокая заражённость, и она часть результата, а не декорация к нему.
Массовая раздача устроена так: лекарство получают все дети в местности, где заражённость высока, без индивидуального анализа. Причина не в спешке и не в пренебрежении. Собрать и проанализировать образец кала у каждого ребёнка дороже, чем дать ему таблетку, и разница не в проценты. Из этого следует важное для чтения любой такой работы: часть пролеченных детей заражена не была, и эффект на человека размывается по всей группе. Это свойство замысла, а не его дефект, но читать оценку без него нельзя.
Три исхода и три прибора
Заражённость мерили лабораторно: считали яйца гельминтов в грамме кала. Это единственный из трёх исходов, где прибор не зависит ни от поведения ребёнка, ни от поведения школы. Перепроверка тех же данных, о которой пойдёт речь в следующем уроке, пересчитала эту часть по отдельным паразитам. У аскариды доля умеренной инвазии составила 23,6 процента в очереди, до которой программа ещё не дошла, против 7,8 процента в пролеченной, а у анкилостомы 7,8 против 1,8. Считано на 1 233 и 746 учениках соответственно, через год после начала раздачи.
Посещаемость мерили иначе. Сотрудник организации приезжал в школу без предупреждения и отмечал, кто физически присутствует. В среднем выходило около 3,8 наблюдения на ученика в год. Фон такой: в параситологической подвыборке доля присутствия составляла 0,872 в первой группе против 0,764 во второй с мая 1998 по март 1999 года.
Числа по посещаемости идут тремя слоями, и их полезно разделить. Простое сравнение лечебных школ с контрольными за оба года дало 5,1 процентного пункта, значимо на уровне 99 процентов. По годам это 6,2 п. п. в первый год и 4,0 п. п. во второй. Полный эффект на пролеченных, куда добавлена прибавка у соседних школ, составил те самые 7,5 п. п. (СО 2,7). В пересчёте на одного ребёнка это 0,14 дополнительного учебного года при стандартной ошибке 0,05.
Экзамены мерили третьим прибором: районными и школьными экзаменами в 3-8 классах. Здесь и стоит нуль, приведённый выше. В 2000 году к нему добавили батарею когнитивных проверок: поиск картинки, матрицы Равена, беглость речи, объём цифровой памяти, обучение испанскому, проверку на силлогизмы. Ни один компонент значимо от нуля не отличался.
Присутствие тела не умение
Разница между этими двумя исходами и есть сердце всего дальнейшего спора. В школу можно ходить и ничему не выучиться, а можно выучиться и пропускать. Программа двигала первое и не двигала второе, и это записано в самой работе, а не выведено критиками.
Авторы объясняют разрыв сами и объясняют честно. Прибавка в 5,1 процентного пункта за два года, пишут они, даёт меньше двадцати дополнительных дней школы на ребёнка. Двадцать дней за два года это величина, от которой трудно ждать заметного сдвига в баллах. Числу «прогулов на четверть меньше» это не противоречит: четверть от небольшого числа мала.
Здесь стоит остановиться и на самой фразе про четверть. Она относится к прогулам, а не к посещаемости, и потому звучит крупнее, чем выглядит в пунктах. Одна и та же величина, записанная как доля от базы прогулов и как разница долей присутствия, читается совершенно по-разному.
Никакой снисходительности к участникам из всего этого не выходит. Дети не «не хотели учиться» и не «не ценили школу». Главной причиной остаться без таблетки было отсутствие в школе в день раздачи. А главной причиной нулевого сдвига баллов была малость прибавки в днях. Оба объяснения предметные и оба напечатаны в первоисточнике.
Так пишут в заголовках и так пересказывают эту работу в популярных обзорах. В первоисточнике этого нет ни в одной строке: разница в баллах между лечебными и контрольными школами составила −0,032 стандартного отклонения в первый послелечебный год и 0,001 во второй, и ни одна из двух от нуля значимо не отличается. Батарея когнитивных проверок 2000 года не дала значимого результата ни по одному компоненту. Спор «работает или нет», который вокруг этой работы идёт двадцать лет, целиком про присутствие тела в школе. Про успеваемость спора нет вовсе, и это редкая точка полного согласия сторон.
Внешний эффект: отдельное утверждение со своим радиусом
Программа действовала не только на тех, кому давали таблетку. Чем меньше заражённых вокруг, тем меньше шансов заразиться у всех, включая детей соседних школ, куда лекарство не привозили. Величина этого действия сама по себе отдельное утверждение, и меряется она отдельно.
Считали её так: сколько дополнительных учеников школ-получателей живёт в заданном радиусе. Каждая дополнительная тысяча таких учеников в радиусе трёх километров связана с умеренно-тяжёлой заражённостью ниже на 26 процентных пунктов. В таблице это −0,26 при стандартной ошибке 0,09, значимо на уровне 99 процентов. На расстоянии от трёх до шести километров та же величина равна −0,14 при ошибке 0,06.
На посещаемости внешний эффект тоже посчитан и вышел слабее: 2,0 процентного пункта при стандартной ошибке 1,3. Авторы называют его едва значимым, причём своими словами, а не в пересказе. При этом на внешние эффекты приходится 76 процентов всего сокращения бремени болезни, посчитанного в работе.
И тут же в работе стоит признание её собственной слабости. С 49 школами, пишут авторы, оценить, как краевые внешние эффекты меняются с местным уровнем лечения, нельзя. То есть радиус есть, а зависимость величины от плотности лечения внутри радиуса нет. Дальнейший спор об этой величине начнётся именно здесь.
Порог, который работа не проходит
Теперь про деньги, и это самая недочитанная часть работы. Цену таблетки авторы взяли не из своей программы, а из чужой: 0,49 доллара на ученика в год в большой государственной программе в Танзании. Собственная кенийская цена была втрое выше: 1,46 доллара на пролеченного ученика в 1999 году, если исключить расходы, связанные с самой оценкой.
Из танзанийской цены и получается знаменитая величина. Если разделить 0,49 доллара на 0,14 дополнительного учебного года, выйдет 3,50 доллара за год участия. Для сравнения авторы приводят другую свою программу, раздачу школьной формы: около 99 долларов за дополнительный год участия. Разница в тридцать раз и делает число громким.
По здоровью счёт другой. Всего программа отвратила 649 лет жизни с поправкой на нетрудоспособность, что даёт около 5 долларов за отвращённый год. Но 99 процентов этого сокращения дал шистосомоз, а не геогельминты. Авторы считают отдельно, во что обошёлся бы год жизни при лечении одних геогельминтов, и получают 280 долларов.
Дальше в работе стоит фраза, которая переворачивает её собственный вывод для большинства мест. Массовое лечение геогельминтов там, где шистосомоза нет, не прошло бы строгих критериев экономической приемлемости в беднейших странах, если считать только по здоровью. Массовая дегельминтизация, которую обсуждает мир, почти всегда именно геогельминтная. Значит, весь экономический довод держится не на здоровье, а на посещаемости.
Число верное и относится к программе целиком, к той, где вместе с альбендазолом раздавали празиквантел в школах с шистосомозом. Разложить его нельзя поровну: 99 процентов сокращения бремени болезни в этой работе дал шистосомоз. Величина для той части, о которой чаще всего идёт речь, напечатана рядом и равна 280 долларам за отвращённый год жизни. Ловушка лечится двумя числами и одним вопросом: сколько стоит год жизни отдельно по каждому из двух лечений и есть ли в этой местности шистосомоз.
Механизм, которого не было
Обычное объяснение, зачем вообще лечить глистов ради школы, идёт через анемию. Черви отнимают железо, железа не хватает, ребёнок хуже соображает и хуже учится. Цепочка выглядит убедительно, и её приводят чаще прочих.
В этой работе она не сработала, и видно это в её собственных числах. Ниже кенийского порога анемии в 100 граммов на литр в начале 1999 года оказалось меньше 4 процентов учеников второй группы. Разница по гемоглобину между группами от нуля значимо не отличалась, и авторы пишут это прямо.
Больше того, они сами называют район малоанемичным по сравнению со многими другими районами Африки. То есть механизм, через который дегельминтизация «должна» помогать учёбе, в самой знаменитой работе о дегельминтизации задействован не был. Это не опровержение механизма вообще, а его отсутствие в этом конкретном месте.
Отсюда важное для чтения любого переноса. Если в другом районе анемия распространена, механизм может работать сильнее, а если заражённость там ниже, слабее. Ни того ни другого кенийские данные не показывают, потому что мерили одно место с одним фоном.
Двадцать лет спустя: та же когорта
У этой программы есть длинный хвост наблюдений, и он часто читается как независимое подтверждение. Читается неверно. Через десять и через двадцать лет смотрели на ту же самую когорту тех же 75 школ. Это три взгляда на один эксперимент, а не три эксперимента.
Через десять лет проследили примерно 7 500 человек, учившихся во 2-7 классах этих школ. Уровень прослеживания составил 82 процента. Мужчины, попавшие в программу мальчиками, работали на 17 процентов больше часов в неделю. Эти 17 процентов составляют 3,49 часа при контрольном среднем в 20 часов, и абсолютную величину тут называть обязательно.
Через двадцать лет то же наблюдение дало прибавку подушевого потребления домохозяйства. Это 305 долларов по паритету покупательной способности в год при стандартной ошибке 159, значимо на пятипроцентном уровне. Контрольное среднее 2 156 долларов, и отсюда те самые «14 процентов». Уровень прослеживания 84 процента, в подвыборке с модулем потребления 76. Один из авторов заявляет конфликт интересов: он работает с агентством, поддерживающим дегельминтизацию.
А вот отдельная площадка, где мерили похожее. В восточной Уганде массовую дегельминтизацию дошкольников 2000-2003 годов проверили через семь-двенадцать лет сторонним образовательным обследованием. Разница по счёту составила 0,07 стандартного отклонения при интервале от −0,10 до 0,24, по чтению 0,05 при интервале от −0,16 до 0,27. Авторы сами пишут, что мощности не хватило исключить ни существенную пользу, ни умеренный вред.
Что мешает перенести это число
Список тут короткий и весь состоит из измеренных вещей. Хотя бы один гельминт был у 92 процентов обследованных, умеренно-тяжёлая инвазия у 37 процентов, то есть заражённость в Бусии была очень высокой. Шистосомоз был не везде: в 1998 году им затронуты 6 школ из 25, а в 1999-м 16 из 50. Анемия в районе была редкой. Каждая из этих трёх строк меняет ожидаемую пользу в другом месте, и меняет в разные стороны.
К этому добавляется цена. Величина «3,50 доллара за учебный год» построена на танзанийской цене таблетки, а не на кенийской. На собственной цене программы она была бы втрое больше. Цена в третьей стране не равна ни той ни другой, и подставлять её надо, а не заимствовать вывод.
И ещё одна вещь, которую стоит знать про судьбу этого числа. Часть организаций, распределяющих пожертвования, применяет к найденному эффекту назначенную скидку на воспроизводимость, то есть множитель, выбранный суждением, а не измеренный. Документы с такими множителями в базу курса вошли только пересказом, и потому величин урок не печатает. Но сама мысль важна: скидка на воспроизводимость это тоже число, и назначено оно человеком.
Долгосрочные наблюдения переносимость не расширяют, а сужают. Все они об одной кенийской когорте, а угандийская проверка на другой популяции дала интервал, накрывающий ноль. Три взгляда на один эксперимент и один недостаточно мощный взгляд на другой это ровно то, что есть, и не больше.
Измерено вот что: заражённость гельминтами, гемоглобин, присутствие ребёнка в школе при внезапном визите и экзаменационные баллы у детей 75 школ округа Бусиа в 1998 и 1999 годах, где хоть один гельминт был у 92 процентов обследованных. Решение о том, стоит ли такая раздача своих денег где-то ещё, отсюда не следует, и причины предметные. Цена в самом расчёте взята не отсюда: 0,49 доллара на ученика в год это чужая программа в Танзании, а собственная кенийская цена была 1,46. Почти вся польза по здоровью привязана к шистосомозу, то есть к местности, где он есть. И решение требует ещё и чужого бюджета вместе с тем, от чего ради этой траты откажутся. Принимают его те, кто этим бюджетом распоряжается и отвечает за исполнение. Курс на этом останавливается. Испытание говорит, что случилось в этом месте при этих условиях. Что из этого делать: решение, а не измерение, и курс его не принимает.
Что дальше
Из урока стоит унести три различения. Присутствие в школе и умение это разные исходы, измеренные разными приборами, и на втором здесь нуль. Внешний эффект есть отдельная величина со своим радиусом и своей ошибкой, а не свойство таблетки. Порог экономической приемлемости работа проходит по одному лечению и не проходит по другому, и написано это в ней самой.
Следующий урок берёт единственное число этого урока, которое не устояло, и показывает, что с ним стало. Данные останутся те же: те же 75 школ, те же два года, тот же исход. Изменится только процедура счёта, и ответов на один вопрос получится четыре.
Ключевые работы
| Miguel E, Kremer M, Econometrica | 2004 | Кластерное испытание со ступенчатым введением программы: 75 сельских начальных школ округа Бусиа в западной Кении, три группы по двадцать пять, больше тридцати тысяч учеников от шести до восемнадцати лет, 1998 и 1999 годы. Вмешательство комплексное: альбендазол дважды в год, празиквантел раз в год и санитарное просвещение. Исходы: заражённость по яйцам в кале, гемоглобин, присутствие ребёнка в школе при внезапном визите и экзаменационные баллы. Полный эффект на пролеченных 7,5 п. п. (СО 2,7), простое сравнение школ 5,1 п. п. На экзаменах нуль (−0,032 SD при СО 0,046 и 0,001 при 0,073). Отвращено 649 лет жизни с поправкой на нетрудоспособность, 99 процентов из них дал шистосомоз. При лечении одних геогельминтов год жизни обошёлся бы в 280 долларов. Судьба: дважды переанализирована по заказу стороннего фонда, формальной поправки нет до сих пор. |
| Baird S, Hicks JH, Kremer M, Miguel E, десятилетнее наблюдение за кенийской когортой, Quarterly Journal of Economics | 2016 | Наблюдение за той же когортой того же испытания, а не новое испытание: панельный опрос выпускников тех же 75 школ, сбор 2007-2009 годов. Объём: около 7 500 человек, учившихся во 2-7 классах на входе. Уровень прослеживания 82 процента. Исходы: часы работы, заработок, сектор занятости, образование, пропущенные приёмы пищи. Мужчины, попавшие в программу мальчиками, работали на 17 процентов больше часов в неделю, то есть 3,49 часа при контрольном среднем 20 часов. Относительная величина здесь звучит крупнее абсолютной. Женщины, учившиеся в лечебных школах девочками, примерно на четверть чаще посещали среднюю школу. Авторы применяют поправку на множественные сравнения и печатают q-величины. |
| Hamory J, Miguel E, Walker M, Kremer M, Baird S, двадцатилетнее наблюдение за той же кенийской когортой, PNAS | 2021 | Продолжение того же панельного наблюдения за той же когортой. Эффективный уровень прослеживания 84 процента, в подвыборке с модулем потребления 76 процентов. Исходы: подушевое потребление домохозяйства по модулю более чем на 150 позиций, почасовой заработок, место жительства, часы несельскохозяйственной работы. При объединении двух последних раундов прибавка подушевого потребления составила 305 долларов по паритету покупательной способности в год при стандартной ошибке 159 и значимости на пятипроцентном уровне. Контрольное среднее 2 156 долларов, что и даёт ходовые «14 процентов». Эффекты сосредоточены у мужчин и у старших. Конфликт интересов заявлен авторами самостоятельно: один из них работает с агентством, поддерживающим дегельминтизацию. |
| Croke K, Atun R, долгосрочные исходы дегельминтизации дошкольников в Уганде, PLoS Neglected Tropical Diseases | 2019 | Долгосрочный анализ кластерного рандомизированного испытания массовой дегельминтизации дошкольников в восточной Уганде 2000-2003 годов. Исходы измерены через 7-12 лет сторонним образовательным обследованием, с исходным испытанием не связанным, раунды 2010-2015 годов. Разница по счёту 0,07 SD (95 % ДИ −0,10…0,24), по чтению 0,05 SD (−0,16…0,27), по сумме 0,07 SD (−0,11…0,25). Вывод авторов: значимой прибавки нет, точечные оценки положительны, но неточны, и мощности не хватило исключить ни существенную пользу, ни умеренный вред. Рабочая версия 2014 года того же первого автора находила пользу. Опубликованная версия с четырьмя дополнительными годами данных её не подтверждает, и цитировать раннюю версию после выхода поздней нельзя. |
Что подтвердилось, а что нет
Это единственная часть спора, где разногласий нет вовсе. По пересчёту тех же кенийских данных доля умеренной инвазии по аскариде составила 23,6 процента в очереди, ещё не получавшей программу, против 7,8 в пролеченной, то есть разница 15,7 процентного пункта при интервале от 7,7 до 23,8. По анкилостоме 7,8 против 1,8, разница 6,0 пункта при интервале от 3,2 до 8,7. Считано на 1 233 учениках второй группы против 746 учеников первой, через год после начала раздачи, по яйцам в кале. У власоглава и шистосомоза различия того же пересчёта интервалом ноль накрывают. Спор идёт не об этом, а о том, следует ли из убитых глистов что-то ещё.
В исходной работе этого нет ни в одной строке. Разница экзаменационных баллов между лечебными и контрольными школами составила −0,032 стандартного отклонения при ошибке 0,046 в первый послелечебный год и 0,001 при ошибке 0,073 во второй. Ни одна от нуля значимо не отличается. Батарея когнитивных проверок 2000 года не дала значимого результата ни по одному компоненту. Сами авторы объясняют почему: прибавка в 5,1 процентного пункта за два года это меньше двадцати дополнительных дней школы на ребёнка.
Отвергнуто самим первоисточником, а не его критиками. Программа отвратила 649 лет жизни с поправкой на нетрудоспособность, около 5 долларов за год, но 99 процентов этого сокращения дал шистосомоз. Отдельным счётом авторы получают 280 долларов за год жизни при лечении одних геогельминтов и пишут, что в беднейших странах это не прошло бы строгих критериев экономической приемлемости, если считать только по здоровью. Массовые программы, которые обсуждают в мире, почти всегда именно геогельминтные, и весь экономический довод у них держится на посещаемости, а не на здоровье.
Выдержало с оговоркой о способе счёта. Простое сравнение лечебных школ с контрольными в исходной работе дало 5,1 процентного пункта (СО 2,2), а после исправления кода при перепроверке тех же данных оно выросло и стало точнее: 5,7 п. п. (СО 1,4). Мерили присутствие детей 75 школ округа Бусиа при внезапных визитах за 2 года. Оговорка существенная: величина зависит от выбранной процедуры счёта, и вторая перепроверка тех же данных другими методами оценивает риск смещения как высокий. Совокупная величина в 7,5 п. п. это отдельное утверждение с отдельной судьбой, и оно разбирается в следующем уроке.
Термины
- массовая раздача без диагностикиmass drug administration
- Раздача лекарства всем детям местности, где заражённость высока, без индивидуального анализа. Причина экономическая: собрать и проанализировать образец у каждого дороже самой таблетки. Следствие для чтения оценки: часть пролеченных заражена не была, и эффект на человека размывается по всей группе.
- геогельминтыsoil-transmitted helminths
- Круглые черви, передающиеся через почву: аскарида, анкилостома, власоглав. Против них дают альбендазол. Отдельно от них стоит шистосомоз, заражение через пресную воду, против которого дают празиквантел. Различать их обязательно: в кенийской работе почти всё сокращение бремени болезни пришлось на второй.
- комплексное вмешательствоmultifaceted intervention
- Программа из нескольких частей, розданных вместе: в кенийском случае это два лекарства плюс санитарное просвещение с плакатами и обученным учителем. Разложить итог между частями такие данные не позволяют, и потому результат относится к пакету целиком, а не к лекарству.
- школьное участиеschool participation
- Доля визитов, в которые ребёнок физически находился в школе. Мерится внезапными приходами проверяющего, а не журналом и не опросом. Это исход о присутствии тела, и об умении он не говорит ничего: между ними в кенийской работе нашлось около двадцати дополнительных дней школы за два года и нуль в баллах.
- межшкольная экстерналияbetween-school externality
- Изменение исхода у детей соседних школ, в которые программа не приходила, вызванное тем, что рядом лечат других. Величина отдельная от прямого эффекта, со своим радиусом и своей ошибкой, и складывать её с прямым эффектом напрямую нельзя: числа людей, к которым они относятся, разные.
- год жизни с поправкой на нетрудоспособностьdisability-adjusted life year, DALY
- Единица бремени болезни: год жизни, потерянный из-за смерти или прожитый со сниженным здоровьем. Позволяет складывать разные болезни в одну величину, но зависит от принятых весов нетрудоспособности, и потому сравнивать её между работами можно только при одинаковых весах.
- порог экономической приемлемостиcost effectiveness threshold
- Условленная граница: во сколько наибольшее допустимо обойтись отвращённому году жизни, чтобы вмешательство считалось приемлемым по цене. Граница назначается, а не измеряется, и потому у неё всегда есть адрес: для какой страны и по чьим правилам она принята.
- уровень прослеживанияtracking rate
- Доля исходных участников, которых удалось найти и опросить через годы после программы. У долгосрочных наблюдений это первая величина, которую спрашивают: при низком прослеживании оставшиеся отличаются от потерянных, и любой результат читается с оглядкой на этот отбор.
Практикум · Найти, чем мерили
Упражнение на сорок минут и на одно сообщение о программе помощи: в новостях, в отчёте организации или в популярном обзоре. Считать ничего не нужно. Цель одна: увидеть, совпадает ли исход в заголовке с исходом в работе и каким прибором его брали.
- Выпишите заявленный результат одной фразой, дословно и вместе с единицей: проценты, процентные пункты, баллы, килограммы, доллары.
- Найдите первоисточник и выпишите оттуда, что записано исходом: присутствие, умение, вес, заражённость, доход, смерть. Формулировку берите дословно.
- Сверьте две выписки и отметьте, совпадают ли исходы. Если нет, назовите место подмены: заголовок, пересказ или уже сама аннотация работы.
- Найдите, чем этот исход измеряли: визит проверяющего, экзамен, лабораторный анализ, опрос, административная запись. Отметьте отдельно, кто держал прибор и знали ли участники о замере.
- Проверьте, есть ли в работе исходы, по которым получился нуль, и попал ли хоть один из них в сообщение. Отсутствие нулей в пересказе запишите отдельной строкой.
Вопросы для самопроверки
Что именно считали исходом посещаемости в кенийском испытании?
- Долю детей, окончивших учебный год без второгодничества, по журналам школ
- Число учебных дней в году, о котором отчитывался директор школы
- Самооценку родителей о том, как часто ребёнок ходил в школу, по опросу в конце года
- Физическое присутствие ребёнка в школе в день внезапного визита сотрудника организации
Почему массовое лечение одних геогельминтов в самой опорной работе порог экономической приемлемости не проходит?
- Потому что в районе исследования была высокая анемия, и часть пользы пришлась на её лечение
- Потому что 99 процентов сокращения бремени болезни дал шистосомоз, и без него год жизни стоит 280 долларов
- Потому что цену программы авторы взяли из чужой страны, а в Кении она оказалась втрое выше
- Потому что польза измерена в дополнительных учебных годах, а не в годах жизни, и сравнивать их нельзя
Что означает утверждение о внешнем эффекте в радиусе трёх километров?
- Что дети из лечебных школ реже заражали своих домашних, и это измерено в семьях
- Что программа охватила все школы в радиусе трёх километров от каждой лечебной школы
- Что заражённость ниже там, где рядом больше учеников лечебных школ, и это отдельная величина со своей ошибкой
- Что таблетки действуют примерно на три километра вокруг школы, где их раздают, независимо от числа пролеченных
Что в этой работе показывает, что путь «глисты → анемия → внимание → обучение» задействован не был?
- Анемия в районе была редкой, а гемоглобин между группами от нуля не отличался
- Гемоглобин мерили только в подвыборке, и данных не хватило ни на какой вывод
- Экзаменационные баллы выросли, а гемоглобин остался прежним у обеих групп
- Заражённость снизилась только у мальчиков, а у девочек осталась прежней, и анемия за ней не пошла
Что из перечисленного НЕ следует из кенийской работы 1998-1999 годов?
- Что доля детей с умеренной инвазией у пролеченных заметно ниже, чем у нелеченых
- Что на экзаменационных баллах эффекта не нашлось ни в первый год, ни во второй
- Что внешний эффект на заражённость это отдельная величина со своим радиусом
- Что такие раздачи окупаются по здоровью там, где шистосомоза нет
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Miguel E., Kremer M. «Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities». Econometrica, 2004, 72(1):159-217: Авторская копия открыта на личной странице Эдварда Мигеля в Беркли, журнальная версия закрыта. Читать надо не аннотацию, а раздел о стоимости: там и танзанийская цена таблетки, и 99 процентов бремени, пришедшихся на шистосомоз, и фраза о том, что лечение одних геогельминтов строгих критериев экономической приемлемости не прошло бы.
- Davey C., Aiken A.M., Hayes R.J., Hargreaves J.R. «Re-analysis of health and educational impacts of a school-based deworming programme in western Kenya: a statistical replication of a cluster quasi-randomized stepped-wedge trial». International Journal of Epidemiology, 2015, 44(5):1581-1592: Открыта полностью в PMC. Для этого урока нужна одна таблица, а именно по отдельным гельминтам: там доли умеренной инвазии по аскариде, анкилостоме, власоглаву и шистосомозу с интервалами, и видно, у каких паразитов разница есть, а у каких интервал накрывает ноль.
- Baird S., Hicks J.H., Kremer M., Miguel E. «Worms at Work: Long-run Impacts of a Child Health Investment». Quarterly Journal of Economics, 2016, 131(4):1637-1680: Открыта в PMC. Знаменитые «на 17 процентов больше часов» надо читать вместе с базой, которая стоит не в аннотации, а в тексте: часы в контрольной группе низкие, 20 в неделю, и прибавка равна 3,49 часа.
- Hamory J., Miguel E., Walker M., Kremer M., Baird S. «Twenty-year economic impacts of deworming». PNAS, 2021, 118(14):e2023185118: Открыта в PMC. Ходовые «14 процентов» в аннотации стоят без абсолютной величины, а сама величина лежит в тексте: 305 долларов по паритету в год при стандартной ошибке 159 и контрольном среднем 2 156. Заявление о конфликте интересов напечатано в конце и читается за минуту.
- Croke K., Atun R. «The long run impact of early childhood deworming on numeracy and literacy: Evidence from Uganda». PLoS Neglected Tropical Diseases, 2019, 13(1):e0007085: Открыта полностью. Ценна прежде всего собственной оговоркой авторов о нехватке мощности: она объясняет, почему интервал от −0,10 до 0,24 нельзя читать как «эффекта нет». Полезно сравнить с рабочей версией 2014 года того же первого автора, где данных было на четыре года меньше.