Анализ по намерению лечить (intention to treat)
Намерение лечить, оценка Вальда и знаменатель, из-за которого одно и то же «семьдесят два процента» означает разное
Intention to treat, или анализ по намерению лечить, сравнивает всех, кому программу предложили, со всеми, кому не предлагали, независимо от того, кто её принял. Именно эту величину жребий даёт напрямую, и она описывает программу вместе с её неполным исполнением. Эффект на взявших получают делением на разрыв охвата, и вместе с оценкой делится её ошибка: в Хайдарабаде при разрыве 8,4 пункта интервал растянулся почти в двенадцать раз. Относится такая оценка к комплаерам, чей состав в испытании не наблюдается.
«Toolkit» Дюфло, Гленнерстер и Кремера · Мигель и Кремер, Econometrica, 2004 · Банерджи, Дюфло, Гленнерстер и Киннан 2015 · 24 мин · обновлено 01.10.2026
После урока вы сможете
- Отличать оценку по намерению лечить от оценки на взявших и называть, какую из двух даёт жребий напрямую
- Считать оценку Вальда делением на разрыв охвата и видеть, что вместе с оценкой делится её ошибка
- Спрашивать у любой доли соблюдения знаменатель, год и замер, прежде чем сравнивать её с другой
- Называть, к кому относится локальный средний эффект, и почему состав этих людей в испытании не наблюдается
- Проверять условие деления: есть ли путь от назначения к исходу мимо собственного участия человека
Работа о кенийской дегельминтизации сообщает долю получивших таблетки: около семидесяти двух процентов. Перепроверка тех же данных, вышедшая одиннадцать лет спустя, тоже печатает семьдесят два: 72,1 %. Числа сошлись до десятых, и сошлись они случайно.
Первое относится к 1999 году и считано среди девочек младше тринадцати лет и всех мальчиков, учившихся хотя бы часть года. Второе относится к 1998-му и считано от всех, кому лечение полагалось. Это две разные доли: разные знаменатели, разные годы. У второй есть продолжение, которое обычно не цитируют: во второй год программы она составила 52,1 % в первой группе и 47,5 % во второй.
Рядом лежит третье число. Таблетки достались и 5 % учеников контрольных школ, значит, разница в лечении между группами вовсе не семьдесят два пункта. А главной причиной, по которой ребёнок из лечебной школы оставался без таблетки, было отсутствие в школе в день раздачи.
Этот урок о разрыве между «предложили» и «взяли». Разрыв есть в каждом полевом испытании программы, и от его размера зависит, какую величину испытание вообще способно оценить.
Две доли и одна разность
Испытание раздаёт не таблетки и не займы, а предложение. Кому-то программа становится доступна, кому-то нет, и распределяет это жребий или его заменитель. Дальше человек решает сам, и часть людей предложением не пользуется. Сравнение всех, кому предложили, со всеми, кому не предлагали, независимо от того, приняли ли они предложение, называется оценкой по намерению лечить.
Название неудачное, и разобрать его стоит сразу. Пришло оно из клинических испытаний, по-английски звучит как intention to treat, и никаких намерений не описывает. Величина ничего не говорит о том, кто чего хотел. Она говорит ровно одно: что вышло у тех, кому программа была предложена, по сравнению с теми, кому её не предлагали.
Это то, что рандомизация даёт напрямую. Жребий распределял предложение, значит, про предложение и можно считать ошибку. Всё остальное получают из этой величины делением, и каждое деление требует своего условия.
У скучной первой величины есть достоинство, которое обычно недооценивают. Программа в жизни работает именно так: её предлагают, и часть людей не приходит. Оценка по намерению лечить меряет программу вместе с её неполным исполнением, то есть ровно то, чем эта программа была.
Что получается делением
Спрашивают обычно о другом: а что было у тех, кто таблетку выпил или заём взял. Эту величину получают из первой делением. Делят на разность долей получивших вмешательство в группе предложения и в контроле. Отношение называется оценкой Вальда. Когда в контроле не лечится никто, оно даёт эффект на пролеченных.
Возьмём хайдарабадское испытание микрокредита. Потребление в группе предложения оказалось выше на 10,24 рупии 2007 года на человека в месяц при контрольном среднем 1 419. Считано на 6 862 домохозяйствах через пятнадцать-восемнадцать месяцев после открытия отделения кредитора. Исходом служило потребление, разложенное по статьям расходов. Заём хотя бы у одной микрофинансовой организации имели 26,7 % группы предложения и 18,3 % контроля: разрыв 8,4 процентного пункта.
Дальше арифметика в одну строку. 10,24 разделить на 0,084 даёт 122 рупии, около девяти процентов контрольного среднего: так авторы работы эту величину и печатают. Но делится не только оценка. Девяностопроцентный интервал вокруг самой прибавки идёт от −52 до +72 рупии. Края делятся на то же число, и работа печатает от −613 до +857. Это от падения на 43 % до прироста на 60 %. Повторить её деление в точности не выйдет: из округлённых −52 выходит −619. Расхождение в единицы рупий даёт округление, и тренажёр урока его разбирает.
Отсюда правило, которое стоит держать в голове прежде всякой формулы. Чем меньше разрыв охвата, тем сильнее делитель растягивает и оценку, и её неточность. При разрыве в 8,4 пункта всё умножается почти на двенадцать. Почему у одного и того же испытания разрешающая способность разная по разным исходам, разбирает шестой урок.
Кого именно посчитала эта оценка
Осталось спросить, к кому относятся эти 122 рупии. Не ко всем: в контрольной группе заём тоже брали, 18,3 % домохозяйств. И не ко всем берущим: те, кто взял бы заём и без всякого испытания, в разность долей не попадают вовсе.
Величина относится к тем, чьё поведение изменило само предложение. В поле их называют комплаерами: взяли, потому что предложили, и не взяли бы, если бы не предлагали. Оценку на них называют локальным средним эффектом. Слово «локальный» тут не про место: оно про то, что эффект посчитан на подмножестве людей, которых по именам никто не знает.
Методическое пособие поля, из которого эта терминология и разошлась, сопровождает её прямой оговоркой. Оцениваемый средний причинный эффект не обязательно представителен для среднего причинного эффекта во всей популяции. Те, кого исследование побудило принять вмешательство, могут отличаться и от тех, кто уже им пользовался, и от тех, кого побудила бы принять другая мера.
Разница здесь не академическая. Если предложение приняли те, кому оно нужнее всего, число на комплаерах выше среднего по всем. Если приняли те, кому проще дойти, число выходит ниже. Что именно верно, испытание не сообщает: состав этой группы в нём не наблюдается, а по фамилиям её не выписать.
Когда делить нельзя вовсе
У деления есть условие, и в самом знаменитом испытании поля оно не выполняется. Условие такое: назначение влияет на исход только через собственное лечение человека. В кенийских школах это неверно, и неверно измеримо.
Непролеченный ребёнок в лечебной школе выигрывал тоже: вокруг него становилось меньше заразных одноклассников. Числа такие. Среди детей, которых лечить полагалось, но кто таблетки не получил, умеренно-тяжёлая заражённость составила 34 % в первой группе против 55 % во второй. Разница 21 процентный пункт. Среди пролеченных заражённость была 24 % против 51 %, разница 27 пунктов. Мерили по яйцам в кале у детей 75 школ округа Бусиа, в первый год после начала раздачи.
Значит, разность между школами включает пользу, доставшуюся тем, кто таблетку не получил. Разделить её на долю пролеченных значит приписать всю эту пользу одним пролеченным. Авторы работы говорят это сами и печатно: брать назначение в лечебную школу инструментом для фактического лечения недопустимо.
Методическое пособие поля разбирает этот случай отдельно и добавляет арифметику. Оценка Вальда завысит эффект на пролеченных, тогда как оценка по намерению лечить остаётся верной оценкой действия программы на всю школу. И смещение раздувается тем же делением: чем слабее первая ступень, тем крупнее становится ошибка.
Так пишут, когда охват оказался неполным: разделим эффект на две трети и узнаем, что даёт само лечение. Приём законен ровно при одном условии: что назначение действует на исход исключительно через собственное участие человека. В школе с глистами условие нарушено прямо: непролеченные дети выигрывают от того, что пролечили их соседей по парте. Проверять поэтому надо не арифметику, а условие: есть ли путь от назначения к исходу мимо самого участника. Если есть, деление даёт число, но не ту величину, за которую его принимают.
Семьдесят два процента чего
Вернёмся к доле, с которой урок начался. Знаменателей у неё в этом испытании не два, а больше, и каждый даёт своё число.
Исходная работа считает от девочек младше тринадцати и всех мальчиков, учившихся хотя бы часть года. Лечение в 1999 году получили из них около 72 %: 73 % в первой группе и 71 % во второй. Если считать от когорты, зачисленной в начале 1998 года, доля падает примерно до 57 %. У девочек тринадцати лет и старше она 9 %, и это тоже про лечение хотя бы раз к 1999 году. Их лечить не собирались вовсе: вред препарата при беременности на тот момент не был исключён. За 1998 год у той же группы напечатана другая доля, 19 %, и считана она иначе. Её разбирает двенадцатый урок.
Перепроверка тех же данных по стандартам клинических испытаний считает от всех, кому лечение полагалось. В первый год таблетки получили 6 616 детей первой группы, это 72,1 %. Во второй год получили 4 516 детей первой группы (52,1 %) и 4 159 второй (47,5 %), плюс 91 ученик контрольной группы. Зарегистрировано в трёх группах было 10 612, 10 752 и 10 081 человек, но знаменатель этой доли меньше: девочек тринадцати лет и старше лечить не собирались, и в него они не входят.
Ни одна из этих долей не ошибочна. Ошибочно ставить их рядом, не назвав знаменателя. И ещё одно. В январе 1999 года в программе сменилась форма согласия: вместо согласия общины стали требовать подпись родителя в тетради у директора школы. Связаны ли между собой смена формы и падение охвата почти на двадцать пунктов, испытание не проверяло, и приписывать одно другому нельзя. Само устройство согласия разбирает двенадцатый урок.
Семьдесят два процента и 72,1 % здесь взяты из разных лет и посчитаны от разных множеств: от учившихся хотя бы часть года и от всех, кому лечение полагалось. Совпадение до десятых не значит ничего. Задавать при чтении надо один вопрос, и задавать его каждой доле соблюдения: кого разделили на кого и за какой срок. Пока ответа нет, две доли нельзя ни сравнивать между собой, ни вычитать одну из другой, даже если единица у них общая.
Охват как первый результат
В испытаниях микрокредита разрыв между предложением и принятием оказался самостоятельным результатом. Кредитор в Хайдарабаде рассчитывал на восемь семей из десяти. Заём хотя бы у одной микрофинансовой организации взяли 26,7 % домохозяйств, имевших на него право. В работе это записано дословно: не те 80 процентов, которых ждала Spandana.
Там, где приход кредитора разыгрывали жребием, охват в группе предложения шёл от 13 до 31 процента. В Марокко это 13 % по всему сельскому населению деревень и 17 % в подвыборке вероятных заёмщиков. Снова две доли и два знаменателя. В Мексике 19 %, в Эфиопии 31 %, в Индии 18 % у самого кредитора исследования. В контрольных деревнях Марокко заём у этого кредитора не взял никто.
Два испытания из шести в этот ряд не попадают. В Монголии, где разыгрывали 40 деревень, охват вышел выше: 57 % при групповой ответственности и 50 % при индивидуальной. В Боснии он был стопроцентным, и это уже разница в устройстве: там разыгрывали не приход кредитора, а одобрение уже поданной заявки. Что именно разыграно, задаёт потолок охвата раньше всякого спроса.
Марокканская работа попробовала поднять охват заранее, и попытка сама стала результатом. Авторы опросили по сто случайных домохозяйств в каждой деревне, оценили склонность взять заём и набрали выборку с перевесом вероятных заёмщиков. Вышло 17 % вместо 13 %. Свой итог они формулируют сами: разница между средним домохозяйством и «вероятным» так мала, что подчёркивает, до чего трудно предсказать, кто возьмёт микрокредит.
В хайдарабадской работе первая ступень стоит отдельной таблицей, и в ней видно то, чего в пересказах нет. Заём именно у кредитора исследования брали чаще на 12,7 процентного пункта при стандартной ошибке 2,0 и контрольном среднем 5,1 %: вместе это 17,8 %, те самые 18 %, что стоят в сводной таблице выпуска. Заём хотя бы у одной микрофинансовой организации брали чаще на 8,4 пункта при ошибке 2,7 и контроле 18,3 %, а это уже 26,7 %. Знаменитое «26,7 % вместо 80 %» относится ко второй строке, а не к первой. Разница между ними и есть замещение: часть пришедших к новому кредитору ушла от прежнего. Делят оценку на 8,4, а не на 12,7.
Тренажёр: кому предложили и кто взял
К уроку приложен тренажёр itt. Ползунков в нём три, а рядом стоят кнопки готовых охватов из работ. Ползунками читатель ставит долю взявших в группе предложения, долю лечившихся в контроле и истинный эффект на взявших. Переключатель меняет знаменатель доли соблюдения: все, кому лечение полагалось, или учившиеся хотя бы часть года. Отдельным списком выбирается год и группа внутри этого счёта.
Экран считает сразу две величины: оценку по намерению лечить и оценку Вальда с её ошибкой. Охваты в нём настоящие и стоят с паспортом работы. Это 72,1 % первого года кенийского испытания и 52,1 % с 47,5 % второго. Это охваты микрокредитных испытаний от 13 до 31 процента и хайдарабадские 26,7 % против 80 %, которых ждал кредитор. Ползунок истинного эффекта помечен учебным, и пометка стоит над ним, а не под ним.
Смотреть в нём стоит на две вещи. Первая касается блока, где числитель закреплён на хайдарабадских 10,24 рупии: там при сближении двух долей растёт не только интервал, но и сама оценка. На главной панели точка стоит на месте, и это по устройству: числитель там считается из вашей же истинной величины, и деление её возвращает. Вторая: как одно и то же «семьдесят два процента» получается из двух разных знаменателей на двух разных годах. Тренажёр никого не оценивает, вердиктов не выносит и размера выборки не рекомендует.
Чего отсюда не следует
Из низкого охвата не следует, что программа плоха. Не следует и обратного. Охват задаётся парой «что предложили и кому». В Боснии, где разыгрывали одобрение уже поданной заявки, он был полным. В марокканском испытании того же выпуска охват составил 13 %.
Не следует и того, что люди чего-то не понимают. В кенийских школах главной причиной остаться без таблетки было отсутствие в школе в день раздачи, а это ограничение, а не выбор. Отказ от займа на двенадцать месяцев под 24 % годовых с еженедельным платежом означает решение об этом займе, а не о кредите вообще.
Что действительно следует, так это три вопроса к любому числу об охвате. Кого разделили на кого. За какой год и на каком замере. И есть ли путь от предложения к исходу мимо собственного участия человека: если есть, делить нельзя, и никакая точность знаменателя этого не исправит.
Измерено, кто принял предложение: 6 616 детей 75 школ округа Бусиа в первый год раздачи таблеток и 6 862 домохозяйства бедных кварталов Хайдарабада через пятнадцать-восемнадцать месяцев после открытия отделения кредитора. Из этих долей не следует, какую программу и кому предлагать в другом месте: решение требует того, чего в измерении нет, а именно цен и условий доступа другой страны и того, кто и как будет предлагать. Форма предложения меняет охват сама по себе, и величины этой перемены в испытаниях тоже нет. Принимают такое решение те, кто программу исполняет и за неё отвечает. Курс на этом останавливается. Испытание говорит, что случилось в этом месте при этих условиях. Что из этого делать: решение, а не измерение, и курс его не принимает.
Что дальше
Урок оставил в руках две величины и одно условие. Оценку по намерению лечить жребий даёт напрямую, и она описывает программу вместе с её неполным исполнением. Оценка Вальда выведена из неё, и относится она к людям, состав которых не наблюдается. Условие деления требует отсутствия путей от назначения к исходу мимо самого участника.
Следующий урок стоит на той же развилке и подходит к ней с другой стороны. Если предложение принимают не все, спросим, кто именно принимает и что этот отбор делает с результатом. Восьмой урок берёт цену: её вводят ровно затем, чтобы отсеять тех, кто товаром не воспользуется. Урок проверяет, отсеивает ли она их.
Кому предложили и кто взял
Оценка по намерению лечить, оценка Вальда и её ошибка на точности хайдарабадского замера. Доли охвата ставите вы, кнопки ставят настоящие доли из работ, а переключатель меняет знаменатель доли соблюдения, и одна и та же кенийская доля на одном и том же годе становится двумя разными числами. Смоделированных чисел нет, а учебное значение стоит на одном ползунке, и пометка над ним.
Ключевые работы
| Duflo E, Glennerster R, Kremer M, «Using Randomization in Development Economics Research: A Toolkit», рабочий документ NBER | 2006 | Методическое пособие поля, а не отдельная работа: собственных измерений в нём нет. Читан полный текст рабочего документа, а опубликованная версия вышла главой в Handbook of Development Economics 2007 года. Отсюда взяты определения оценки по намерению лечить, оценки Вальда и локального среднего эффекта, а также дословная оговорка о том, что оцениваемый средний причинный эффект не обязательно представителен для всей популяции. Отдельный разбор посвящён случаю, когда делить нельзя: на примере кенийской дегельминтизации показано, что оценка Вальда завысит эффект на пролеченных, а смещение раздувается делением на число меньше единицы. |
| Miguel E, Kremer M, Econometrica | 2004 | Кластерное испытание со ступенчатым введением программы: 75 сельских начальных школ округа Бусиа в западной Кении, три группы по двадцать пять, больше тридцати тысяч учеников от шести до восемнадцати лет, 1998 и 1999 годы. Исход посещаемости означает присутствие ребёнка в школе при внезапном визите сотрудника организации. Соблюдение назначения: в 1999 году таблетки получили около 72 % девочек младше тринадцати и всех мальчиков, учившихся хотя бы часть года (73 % в первой группе, 71 % во второй), примерно 57 % от когорты начала 1998 года, 9 % девочек тринадцати лет и старше и 5 % учеников контрольных школ. Умеренно-тяжёлая заражённость у непролеченных составила 34 % против 55 %, у пролеченных 24 % против 51 %. Авторы прямо пишут, что назначение в лечебную школу нельзя брать инструментом для фактического лечения. Судьба: дважды переанализирована по заказу стороннего фонда, формальной поправки нет до сих пор. |
| Davey C, Aiken AM, Hayes RJ, Hargreaves JR, статистическая репликация тех же данных по стандартам CONSORT, International Journal of Epidemiology | 2015 | Статистическая репликация: те же данные кенийской дегельминтизации, другие заранее объявленные методы. Отсюда взяты охваты, посчитанные от тех, кому лечение полагалось: 75 школ по 25 в группе, 10 612, 10 752 и 10 081 зарегистрированный ученик, из которых лечить полагалось всех мальчиков и девочек младше тринадцати лет. В первый год лечение получили 6 616 детей первой группы (72,1 %), во второй год получили 4 516 первой группы (52,1 %) и 4 159 второй (47,5 %), плюс 91 ученик контрольной группы. Это другой знаменатель, чем у исходной работы, и совпадение чисел «72» на разных годах остаётся совпадением, а не одной величиной. |
| Banerjee A, Duflo E, Glennerster R, Kinnan C, American Economic Journal: Applied Economics | 2015 | Кластерное рандомизированное испытание в бедных кварталах Хайдарабада: 104 квартала, в 52 выбранных жребием открылись отделения кредитора Spandana. Объём: 6 862 домохозяйства на первом замере через пятнадцать-восемнадцать месяцев. Первая ступень: заём у кредитора исследования +12,7 процентного пункта (стандартная ошибка 2,0) при контроле 5,1 %. Заём хотя бы у одной микрофинансовой организации +8,4 пункта (ошибка 2,7) при контроле 18,3 %, то есть 26,7 % в группе предложения против 80 %, которых ждал кредитор. Потребление на человека в месяц +10,24 рупии 2007 года при контроле 1 419, девяностопроцентный интервал от −52 до +72. В пересчёте на взявших это 122 рупии с интервалом от −613 до +857, то есть от падения на 43 % до прироста на 60 %. |
| Banerjee A, Karlan D, Zinman J, American Economic Journal: Applied Economics, введение выпуска | 2015 | Сводное введение к выпуску из шести рандомизированных испытаний микрокредита: шесть стран на четырёх континентах, город и село, разные кредиторы и разные продукты. Отсюда взяты единицы жеребьёвки и охваты в группе предложения: 1 196 индивидуальных заявителей в Боснии при стопроцентном охвате, 133 крестьянских объединения в Эфиопии при 31 %, 104 квартала в Индии при 18 %, 238 кластеров в Мексике при 19 %, 40 деревень в Монголии при 57 % на групповом займе и 50 % на индивидуальном, 162 деревни в Марокко при 17 %. Условия займа сведены той же таблицей: в Индии заём на двенадцать месяцев под 24 % годовых с еженедельным платежом. |
| Crépon B, Devoto F, Duflo E, Parienté W, American Economic Journal: Applied Economics | 2015 | Кластерное рандомизированное испытание в сельском Марокко: 162 деревни, разбитые на 81 пару похожих, 4 465 домохозяйств на базовом опросе, 24 месяца от начала работы отделения. Особенность дизайна прямо отвечает на низкий охват: авторы заранее опросили по сто случайных домохозяйств в каждой деревне, оценили склонность взять заём и набрали выборку с перевесом вероятных заёмщиков. Охват вышел 17 % в этой подвыборке и 13 % по всему населению деревень при нулевом охвате в контроле. Собственный вывод авторов: разница между средним домохозяйством и «вероятным» заёмщиком мала, и это показывает, насколько трудно предсказать, кто возьмёт микрокредит. |
Что подтвердилось, а что нет
Числа взяты из таблицы 2 введения выпуска шести испытаний: Марокко 13 % по населению деревень и 17 % в подвыборке вероятных заёмщиков, Индия 18 %, Мексика 19 %, Эфиопия 31 %. В Хайдарабаде первая ступень напечатана со стандартными ошибками: заём у кредитора исследования +12,7 процентного пункта (ошибка 2,0) при контроле 5,1 %, заём хотя бы у одной микрофинансовой организации +8,4 пункта (ошибка 2,7) при контроле 18,3 %. Два испытания в этот диапазон не входят: в Монголии, где разыгрывали 40 деревень, охват вышел 57 % и 50 % на двух плечах. В Боснии разыгрывали не приход кредитора, а одобрение уже поданной заявки, и охват был стопроцентным. Это первый результат всей программы испытаний, полученный до всякого измерения исходов.
Кредитор в Хайдарабаде рассчитывал на 80 %, а заём хотя бы у одной микрофинансовой организации взяли 26,7 % домохозяйств, через пятнадцать-восемнадцать месяцев после открытия отделения, на выборке 6 862 домохозяйства. У самого кредитора исследования заём был у 17,8 %. В работе это записано дословно: не те 80 процентов, которых ждала Spandana. Там, где приход кредитора разыгрывали жребием, охват в группе предложения шёл от 13 до 31 процента. Марокканская работа заранее отобрала вероятных заёмщиков по опросу ста случайных домохозяйств на деревню и подняла охват только с 13 до 17 %. Отказ при этом относится к конкретному продукту с конкретной ценой и сроком, а не к кредиту вообще.
Число верно только вместе со знаменателем и годом, а знаменателей здесь два. Исходная работа: около 72 % в 1999 году среди девочек младше тринадцати и всех мальчиков, учившихся хотя бы часть года, то есть 73 % в первой группе и 71 % во второй. Статистическая репликация: 72,1 % в 1998 году от всех, кому лечение полагалось, то есть 6 616 детей первой группы. Совпадение чисел на разных годах остаётся совпадением, а не одной величиной. Во второй год та же доля составила 52,1 % и 47,5 %. От когорты начала 1998 года выходит около 57 %. У девочек тринадцати лет и старше, которых лечить не собирались, она равна 9 %. В контрольных школах лечение получили 5 % учеников.
Оценка Вальда даёт эффект у тех, чьё участие изменило само предложение, то есть у комплаеров. Те, кто лечился бы и без испытания, в разность долей не входят: в Хайдарабаде это 18,3 % контрольной группы, бравшие заём и так. Методическое пособие поля сопровождает эту оценку дословной оговоркой: оцениваемый средний причинный эффект не обязательно представителен для среднего причинного эффекта во всей популяции, и те, кого исследование побудило принять вмешательство, могут отличаться от тех, кто уже им пользовался. Состав комплаеров в испытании не наблюдается, поимённо их не выписать, и потому направление отличия остаётся неизвестным.
Термины
- намерение лечитьintention to treat
- Сравнение всех, кому вмешательство предложили, со всеми, кому не предлагали, независимо от того, приняли ли они предложение. Ничьих намерений не описывает, несмотря на название. Это та величина, которую рандомизация даёт напрямую, и она же остаётся верной оценкой действия программы вместе с её неполным исполнением.
- охватtake-up
- Доля тех, кто фактически получил вмешательство, среди тех, кому его предложили. Без названного знаменателя, года и замера она не число: у одного и того же испытания долей соблюдения бывает несколько, и они различаются вдвое.
- знаменатель долиdenominator
- Множество, к которому доля относится: все зарегистрированные, все имеющие право, все учившиеся хотя бы часть года, все дошедшие до замера. Две доли с разными знаменателями нельзя ни сравнивать, ни вычитать одну из другой, даже когда единица у них общая.
- оценка ВальдаWald estimator
- Оценка по намерению лечить, делённая на разность долей получивших вмешательство в группе предложения и в контроле. Когда в контроле не лечится никто, даёт эффект на пролеченных. Делится не только точка: края интервала делятся на то же число, поэтому маленький разрыв охвата растягивает неточность во столько же раз, во сколько увеличивает оценку.
- комплаерыcompliers
- Те, чьё участие определило само предложение: приняли, потому что предложили, и не приняли бы, если бы не предлагали. От уже пользовавшихся вмешательством и от тех, кого побудила бы другая мера, они могут отличаться. Поимённо в испытании не наблюдаются, и состав их остаётся неизвестным.
- локальный средний эффектlocal average treatment effect
- Величина, которую даёт оценка Вальда: средний эффект у комплаеров. Слово «локальный» относится не к месту, а к подмножеству людей. На всю популяцию эта оценка не переносится, и предупреждение об этом стоит в самом методическом пособии поля.
- инструментальная переменнаяinstrumental variable
- Переменная, которая влияет на объясняющую величину и при этом не действует на исход никаким другим путём. Ею пользуются там, где саму объясняющую величину жребием не разыграешь: в дело идёт та часть её изменчивости, которую создаёт инструмент. Всё держится на допущении об отсутствии других путей, а проверить это допущение данными нельзя.
- отсутствие взаимного влиянияSUTVA
- Предположение, что исход одного человека не зависит от того, кого ещё лечили или включили в программу. Нарушается там, где участники заражают друг друга, торгуют между собой или делят один рынок. В кенийской дегельминтизации нарушено измеримо: непролеченные дети лечебных школ болели реже.
Практикум · Найти знаменатель у одной доли соблюдения
Полчаса и одна работа, в которой программу кому-то предложили. Годится испытание, отчёт об оценке или обзорная статья с числами. Считать здесь придётся, но немного: всё нужное сводится к одному делению и трём вопросам к тексту.
- Найдите абзац о том, сколько людей получили вмешательство в каждой группе, и выпишите обе доли вместе со знаменателями: кого разделили на кого.
- Проверьте, к какому году и к какому замеру относится каждая доля. Если долей в работе несколько, выпишите их все: в кенийском испытании их четыре на два года.
- Посчитайте разрыв охвата как разность двух долей и запишите, во сколько раз деление на него увеличит любую оценку и её ошибку.
- Найдите головную оценку работы и определите, какая из двух величин напечатана: по намерению лечить или на взявших. Если вторая, посмотрите, названа ли рядом первая.
- Спросите последнее: есть ли путь от назначения к исходу мимо собственного участия человека. Если участники живут рядом, торгуют между собой или заражают друг друга, запишите это как причину не делить.
Вопросы для самопроверки
В испытании программу предложили всем школам одной группы, а таблетки получили 72 % детей. Какую величину жребий даёт напрямую?
- Эффект у тех детей, кто таблетку действительно получил: остальные из расчёта выпадают
- Эффект у тех, кто принял бы таблетку при любом раскладе: именно эта группа в испытании и наблюдается по фамилиям
- Сравнение всех, кому программу предложили, со всеми, кому не предлагали, независимо от того, приняли ли предложение
- Никакой: при неполном охвате рандомизация оснований для счёта ошибки не даёт, и оценивать приходится наблюдением за принявшими
Оценку по намерению лечить делят на разрыв охвата в 8,4 процентного пункта. Что происходит с интервалом вокруг неё?
- Он растягивается почти в двенадцать раз: края делятся на то же число, что и оценка
- Он сужается: деление на долю меньше единицы уменьшает разброс вместе с оценкой
- Он не меняется: делится только точечная оценка, а интервал переносится как есть
- Он растягивается, но лишь при разрыве меньше пяти пунктов. При восьми пунктах прибавка к ширине пренебрежимо мала
В работе доля пролеченных детей записана как 72 %, а в перепроверке тех же данных стоит 72,1 %. Что это значит?
- Что перепроверка уточнила исходное число до десятых долей процента
- Что в исходной работе число округлили, и всё различие объясняется округлением
- Что доли посчитаны по разным школам: перепроверка работала с частью выборки, а не со всеми семьюдесятью пятью
- Что это две разные доли: разные знаменатели и разные годы, а совпадение цифр случайно
Почему в кенийской дегельминтизации нельзя делить эффект на долю получивших таблетки?
- Потому что доля получивших известна неточно, а делить на неточное число не принято
- Потому что непролеченные дети тех же школ выигрывали от лечения соседей по парте
- Потому что таблетки достались и части учеников контрольных школ, а при ненулевом контроле деление запрещено
- Потому что программа приходила очередями, и вторая группа успела получить таблетки до конца наблюдения
Охват в группе предложения оказался 13 %. Какой вывод отсюда сделать нельзя?
- Что оценка на взявших обопрётся на маленький разрыв и выйдет неточной
- Что предложенный продукт людям не нужен и что они не понимают его пользы
- Что величина по намерению лечить остаётся верной оценкой действия программы
- Что состав принявших предложение в самом испытании не наблюдается
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Duflo E., Glennerster R., Kremer M. «Using Randomization in Development Economics Research: A Toolkit». NBER Technical Working Paper 333, 2006: Рабочий документ открыт, а опубликованная версия вышла главой в Handbook of Development Economics 2007 года. Читать стоит подряд §§ 6.2 и 6.2.2: в первом определены намерение лечить, оценка Вальда и комплаеры, во втором разобран единственный случай, когда делить нельзя. Оговорка о представительности лежит не в определении, а абзацем ниже.
- Miguel E., Kremer M. «Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities». Econometrica, 2004, 72(1):159-217: Авторская копия открыта на личной странице Эдварда Мигеля в Беркли, журнальная версия закрыта. Про соблюдение назначения здесь несколько абзацев в разных местах, и доли в них считаются от разных множеств. Отдельно стоит найти прямое признание авторов: назначение в лечебную школу нельзя брать инструментом для фактического лечения.
- Davey C., Aiken A.M., Hayes R.J., Hargreaves J.R. «Re-analysis… a statistical replication of a cluster quasi-randomized stepped-wedge trial». International Journal of Epidemiology, 2015, 44(5):1581-1592: Открыта полностью в PMC (PMC4681108). Ценна тем, что охват здесь пересчитан от всех зарегистрированных учеников и напечатан абсолютными числами детей по годам и группам. Полезно положить рядом с исходной работой и сверить знаменатели: это самый короткий способ увидеть, откуда берутся два разных «семьдесят два».
- Banerjee A., Duflo E., Glennerster R., Kinnan C. «The Miracle of Microfinance? Evidence from a Randomized Evaluation». American Economic Journal: Applied Economics, 2015, 7(1):22-53: Открытая копия лежит в депозите MIT DSpace и совпадает с журнальной вёрсткой. Первая ступень напечатана таблицей, и в ней две разные строки: заём у кредитора исследования и заём у какой-нибудь микрофинансовой организации. Интервал на взявших стоит в сноске, а не в таблице, и без него величину 122 рупии читать нельзя.
- Crépon B., Devoto F., Duflo E., Parienté W. «Estimating the Impact of Microcredit on Those Who Take It Up: Evidence from a Randomized Experiment in Morocco». American Economic Journal: Applied Economics, 2015, 7(1):123-150: Читать стоит описание выборки: это единственное испытание выпуска, где вероятных заёмщиков пытались вычислить заранее, чтобы поднять мощность. Собственный вывод авторов об этой попытке спрятан в середине текста и звучит скромнее замысла.