Исполнитель программы: те же руки или чужие
Один контракт, одна страна, один год. И ноль там, где нанимает министерство
Кенийское испытание контрактных учителей разыграло не контракт, а нанимателя: один договор в 192 школах исполняли министерство и некоммерческая организация. У организации балл учеников вырос на 0,184 σ, у государства вышло минус 0,022, а разница значима только с поправкой на базовый уровень школ, и авторы пишут это сами. Механизмы измерены: задержки жалованья около трёх месяцев у государства против двух и политический конфликт вокруг реформы найма.
Bold, Kimenyi, Mwabu, Ng'ang'a, Sandefur 2018 · Duflo, Dupas, Kremer 2015 · Muralidharan, Sundararaman 2013 · Duflo, Hanna, Ryan 2012 · 29 мин · обновлено 24.09.2026
После урока вы сможете
- Называть, что именно разыгрывали жребием в кенийском испытании контрактных учителей
- Воспроизводить оговорку авторов о спецификации без поправки на базовый уровень
- Объяснять, как внешнюю регистрацию явки обошли за восемнадцать месяцев и кто её обошёл
- Различать исход, которым меряют, и исход, за который платят
- Раскладывать слово «исполнитель» на измеренные части вместо оценки намерений
В 2009 году правительство Кении объявило программу найма, которая должна была дать школам 18 000 учителей на срочных контрактах. Внутри этой программы поставили опыт. Взяли 192 государственные начальные школы, по 24 из каждой из восьми провинций, в 14 округах. Разделили их на три равные части по 64 школы.
Одна треть осталась без дополнительного учителя. Второй трети контрактного учителя дало Министерство образования. Третьей дали того же контрактного учителя, но нанятого и координируемого местным отделением международной некоммерческой организации. Условия договора были одинаковые: жребий решал не то, будет ли в школе лишний учитель, а кто его нанимает, платит ему и надзирает за ним.
Оценка по намерению лечить (та, что считает все школы, которым учитель был назначен, независимо от того, доработал ли он до конца) вышла 0,184 σ (СО 0,088) в плече организации и −0,022 (0,090) в плече государства. Разница значима на десятипроцентном уровне в одной спецификации и на пятипроцентном в другой: вероятность равенства двух плеч 0,086 и 0,037. Мерили нормированный балл по математике и английскому у учеников 3-4 классов. В регрессию вошли 174 школы и 8 220 наблюдений итогового замера, а сама программа шла с июня 2010 по октябрь 2011 года.
У этой пары чисел есть оговорка, и напечатали её сами авторы. В третьем расчёте, где на базовый уровень школы не поправляли вовсе, разница между плечами не значима. Этот урок о том, что здесь бросали жребием, и о том, из чего собирается слово «исполнитель».
Что здесь бросали жребием
Испытания обычно разыгрывают вмешательство: одним досталось, другим нет. Здесь разыграли ещё и того, кто вмешательство проводит. Контракт был один и тот же: срочный, вне штатной службы, с оплатой заметно ниже штатной. Различался наниматель, и это единственное различие, введённое жребием.
Замеры устроены так. Базовое обследование прошло в июле-августе 2009 года, а экзамены для него разработали вместе с национальной экзаменационной комиссией Кении. Итоговый замер сделали в октябре 2011-го. Всего протестировано около 15 000 учеников. Базовое обследование удалось провести в 176 школах из 192: до шестнадцати не доехали по транспортным и охранным причинам.
Отбор школ был случайным не на всех этапах, и работа это называет. Округа внутри провинций выбирали не жребием, отчасти по расположению офисов организации-партнёра. Школы, где на одного учителя приходилось учеников меньше медианы, из выборки исключили. Уже внутри оставшегося круга школы отбирали случайно, а перед жребием подбирали в тройки по сходству.
В предыдущем уроке авторы пяти индийских испытаний отвергли объяснение «государственные учителя против волонтёров». Их довод: летний лагерь в Бихаре вели государственные школьные учителя, и он сработал. Кенийская работа проверяет не того, кто стоит у доски, а того, кто нанимает и платит. Это разные вопросы, и ответы на них совпадать не обязаны.
Три предшественника
Контрактный учитель к 2010 году был не гипотезой. В Западной Кении его проверяли раньше, в другом испытании: из 140 школ 70 получили деньги на одного контрактного учителя и обязались открыть вторую секцию первого класса. Детей и учителей по секциям распределяли жребием. Программа шла с мая 2005 по ноябрь 2006 года, пять триместров, из них 15 месяцев занятий.
Результат там разошёлся внутри одной и той же школы. У детей, попавших к контрактному учителю, балл оказался выше на 0,294 σ (СО 0,105). У оставшихся со штатным на 0,087 σ (0,098), и это неотличимо от нуля. Вероятность равенства двух величин 0,002. Считано на 6 533 наблюдениях итогового замера в 139 школах. Исходом был стандартизованный балл по математике и грамоте.
То же испытание в кенийской работе 2018 года процитировано как 0,19 σ, и это не противоречие. Первое число относится к классу, которому достался контрактный учитель, второе ко всей параллели школы. Единица анализа разная, и вопросы разные. Смешивать их нельзя, а выбирать между ними не нужно. Ниже то же число встретится ещё раз и в другом смысле, как головная оценка самой работы 2018 года. Совпадение здесь такое же случайное, как «семьдесят два процента» в седьмом уроке.
Третья проверка шла в Индии. В 100 случайно выбранных государственных сельских начальных школах Андхра-Прадеш нанимали дополнительного контрактного учителя, и за два года балл вырос на 0,16 σ по математике и 0,15 по языку. Отсутствовали контрактные учителя в 18 % внезапных визитов против 27 % у штатных, при заметно меньшей оплате. Работа осталась рабочим документом NBER: рецензирования эта версия не проходила.
В кенийском испытании 2005-2006 годов измерили и то, как контрактных учителей нанимали. Около трети из них оказались родственниками штатных учителей той же школы, и их ученики научились меньше прочих. Девяностоминутное обучение школьного комитета сократило вдвое и эту разницу, и падение усилий штатного учителя. Платили контрактному 2 500 кенийских шиллингов в месяц, примерно четверть обычного жалованья.
Три расчёта и одна оговорка
Оценок в таблице не одна, а три, и посчитаны они по одним и тем же данным. Различаются они тем, на что поправляли. В первом столбце в модель добавлен базовый балл школы, во втором школьные фиксированные эффекты, в третьем нет ни того ни другого. Такой набор решений называется спецификацией, и величина зависит от него законно.
Плечо организации даёт 0,184 (СО 0,088), 0,175 (0,091) и 0,162 (0,116). Плечо государства: −0,022 (0,090), 0,021 (0,095) и 0,081 (0,110). Вероятности равенства двух плеч: 0,086, 0,037 и 0,518. То есть в чистом срезе, без поправки на базовый уровень, различить исполнителей не удаётся, и авторы пишут это прямым текстом.
Пятый и шестой уроки считали на этом же испытании порог обнаружения. При внутриклассовой корреляции 0,33 в итоговых тестах минимально обнаружимый эффект на одну ветвь вышел около 0,26 σ, и обе найденные оценки меньше него. Авторы пишут прямо, что для эффектов такой величины схема недостаточно мощна. Оговорка о расчётах растёт отсюда же. Поправка на базовый балл школы снимает часть разброса между школами, и разница между плечами становится различимой, а без такой поправки прибор её не берёт.
Оценки с инструментальной переменной (числом месяцев, которые контрактный учитель реально проработал) идут в ту же сторону. Там 0,238 (0,113), 0,225 (0,116) и 0,209 (0,160) у организации против 0,030 (0,130), −0,032 (0,134) и 0,116 (0,158) у государства. Во всех столбцах те же 174 школы и 8 220 наблюдений.
Различия самих учителей объясняют этот разрыв мало, как сказано в аннотации журнальной версии. Возраст, образование и стаж у двух плеч похожи. Значит, дело не в том, что организация набрала людей получше.
Головная оценка менялась от версии к версии. В рабочем документе 2013 года, где работа называлась иначе, она напечатана как 0,15-0,18 σ. В авторской версии ноября 2016 года это уже три столбца: 0,184, 0,175 и 0,162. В журнальной аннотации 2018 года стоит 0,19 σ у организации и ноль у министерства. Числа этого урока взяты из рабочих версий: у издателя текст закрыт. Расходится не только головная оценка: доля учителей плеча организации, считавших профсоюз своим представителем, напечатана как 14 % в одной рабочей версии и 15 % в другой.
Три измеренных механизма
Почему разошлось, авторы не угадывали. Они измерили три вещи. Первая: задержки жалованья. В государственном плече они были в среднем около трёх месяцев, в плече организации около двух. Из всех промежуточных показателей значимо и отрицательно с приростом баллов связаны только они.
Вторая: политический конфликт вокруг самой реформы найма. Профсоюз учителей вёл против неё судебную и политическую борьбу: иск задержал исполнение больше чем на год, были уличные протесты в центре Найроби и двухдневная общенациональная забастовка. Требование было одно: постоянная государственная служба и профсоюзная оплата для всех контрактных учителей. К июню 2011 года, за четыре месяца до конца оценки, правительство согласилось принять их в штат по окончании контрактов.
Третья: как всё это дошло до самих учителей. В плече организации считали профсоюз своим представителем 14 % опрошенных, в государственном плече почти 40 %. Разница в баллах между учителем, чувствовавшим себя представленным, и тем, кто так не считал, почти в точности покрывает разницу между плечами. Авторы тут же пишут, что это всего лишь корреляции.
Школы государственного плеча получали к тому же меньше визитов надзора. Ни одно из этих измерений не говорит о нерадивости. Одинаковые слова договора в двух плечах понимались по-разному, и понимание менялось по ходу дела: к концу оценки контракт в государственном плече означал уже не то, что в начале, потому что работавшим по нему пообещали штатные места.
Авторы отдельно пишут, чего из их работы не следует: она не означает, что успешные испытания с исполнителем-организацией не могут быть развёрнуты государством. Встречный пример они называют сами: массовые кампании дегельминтизации, выросшие из кенийской работы 1998-1999 годов. Есть и симметричная граница: организация, давшая здесь эффект, работает лишь в малой части округов Кении, то есть страны у неё нет. И третье, что они подчёркивают: рандомизированное испытание тут применено ровно к тому вопросу переносимости, который методу ставят в упрёк.
Фотоаппарат в Раджастхане
Второй случай проще и старше. В 60 из 120 однокомнатных школ, которые вела в племенных деревнях Удайпура индийская некоммерческая организация, учителю выдали фотоаппарат с несбиваемой датой и временем. Ребёнок фотографировал учителя с классом в начале и в конце дня. Валидным считался день, где между снимками прошло не меньше пяти часов и на обоих было не меньше восьми детей.
Жалованье считали прямо от числа валидных дней, и оно ходило от 500 до 1300 рупий. В школах сравнения платили фиксированную тысячу и предупреждали об увольнении за прогулы. Предупреждение почти не применялось. Программа началась в сентябре 2003 года и шла 18 месяцев. Явку в обеих группах мерили одинаково: одним необъявленным визитом в месяц.
В опубликованной версии результат такой: отсутствие учителя в программной группе на 21 п. п. ниже, чем в контрольной, а балл детей выше на 0,17 σ. В рабочей версии та же пара напечатана иначе: 22 % против 42 % при базовом уровне 44 %. Присутствовали лучше чем в девяти визитах из десяти 36 % программных учителей против 1 % в школах сравнения. Крайняя форма (отсутствие больше половины дней) в программных школах исчезла.
Важно и то, чего не произошло. Когда школа была открыта, застать учителя за уроком было одинаково вероятно в обеих группах: учили не иначе, а чаще, на 54 детодня в месяц больше. Посещаемость детей не изменилась, а в обычные школы их стали принимать на 40 % чаще. Отсутствие осталось низким и после конца оценочной фазы, так что на любопытство к наблюдателю это не спишешь.
И одна вещь, которую пересказы теряют всегда. Это были не государственные школы, а неформальные однокомнатные школы некоммерческой организации в племенных деревнях. Учителя там нанимала и увольняла она же, и весь надзор помещался внутри одной организации. Что бывает с этим приёмом в государственной системе, проверили отдельно, и в том же округе.
Фраза «прогулы упали с 44 % до 21 %» смешивает базу с разностью, и таких чисел в работе не два, а четыре. Базовый уровень отсутствия до программы 44 %. Контрольная группа за те же 18 месяцев 42 %. Программная группа 22 %. Разность между группами в опубликованной версии 21 п. п. Правильных форм ровно две: «22 % против 42 % в контроле» по рабочей версии или «на 21 п. п. ниже контроля» по журнальной. Смешивать базу с контролем нельзя: первая величина говорит, как было до, вторая как было бы без программы.
Тот же округ, государственные медпункты
Проверку сделали те же исследователи. Место Удайпур, тот же округ. Вместо школ государственные субцентры и медпункты, вместо учителей медсёстры. Приём был тот же: внешняя регистрация явки и санкции за отсутствие. Сколько было медпунктов, в добытой части базы курса не названо, а длилось наблюдение 18 месяцев.
Начало вышло убедительным. Система, пишут авторы, поначалу была чрезвычайно действенной, и отсюда их вывод: медсёстры отзывчивы к денежным стимулам. Через несколько месяцев местная администрация здравоохранения стала подрывать схему изнутри. Медсёстрам позволяли заявлять всё большее число освобождённых дней, то есть дней, которые засчитываются как рабочие без присутствия.
Через 18 месяцев после начала программа стала полностью недействующей. Нарушения при этом не понадобились: освобождённый день это законная категория. Обошли схему не работники, а система проверки, и обошли сверху. Авторы индийских школьных испытаний ссылаются на этот случай прямо: долгосрочных эффектов на явку в государственных медпунктах не было, потому что персонал и надзирающие пользовались лазейками в проверке.
За что платят и чем меряют
Третий сюжет не про исполнителя, а про измерение, и он объясняет предыдущие два. В Андхра-Прадеш взяли 300 государственных сельских начальных школ: сто с групповым бонусом, сто с индивидуальным и сто контрольных. Отдельно шли ветви с дополнительными ресурсами. Бонус составлял в среднем 3 % годовой оплаты. Испытание шло два года.
В школах со стимулами балл за два года оказался выше на 0,27 σ по математике и 0,17 по языку. Авторы пишут, что вредных последствий не нашли, и что школы со стимулами обошли случайно выбранные школы, получившие дополнительные ресурсы на ту же сумму. Ключ к этой фразе лежит в устройстве измерения: платили по одному тесту, а исход мерили другим, независимым от формулы оплаты.
Кенийское испытание того же приёма устроено иначе. Взяли 50 школ из тех же ста в округах Бусиа и Тесо, а наблюдали три года: два программных и один после конца программы. Учителям давали награду по формуле от баллов учеников, со штрафом за неявившихся на экзамен. Баллы выросли ровно там, где стояли в формуле: на входивших в неё экзаменах и не выросли на прочих, не связанных с наградой. Выросли также явка на экзамен среди зачисленных и число подготовительных занятий. Отсев, явка учителей и заданные домашние работы не изменились. И одну особенность дизайна надо назвать: группа сравнения там была не чистой. Другие 50 школ в те же годы участвовали в программе для дошкольных учреждений.
Разрешить это расхождение нельзя, и выбирать удобное тоже. Объёмы у двух испытаний сравнимы: 300 школ за два года против 50 школ за три. Сказать точно можно другое: одно испытание мерило исход независимо от формулы оплаты, второе самой формулой, а группа сравнения у второго была занята другой программой. Различие здесь в приборе, а не в стране.
Исполнитель как измеренная величина
Есть и третий способ посмотреть на исполнителя: свод чужих оценок. Работа 2020 года собрала результаты оценок воздействия и нашла большой разброс величин. Один источник разброса назван прямо: программы, исполненные государством, дают меньшие эффекты, чем исполненные исследователями или некоммерческими организациями, и это остаётся верным при контроле на размер выборки.
Полного текста этой работы в базе курса нет, поэтому в урок идёт направление, а не величина. И у неё есть ограничение, которое надо назвать. Это сводка наблюдений о работах, а не опыт над исполнителями: организации могут браться за задачи полегче. Размер выборки автор контролирует, а трудность задачи нет.
Складывать три источника в лозунг не стоит. Летний лагерь в Бихаре вели государственные учителя, и он сработал. Организация, давшая эффект в Кении, работает лишь в малой части её округов. Слово «исполнитель» в этих работах разложено на измеримые части: срок выплаты жалованья, число визитов надзора, чьим представителем работник считает профсоюз, ширина лазейки в системе проверки. Это величины, а не характеры.
Мерили нормированный балл по математике и английскому у учеников 192 кенийских школ с июня 2010 по октябрь 2011 года. Из этой пары чисел не следует, кому передавать программу, потому что решение требует того, чего в измерении нет. Того, кто будет исполнять её в другом месте: здесь сравнили одного нанимателя с другим в одной стране и в один год. Того, что станет с 18 000 рабочих мест и с людьми, которые их занимают: испытание мерило баллы детей, а не судьбу учителей. И того, что бывает с организацией, работающей в малой части округов, если отдать ей страну целиком. Принимают такое решение те, кто отвечает за наём и за бюджет этой системы, и на этом курс останавливается. Испытание говорит, что случилось в этом месте при этих условиях. Что из этого делать: решение, а не измерение, и курс его не принимает.
Что дальше
Из урока стоит унести три вещи. Контракт не вмешательство: одинаковые слова договора у двух нанимателей означали разное, и это измерено, а не предположено. Исполнитель не оговорка в конце статьи, а величина с названными частями, у каждой из которых есть число. И третье: если платят по тому же измерению, которым меряют исход, результат читается как рост этого измерения, а не как рост умения.
Модуль о школе на этом кончается. Следующий берёт другой предмет: деньги, которые бедным домохозяйствам дают в долг и просто так. Начинается он с кредитора, который рассчитывал, что заём возьмут восемь семей из десяти.
Ключевые работы
| Bold T, Kimenyi M, Mwabu G, Ng'ang'a A, Sandefur J, Journal of Public Economics | 2018 | Рандомизированное испытание, встроенное в общенациональную программу найма контрактных учителей в Кении. Объём: 192 государственные начальные школы, по 24 из каждой из восьми провинций, 14 округов. 64 контроль, 64 контрактный учитель от Министерства образования, 64 тот же учитель под координацией местного отделения международной организации World Vision Kenya. Контракты одинаковые, жребий решал нанимателя. Период: с июня 2010 по октябрь 2011. Базовое обследование в июле-августе 2009 в 176 школах из 192. Протестировано около 15 000 учеников, в регрессиях 174 школы и 8 220 наблюдений. Исход: нормированный балл по математике и английскому у учеников 3-4 классов. Оценка по намерению лечить: 0,184 (СО 0,088), 0,175 (0,091) и 0,162 (0,116) в плече организации против −0,022 (0,090), 0,021 (0,095) и 0,081 (0,110) в плече государства. Вероятности равенства плеч 0,086, 0,037 и 0,518. Механизмы измерены: задержки жалованья около трёх месяцев против двух, меньше визитов надзора, 14 % против почти 40 % считающих профсоюз своим представителем. |
| Duflo E, Dupas P, Kremer M, Journal of Public Economics | 2015 | Рандомизированное испытание найма контрактного учителя в Западной Кении. Объём: 140 школ, 70 из них получили деньги на одного контрактного учителя и обязались открыть вторую секцию первого класса. Дети и учителя по секциям распределялись жребием. 34 школы дополнительно получили обучение школьного комитета. Период: с мая 2005 по ноябрь 2006, пять триместров, из них 15 месяцев занятий. Протестировано около 8 000 учеников, в регрессиях итогового замера 6 533 наблюдения в 139 школах. Исход: стандартизованный балл по математике и грамоте. У детей, попавших к контрактному учителю, 0,294 σ (СО 0,105). У оставшихся со штатным 0,087 σ (0,098), вероятность равенства 0,002. Около трети контрактных учителей оказались родственниками штатных, и их ученики научились меньше. Девяностоминутное обучение школьного комитета сократило это вдвое. Оплата контрактного: 2 500 кенийских шиллингов в месяц, примерно четверть обычной. |
| Muralidharan K, Sundararaman V, контрактные учителя в Андхра-Прадеш, рабочий документ NBER | 2013 | Рандомизированное испытание дополнительного контрактного учителя в 100 случайно выбранных государственных сельских начальных школах Андхра-Прадеш, репрезентативная выборка, наём расширяли в существующем виде. Длительность два года. Исход: баллы по математике и языку. Балл в школах с дополнительным контрактным учителем выше на 0,16 и 0,15 σ. Контрактные учителя отсутствовали в 18 % внезапных визитов против 27 % у штатных, при заметно меньшей оплате. Рабочий документ NBER 19440. Рецензирования эта версия не проходила, журнальная в базу курса не добыта. |
| Duflo E, Hanna R, Ryan SP, American Economic Review | 2012 | Рандомизированное испытание внешней регистрации явки учителя. Объём: 60 из 120 неформальных однокомнатных школ некоммерческой организации в племенных деревнях Удайпура, Раджастхан. 60 школ сравнения. Распределение жребием. Учителю выдавали фотоаппарат с несбиваемой датой. Валидный день: снимки не меньше чем через пять часов и не меньше восьми детей на обоих. Жалованье считали от числа валидных дней, от 500 до 1300 рупий, в школах сравнения фиксированная тысяча. Начало сентябрь 2003, длительность 18 месяцев. Явку мерили одним необъявленным визитом в месяц. Отсутствие в программной группе на 21 п. п. ниже контроля, балл детей выше на 0,17 σ. Рабочий документ NBER 11880 печатает ту же пару как 22 % против 42 % при базовом уровне 44 %, а также 36 % против 1 % учителей с присутствием лучше девяти визитов из десяти. |
| Banerjee AV, Duflo E, Glennerster R, Journal of the European Economic Association | 2008 | Разбор судьбы того же приёма внешней регистрации явки в государственных субцентрах и медпунктах Удайпура, того же округа, но не школах и с медсёстрами вместо учителей. Число учреждений в добытой части базы курса не названо. Наблюдение шло 18 месяцев, исход: явка работника. Поначалу система была чрезвычайно действенной, и авторы делают отсюда вывод, что медсёстры отзывчивы к денежным стимулам. Затем местная администрация здравоохранения подорвала схему изнутри, позволяя заявлять всё большее число освобождённых дней. Через 18 месяцев программа стала полностью недействующей. |
| Muralidharan K, Sundararaman V, бонус учителям за результат, Journal of Political Economy | 2011 | Рандомизированное испытание оплаты учителям по результату. Объём: 300 государственных сельских начальных школ Андхра-Прадеш, сто с групповым бонусом, сто с индивидуальным, сто контрольных. Отдельно ветви с дополнительными ресурсами на сопоставимую сумму. Бонус в среднем 3 % годовой оплаты, длительность два года. Исход мерили тестами, независимыми от формулы оплаты: балл в школах со стимулами выше на 0,27 σ по математике и 0,17 по языку. Вредных последствий авторы не нашли, а школы со стимулами обошли школы с дополнительными ресурсами. |
| Glewwe P, Ilias N, Kremer M, American Economic Journal: Applied Economics | 2010 | Рандомизированное испытание награды учителям начальных школ Кении по формуле от баллов учеников, со штрафом за неявившихся на экзамен. Объём: 50 школ из тех же ста школ округов Бусиа и Тесо. Распределение систематическое: в программу шли школы с нечётными номерами. Длительность: два программных года плюс замер третьего года, после конца программы. Группа сравнения не была чистой: другие 50 школ в те же годы участвовали в программе для дошкольных учреждений. Баллы выросли на экзаменах, входивших в формулу награды, и не выросли на прочих, с ней не связанных. Выросли также явка на экзамен среди зачисленных и число подготовительных занятий. Отсев, явка учителей и заданные домашние работы не изменились. |
| Vivalt E, Journal of the European Economic Association | 2020 | Свод результатов оценок воздействия: не одно исследование, а сопоставление многих работ между собой. Найден большой разброс величин эффекта, и он связан с признаками самих работ. Названное прямо: программы, исполненные государством, дают меньшие эффекты, чем исполненные исследователями или некоммерческими организациями, даже при контроле на размер выборки. Полного текста в базе курса нет, поэтому в урок идёт направление, а не величина. Ограничение: это наблюдения о работах, а не опыт над исполнителями, и трудность задачи здесь не контролируется. |
Что подтвердилось, а что нет
Проверено жребием внутри одной программы: 192 государственные школы во всех восьми провинциях Кении, с июня 2010 по октябрь 2011, около 15 000 протестированных учеников, исходом был нормированный балл по математике и английскому. При одинаковых контрактах оценка по намерению лечить в плече организации 0,184 σ (СО 0,088), в плече Министерства образования −0,022 (0,090), вероятности равенства плеч 0,037 и 0,086. Наблюдаемые различия самих учителей объясняют этот разрыв мало. Сами авторы при этом пишут, что общего запрета отсюда не следует, и называют встречный пример: массовые кампании дегельминтизации государство развернуло.
Так читают пересказы, а работа этого не утверждает. Без поправки на базовый уровень оценки составляют 0,162 (СО 0,116) у организации и 0,081 (0,110) у государства при вероятности равенства 0,518: в чистом срезе исполнителей не различить, и авторы называют это прямо. Значимой разница становится в расчётах с базовым баллом школы и со школьными фиксированными эффектами: 0,086 и 0,037. Головная оценка вдобавок ходит по версиям: 0,15-0,18 σ в рабочем документе 2013 года, 0,184, 0,175 и 0,162 в авторской версии ноября 2016-го, 0,19 σ в журнальной 2018-го.
Выдержало у исполнителя-организации и с названной границей. В 60 из 120 однокомнатных школ Удайпура явку фиксировали фотоаппаратом с несбиваемой датой, а жалованье считали от числа валидных дней. За 18 месяцев отсутствие оказалось на 21 п. п. ниже контроля, а балл детей выше на 0,17 σ. Рабочая версия печатает ту же пару как 22 % против 42 % при базовом уровне 44 %. Это не государственные школы, и граница проверена: тот же приём в государственных медпунктах того же округа за 18 месяцев сошёл на нет через освобождённые дни. Стандартных ошибок к этой паре первоисточник в добытой части базы не печатает, и вторую половину результата здесь взять неоткуда.
Две объявленные процедуры дают разные ответы, и назвать надо обе. В Андхра-Прадеш на 300 государственных сельских начальных школах за два года при бонусе в среднем 3 % годовой оплаты вышло 0,27 σ по математике и 0,17 по языку, причём исход мерили тестом, независимым от формулы оплаты, и вредных последствий авторы не нашли. В Кении на 50 школах округов Бусиа и Тесо за два программных года награду давали по формуле от баллов учеников: рост нашёлся ровно на входивших в формулу экзаменах и не нашёлся на прочих, а явка учителей и домашние задания не изменились. Группа сравнения там была не чистой: другие 50 школ участвовали в программе для дошкольных учреждений. Различие лежит в том, чем мерили исход, и имеющимися данными не разрешается.
Термины
- рандомизация исполнителяimplementer randomization
- Приём, при котором жребий решает не то, будет ли вмешательство, а кто его проводит: одинаковые условия отдают двум разным организациям. Позволяет измерить вклад исполнителя отдельно от вклада самой программы. Без такого жребия разницу между исполнителями приходится добывать сравнением разных испытаний, где различается и всё остальное.
- спецификацияspecification
- Набор решений о том, как считается оценка: какие поправки включены, что взято за фон, на каком уровне сгруппированы ошибки. Разные спецификации одних и тех же данных дают разные числа законно. Поэтому у величины спрашивают не только размер, но и то, из какого столбца таблицы она взята.
- контрактный учительcontract teacher
- Учитель, нанятый на срочный договор вне штатной службы, обычно с заметно меньшей оплатой и без гарантии продления. В испытаниях этого поля он появляется как способ добавить в школу взрослого человека при том же бюджете. Проверяется при этом не форма договора, а то, что меняется в классе.
- единица анализаunit of analysis
- Совокупность, к которой относится оценка: ребёнок, класс, параллель, школа, деревня. Одна работа даёт разные числа для разных единиц, и они друг другу не противоречат. Величина 0,294 σ для класса контрактного учителя и 0,19 σ для всей параллели отвечают на разные вопросы, и смешивать их нельзя.
- внешняя регистрация явкиthird-party attendance verification
- Способ считать присутствие работника независимо от него самого и от его начальника: снимок с несбиваемой датой, отметка проверяющего, необъявленный визит. Работает ровно настолько, насколько её нельзя обойти изнутри. Поэтому судьбу такой регистрации надо мерить отдельно от её замысла и не один месяц.
- освобождённый деньexempt day
- День, который засчитывается работнику как рабочий без его присутствия: командировка, обучение, поручение начальства. Категория законная, и через неё внешняя регистрация обходится без единого нарушения. В государственных медпунктах Удайпура число таких дней росло, пока схема не перестала действовать вовсе.
- оплата по результатуperformance pay
- Часть заработка, привязанная к измеренному исходу работы. Проверять её надо двумя измерениями сразу: тем, по которому платят, и независимым от него. Совпадение этих двух измерений это отдельный результат работы, а не свойство самого приёма, и в отчёте оно называется прямо.
- модераторmoderator
- Признак, от которого зависит величина эффекта: кто исполняет, в каком масштабе, при каком надзоре. От помехи отличается тем, что его называют и меряют, а не устраняют. Измеренный модератор превращает общее место «результат не переносится» в названное условие переноса.
Практикум · Найти исполнителя в чужом отчёте
Упражнение на час и на один отчёт об оценке программы, школьной, медицинской, любой. Считать ничего не нужно, решать что-либо тем более. Цель одна: увидеть, названо ли в отчёте, кто именно делал работу, и можно ли узнать оттуда, что при смене рук изменится.
- Выпишите, кто исполнял программу на площадках испытания: ведомство, международная организация, местное объединение, исследовательская группа. Если исполнитель не назван вовсе, запишите это отдельной строкой.
- Найдите условия работы исполнителя, которые можно измерить: срок выплаты жалованья, число визитов надзора, кто нанимает и кто увольняет. Выпишите те из них, у которых в отчёте есть числа.
- Проверьте, сравниваются ли в работе два исполнителя при одинаковых условиях. Если такого сравнения нет, разница между исполнителями в ней не измерена, как бы уверенно о ней ни говорили.
- Отдельно выпишите, чем мерили исход, и сверьте это с тем, за что платили или по чему отчитывались. Совпадение отметьте как ограничение результата, а не как подтверждение.
- Назовите одну вещь, которая при смене исполнителя изменится наверняка, и найдите, есть ли о ней число. Отсутствие числа запишите как отсутствие, а не как «примерно то же самое».
Вопросы для самопроверки
Что разыгрывали жребием в кенийском испытании контрактных учителей 2010-2011 годов?
- Размер оплаты по контракту: одной группе школ платили больше, другой меньше
- Кто нанимает контрактного учителя при одинаковых условиях договора
- Будет ли в школе дополнительный учитель или школа останется с прежним штатом
- Каким детям внутри школы достанется контрактный учитель, а каким штатный
Почему нельзя сказать, что разница между исполнителями значима во всех расчётах?
- Потому что в журнальной версии эта разница исчезла совсем
- Потому что в плече государства оценка получилась отрицательной и статистически значимой
- Потому что стандартные ошибки не были сгруппированы на уровне школы
- Потому что без поправки на базовый уровень вероятность равенства плеч равна 0,518
Что случилось с оплатой по фактической явке в государственных медпунктах того же округа?
- Схему свернули почти сразу: работники отказались от регистрации
- Она работала все 18 месяцев подряд, но на исходах у пациентов это не сказалось
- Сначала она подействовала, а потом стали засчитывать освобождённые дни
- Явка выросла, зато качество приёма заметно упало, и суммарный результат оказался нулевым
Чем отличаются два испытания оплаты учителям за результат?
- Тем, чем мерили исход: независимым тестом или тем самым экзаменом, за который платили
- Возрастом учеников: в одном мерили начальную школу, в другом старшую
- Тем, что в одном учителям платили деньгами, а в другом дополнительными выходными
- Тем, что одно было рандомизированным, а второе сравнивало состояние до и после
Что из перечисленного НЕ следует из этих работ?
- Что задержки жалованья в государственном плече были заметно длиннее
- Что одинаковые слова договора у двух нанимателей могут пониматься совершенно по-разному
- Что государство не способно развернуть то, что сработало у организации
- Что кто именно исполняет программу это измеримая величина, а не оговорка в конце статьи
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Bold T, Kimenyi M, Mwabu G, Ng'ang'a A, Sandefur J. «Experimental evidence on scaling up education reforms in Kenya». Journal of Public Economics, 2018, 168:1-20: У издателя закрыт. Числа берутся из авторской рабочей версии ноября 2016 года и документа CSAE 2013-04. Главное не в аннотации, а в четвёртой таблице: три столбца расчётов и вероятность равенства плеч в каждом, включая тот, где различий нет.
- Duflo E, Dupas P, Kremer M. «School governance, teacher incentives, and pupil-teacher ratios: Experimental evidence from Kenyan primary schools». Journal of Public Economics, 2015, 123:92-110: Рабочая версия NBER 17939 открыта. Читать стоит вторую таблицу целиком: там рядом стоят 0,294 σ у детей контрактного учителя и 0,087 σ у оставшихся со штатным в тех же школах.
- Duflo E, Hanna R, Ryan SP. «Incentives Work: Getting Teachers to Come to School». American Economic Review, 2012, 102(4):1241-1278: Пара «22 % против 42 %» стоит не здесь, а в рабочем документе NBER 11880 (2005), напечатанном под другим названием и без третьего автора. В журнальной аннотации только разность 21 п. п., и именно из-за этого числа расходятся в пересказах.
- Muralidharan K, Sundararaman V. «Teacher Performance Pay: Experimental Evidence from India». Journal of Political Economy, 2011, 119(1):39-77: Читать стоит не размер бонуса, а описание тестов: платили по одному измерению, исход мерили другим. Без этого фраза об отсутствии вредных последствий, вынесенная в аннотацию, не читается.
- Vivalt E. «How Much Can We Generalize From Impact Evaluations?». Journal of the European Economic Association, 2020, 18(6):3045-3089: Полного текста в базе курса нет, и величин отсюда брать нельзя. Читать ради одной формулировки в аннотации: программы, исполненные государством, дают меньшие эффекты даже при контроле на размер выборки.