Безусловные денежные переводы бедным
Самая простая программа, точно измеренный ноль на ценах и спор о знаке перетоков, который не разрешён
Безусловные денежные переводы в западной Кении подняли расходы и имущество получателей, а здоровье, образование и права женщин не сдвинули. Условий не ставили, и через девять месяцев недлительные расходы были выше на 35,66 доллара ППС в месяц при контрольном среднем 157,61. Роста трат на алкоголь и табак не обнаружено, но рост меньше сорока процентов прибор бы не поймал. У соседей, которым не дали, одно испытание нашло убыль расходов, другое той же организации прибавку, и спор о знаке перетоков не разрешён.
Haushofer & Shapiro 2016, Quarterly Journal of Economics · Egger, Haushofer, Miguel, Niehaus, Walker 2022 · Evans & Popova 2014 · 26 мин · обновлено 24.09.2026
После урока вы сможете
- Отличать эффект программы на получателе от эффекта на его соседе и требовать для них разных паспортов
- Читать «не пропили» как «роста не обнаружено, а рост меньше сорока процентов прибор бы не поймал»
- Различать измеренный ноль на ценах и ненайденный эффект с широким интервалом
- Называть, почему два кенийских испытания одной организации дали перетокам противоположные знаки
- Приводить величину вместе с редакцией документа, из которого она взята
Критерий отбора проверялся глазами: крыша дома соломенная, а не металлическая. По нему некоммерческая организация выбирала в западной Кении, кому перевести деньги. Условий не ставили никаких: ни обучения, ни визитов, ни отчёта о тратах. Деньги приходили на мобильный кошелёк.
Взяли 120 деревень округа Рариеда с наибольшей долей соломенных крыш и 60 из них выбрали жребием. Через девять месяцев недлительные расходы получателей были выше на 35,66 доллара ППС в месяц при стандартной ошибке 5,85 и контрольном среднем 157,61. Стоимость неземельного имущества была выше на 301,51 при ошибке 27,25 и контроле 494,80. Считано на 940 домохозяйствах. Исходами служили расходы по статьям, стоимость имущества и восемь сводных показателей.
Три из этих восьми не сдвинулись вовсе. Здоровье −0,03 при ошибке 0,06, образование +0,08 (0,06), права женщин −0,01 (0,07). А у соседей по той же деревне, которым не дали ничего, расходы оказались не выше, а ниже.
Этот урок о тех, кому не дали. У той же организации, в том же регионе Кении, второе испытание нашло у неполучателей прибавку, а не убыль. Знаки разошлись, объяснение предложено и не проверено. Урок ставит обе процедуры рядом и не выбирает между ними.
Что здесь измеряли и на ком
Внутри 60 лечебных деревень было две группы: 503 домохозяйства с соломенной крышей, получившие перевод, и 505 их соседей, не получивших ничего. В 60 контрольных деревнях набрали 432 домохозяйства чистого контроля. На замере опросили 471, 469 и 432 из них. Регрессии на уровне домохозяйства считаны на 940 наблюдениях, на уровне человека считаны на 1 474.
Средний перевод составил 709 долларов ППС: почти два годовых подушевых расхода в этих деревнях. Внутри лечебной группы разыграли ещё три вещи. Размер: 404 против 1 525 долларов ППС. Получателя: жена или муж. И форму выплаты: разом или девятью ежемесячными. Замер один, через девять месяцев после начала переводов.
Три приёма этой работы стоит назвать отдельно, потому что дальше в уроке они работают. Для каждого ненайденного эффекта авторы посчитали минимально обнаружимую величину. Это та, которую прибор поймал бы с вероятностью 80 % на пятипроцентном уровне значимости. Все отступления от предрегистрации выписаны отдельной таблицей приложения, с причинами. А данные и код отдали на проверку двум нанятым аспирантам с почасовой оплатой и премией за каждую найденную ошибку.
Так проверяют не чужую честность, а свою работу. Ошибки, пишут авторы, нашлись мелкие и результатов не изменили. Ни один из трёх приёмов не обязателен по правилам журнала. Все три сделаны по решению самих исследователей.
В первой работе напечатано дословно: Шапиро был соучредителем организации, раздававшей деньги, и с 2009 по 2012 год её директором, и статья не обязательно выражает её взгляды. Во второй раскрытие такое же: Нихаус соучредитель, бывший президент и председатель совета этой организации без вознаграждения, а Хаусхофер основатель и член совета кенийского исследовательского центра, проводившего опросы. Это раскрытие, а не обвинение: сведения взяты из самих статей и служат поводом читать внимательнее. Там же напечатано, во что обошлась доставка денег: 81 доллар на домохозяйство, то есть 11 % от крупного перевода в тысячу долларов и 23 % от малого в триста.
Пропили ли деньги
Прямой вопрос дал отрицательные и незначимые оценки. Расходы на алкоголь −0,93 при стандартной ошибке 0,99 и контрольном среднем 6,38 доллара ППС в месяц. Табак −0,15 при ошибке 0,22 и контроле 1,52. Считано там же: 940 домохозяйств, девять месяцев.
Дальше авторы спросили, какой рост они вообще заметили бы. Для алкоголя минимально обнаружимая величина оказалась 2,78 доллара ППС в месяц, то есть 44 % контрольного среднего. Для табака 0,61 доллара, то есть 40 %. Значит, роста меньше чем на сорок процентов этот прибор не поймал бы. Разницу между измеренным нулём и отсутствием прибора разбирает шестой урок. Здесь важно другое: авторы посчитали её сами и напечатали для каждого нуля.
Третий прибор обходит нежелание отвечать. Человеку дают список из пяти обычных занятий и спрашивают, сколько из них он выполнил, а не какие именно. Одной случайной группе в список добавляют «пил алкоголь», другой «курил», и разница средних даёт долю. Оценки этим способом вышли очень похожими на прямые и скорее ниже их. Сами авторы предупреждают, что метод шумный.
Тот же вопрос померили и на большем масштабе. В испытании на 653 деревнях траты на «товары искушения» у получателей составили +6,51 при ошибке 5,79. У неполучателей −0,71 при ошибке 6,50, контрольное среднее 37,10 доллара ППС в год. А свод сорока четырёх оценок из девятнадцати работ даёт 82 % отрицательных. Среди семнадцати оценок из восьми рандомизированных испытаний положительных и значимых нет ни одной. Правильная запись отсюда одна: роста не обнаружено, а малый рост исключить нельзя.
В рабочей версии свода, вышедшей в 2014 году, формального объединения нет вовсе: там пересчитаны знак и значимость каждой из 44 оценок. Метаанализ появился только в журнальной версии 2017 года, и в её аннотации стоит средний эффект −0,18 стандартного отклонения. Доверительного интервала при этой величине в аннотации нет, а полного текста журнальной версии курс не открывал. Поэтому число −0,18 здесь не используется: две редакции одной работы отвечают на разные вопросы, и ссылка «свод показал −0,18» опирается на ту, которую курс не читал. Проверяется это одним движением: спросить, в какой редакции документа стоит нужное число.
Ноль у самих получателей
Восемь сводных показателей сведены в работе в одну таблицу с поправкой на семейную ошибку первого рода. Пять из них двинулись: имущество, недлительные расходы, выручка, продовольственная безопасность и психологическое благополучие. У всех пяти поправленная величина p не выше 0,02. Три остались на месте. Здоровье −0,03 при ошибке 0,06 и p 0,82, образование +0,08 (0,06) и p 0,43, права женщин −0,01 (0,07) и p 0,88.
Индекс прав женщин считан на 698 наблюдениях, то есть только там, где пара живёт вместе. Образование считано на 823. Вывод авторы записали дословно: улучшения в здоровье, образовании и правах женщин при сравнении лечебных и контрольных домохозяйств одной деревни не видно. Это ноль у получателя, и дальше будет видно, что у соседа по тому же индексу вышло другое.
Ещё одна пара из той же работы показывает, как прибор выбирает ответ. Индекс психологического благополучия вырос на 0,26 стандартного отклонения при ошибке 0,05, считано на 1 474 людях. Логарифм кортизола в той же выборке дал 0,00 при ошибке 0,05 на 1 456 пробах. Авторы пишут, что самоотчёт может быть чувствительнее к вмешательству, или сильнее подвержен эффекту ожиданий у отвечающего.
Соседи, которым не дали
505 соседей сравнивали с 432 домохозяйствами чистого контроля на том же замере. Недлительные расходы у соседей вышли −7,77 при ошибке 7,20 без дополнительных переменных. С ними это −11,89 при ошибке 6,50, значимо на десятипроцентном уровне. Границы Ли по этому исходу лежат целиком ниже нуля: от −9,47 до −4,08.
Совместный тест по всем показателям перетоков нуль при этом не отвергает: p равно 0,38 без переменных и 0,25 с ними. Значит, отдельная строка отрицательна, а общего вывода о перетоках работа на девятом месяце не делает. Так это и надо записывать: одна величина ниже нуля, а свод по всем сразу нет.
И одна строка в обратную сторону. У соседей индекс прав женщин вырос на 0,21 при ошибке 0,08, а границы Ли идут от 0,15 до 0,25. Тянет его подындекс насилия в семье, и авторы называют это прямо. У самих получателей тот же индекс дал −0,01. Две величины с одним названием и разными знаками стоят в одной таблице одной работы.
Так пишут пересказы, а таблица работы говорит другое. Точечные оценки по расходам соседей отрицательны уже на девятом месяце, границы Ли по этому исходу целиком лежат ниже нуля, а незначим только совместный тест по всем показателям сразу. Через три года знак тот же, а величина больше. То есть трёхлетний результат не разворот и не новость: это тот же знак при другой мощности. Пересказ, объясняющий расхождение двух кенийских работ сроком наблюдения, спорит с обеими их таблицами.
Три года спустя
Продолжение вышло рукописью в январе 2018 года и рецензирования не проходило. Те же деревни, тот же округ, замер примерно через три года после переводов. Отсев между двумя замерами составил 9,7 % у получателей, 10,1 % у соседей и 14 % в контрольных деревнях. Различие авторы признают сами.
У соседей потребление оказалось ниже чистого контроля на 30 долларов ППС, то есть на 16 % от контрольного среднего 188. Границы Ли эту строку и продовольственную безопасность держат. По остальным измерениям убедительных свидетельств перетоков авторы не находят. Знак тот же, что на девятом месяце, а величина больше.
У получателей против чистого контроля осталось имущество: плюс 422 доллара ППС. Это 40 % к контролю и примерно 60 % исходного перевода. По прочим исходам значимых различий между деревнями нет. Это второй результат, который стоит держать в голове. Сравнение внутри деревни и сравнение между деревнями дают разные величины, и одна на другую не переносится.
И оговорка о редакциях. Рукопись 2018 года пересказывает собственные краткосрочные результаты как 0,18 по счастью, 0,13 по удовлетворённости жизнью и 0,23 по стрессу. В опубликованной таблице 2016 года напечатано 0,16, 0,17 и −0,26. Три числа из трёх не совпадают, и курс берёт числа опубликованной таблицы.
Та же организация, другая рамка
Второе испытание сделано на том же западе Кении и с тем же отбором по крыше. Переводы получили более 10 500 домохозяйств в 653 рандомизированных деревнях. Население района около 300 000 человек. Жребий бросали на двух уровнях сразу: деревня и подлокация, то есть группа из десяти-пятнадцати деревень. Основные исходы измерены через 18 месяцев.
Размер шока авторы называют сами: около тысячи долларов на домохозяйство, в оценках 1 871 доллар ППС. В сумме это более 15 % продукта лечебных деревень за пиковые двенадцать месяцев. Числа ниже взяты из рабочей версии: именно она прошла рецензирование в журнале. Там, где журнальная версия печатает другое, это сказано отдельно.
У неполучателей годовые расходы домохозяйства выше на 333,73 доллара ППС при ошибке 123,24 и контрольном среднем 2 536,86, то есть на 13 %. У самих получателей прибавка сопоставима: 292,98 при ошибке 60,09. Приходит она к неполучателям через наём. Зарплатный заработок выше на 182,99 при ошибке 65,44 и контроле 495,37, а прибыль своего дела выше на 44,08 при ошибке 45,35.
Цены при этом почти не двинулись. Средняя инфляция 0,1 %, а с 95-процентной уверенностью средний эффект за весь период ниже 0,0022 логарифмического пункта, то есть 0,22 %. На пике переводов верхняя граница интервала равна одному проценту, в самых изолированных рынках по менее торгуемым товарам 0,2-0,3 %. Это точный ноль: у оценки есть край, и заметный рост цен этим краем исключён. Мерили его не на индексе исходов, а на ценах местных рынков.
И одна величина, которую надо приводить вместе с редакцией документа. Локальный мультипликатор перевода равен 2,5 в журнальной публикации, 2,4 в аннотации рабочей версии и 2,53 в её же тексте. Это одно и то же число в трёх редакциях. Доходный подход в том же тексте даёт 2,28, уже другая величина, и равенство двух подходов не отвергается при p 0,88.
Почему знаки разошлись
Поставим обе процедуры рядом. Первая: 60 лечебных деревень, жребий внутри деревни, сосед живёт в той же деревне, что и получатель. Через три года у него −30 долларов ППС в год, 16 % контрольного среднего. Вторая: 653 деревни, жребий деревни и подлокации. Неполучателем оказывается и житель соседней необработанной деревни. Через 18 месяцев у него +333,73 доллара ППС в год, 13 % контрольного среднего.
Сроком расхождение не объясняется. У первой работы знак один и тот же на девятом месяце и на третьем году. На трёхлетнем замере он вдобавок устойчив к границам Ли. То есть это не «сначала минус, потом плюс», а два разных ответа на один вопрос.
Объяснение предложили авторы второй работы, и оно про дизайн. Схема, которая ищет перетоки кластеризацией по деревням и предполагает, что между деревнями их нет, в плотно заселённой местности может быть задана неверно. Дословно: домохозяйство в среднем находится в пределах двух километров от семи других деревень. Тогда чистый контроль первой работы чистым не был, и часть эффекта могла достаться и ему.
Проверки у этого объяснения нет. Различается и другое, и оно тоже не разведено. Размер перевода: 709 против 1 871 доллара ППС. Плюс доля охваченных домохозяйств в округе и срок замера. Поэтому в реестре стоит одна строка со статусом «спор открыт», и в ней названы обе процедуры и оба числа. Выбрать между ними сегодня нечем.
Чего отсюда не следует
Не следует, что деньги двигают всё. За девять месяцев три сводных показателя из восьми не сдвинулись. По правам женщин это −0,01 при ошибке 0,07 и поправленной величине p 0,88. У выручки прибавка есть: 16,15 при ошибке 5,88. У прибыли своего дела её нет: −0,21 при ошибке 3,68 и контроле 20,78. Выросли и выручка, и расходы дела: последние на 12,53 при ошибке 4,21. Разность между ними осталась прежней.
Не следует и обратного. Потребление и имущество двинулись крупно и пережили поправку на множественность: у обоих поправленная величина p равна нулю до второго знака. Это тот случай, когда программа сделала ровно то, что обещала, и величина названа вместе с фоном, на котором она мерилась.
Не следует, что кто-то что-то прятал. Отступления от предрегистрации выписаны списком с причинами. Код отдан на платную проверку с премией за найденную ошибку. Конфликт интересов объявлен дословно в обеих работах. Спор здесь идёт о том, кого считать контролем в плотно заселённой местности, а не о добросовестности.
Мерили расходы по статьям, стоимость имущества, здоровье, образование и индексы решений в семье у сельских домохозяйств западной Кении: 940 домохозяйств через девять месяцев и 653 деревни через восемнадцать. Отсюда не следует, кому и сколько переводить. Такое решение требует того, чего в этих измерениях нет: ни цен и рынков другого места, ни того, от чего ради переводов откажутся, ни того, что случится с соседями, а знак этой самой величины здесь и разошёлся у двух серьёзных процедур. Решают это правительства, устроители программ и сами получатели, каждый в своих обстоятельствах. Испытание говорит, что случилось в этом месте при этих условиях. Что из этого делать: решение, а не измерение, и курс его не принимает.
Что дальше
Урок оставляет в руках две вещи. Первая: у программы два адресата, тот, кому дали, и тот, кто рядом. Это разные величины, и паспорт нужен каждой отдельно. Вторая: когда две серьёзные процедуры дают противоположные знаки, честная запись называет обе, а не ту, что удобнее.
Восемнадцатый урок начинается там, где переводы кончаются. Программа там не из одной части, а из шести сразу, и стоит она годовое потребление домохозяйства. Вместе с ней приходит вопрос о пороге: есть ли уровень имущества, ниже которого хозяйство само не поднимается. Три работы отвечают на него по-разному, и урок ставит их рядом.
Ключевые работы
| Haushofer J, Shapiro J, Quarterly Journal of Economics | 2016 | Кластерное рандомизированное испытание безусловных денежных переводов в округе Рариеда, западная Кения: 120 деревень с наибольшей долей соломенных крыш, 60 из них жребием в лечение. Объём: 503 получателя и 505 соседей в лечебных деревнях, 432 домохозяйства чистого контроля в контрольных. Регрессии на 940 наблюдениях по домохозяйствам и 1 474 по людям. Срок: один замер через девять месяцев после начала переводов. Средний перевод 709 долларов ППС. Исходы: расходы по статьям, стоимость имущества, выручка и прибыль дела, продовольственная безопасность и четыре сводных индекса. Недлительные расходы +35,66 при ошибке 5,85 и контроле 157,61. Неземельное имущество +301,51 (27,25) при контроле 494,80. Выручка +16,15 (5,88), прибыль −0,21 (3,68). Психологическое благополучие +0,26 (0,05) при логарифме кортизола 0,00 (0,05). Здоровье −0,03 (0,06), образование +0,08 (0,06), права женщин −0,01 (0,07) с поправленными величинами p 0,82, 0,43 и 0,88. Для каждого ненайденного эффекта посчитана минимально обнаружимая величина: по алкоголю 2,78 доллара ППС в месяц, 44 % контрольного среднего. |
| Haushofer J, Shapiro J, трёхлетнее продолжение тех же кенийских переводов, рукопись | 2018 | Повторное обследование тех же деревень примерно через три года после переводов. Рабочая статья, рецензирования не проходила. Отсев между замерами 9,7 % у получателей, 10,1 % у соседей и 14 % в контрольных деревнях, различие признано авторами. У соседей потребление ниже чистого контроля на 30 долларов ППС, то есть на 16 % от контрольного среднего 188. Границы Ли держат эту строку и продовольственную безопасность, по остальным измерениям убедительных свидетельств перетоков нет. У получателей против чистого контроля имущество выше на 422 доллара ППС (40 % к контролю и около 60 % исходного перевода), а по прочим исходам значимых различий между деревнями нет. Собственные краткосрочные результаты рукопись пересказывает как 0,18, 0,13 и 0,23 стандартного отклонения там, где в опубликованной таблице 2016 года стоят 0,16, 0,17 и −0,26. |
| Egger D, Haushofer J, Miguel E, Niehaus P, Walker MW, Econometrica | 2022 | Рандомизированное испытание тех же безусловных переводов, поставленное так, чтобы поймать эффекты за пределами получившего домохозяйства: жребий на двух уровнях, деревня и подлокация из десяти-пятнадцати деревень. Объём: более 10 500 домохозяйств в 653 деревнях запада Кении при населении района около 300 000 человек. Срок: основные исходы через 18 месяцев. Размер: около тысячи долларов на домохозяйство, в оценках 1 871 доллар ППС, в сумме более 15 % продукта лечебных деревень за пиковые двенадцать месяцев. У неполучателей годовые расходы выше на 333,73 при ошибке 123,24 и контроле 2 536,86, то есть на 13 %, и приходит эта прибавка через зарплатный заработок: +182,99 (65,44) при контроле 495,37. Траты на «товары искушения» у получателей +6,51 (5,79), у неполучателей −0,71 (6,50) при контроле 37,10. Средняя инфляция 0,1 %, средний эффект на цены с 95-процентной уверенностью ниже 0,22 %. Локальный мультипликатор перевода 2,5 в журнальной публикации, 2,4 в аннотации рабочей версии и 2,53 в её тексте. Доходный подход даёт 2,28. |
| Evans DK, Popova A, свод оценок трат на «товары искушения», Economic Development and Cultural Change | 2017 | Не отдельная работа, а свод: 44 количественные оценки эффекта денежных переводов на траты по алкоголю и табаку, собранные из 19 работ, плюс 11 работ, где получателей просто спрашивали о таких тратах. Числа курса взяты из полного текста рабочей версии: рабочего документа Всемирного банка 6886 от мая 2014 года. Из 44 оценок 12 отрицательны и значимы, 24 отрицательны и незначимы, 6 положительны и незначимы, 2 положительны и значимы, то есть 82 % отрицательны. В подвыборке рандомизированных испытаний (17 оценок из восьми работ) положительных и значимых нет ни одной. Обе положительные значимые оценки слабо значимы, непоследовательны внутри своих работ, а размеры их составляют меньше цента и 21 цент. Формального объединения в рабочей версии нет. Метаанализ со средним эффектом −0,18 стандартного отклонения появился только в журнальной версии 2017 года, доверительного интервала при нём в аннотации нет, и полный текст журнальной версии курсом не открыт. |
Что подтвердилось, а что нет
Проверено тремя приборами в одном испытании на 940 кенийских домохозяйствах за девять месяцев. Прямой вопрос: алкоголь −0,93 при ошибке 0,99 и контроле 6,38 доллара ППС в месяц, табак −0,15 (0,22) при контроле 1,52. Косвенный опрос списком дал оценки, похожие на прямые и скорее ниже их. В испытании на 653 деревнях траты на «товары искушения» у получателей +6,51 (5,79) при контроле 37,10 в год. Свод 44 оценок из 19 работ даёт 82 % отрицательных, а среди 17 оценок из восьми рандомизированных испытаний положительных и значимых нет. Оговорка обязательна: минимально обнаружимая величина составила 44 % контрольного среднего по алкоголю и 40 % по табаку, то есть малый рост исключить нельзя.
Измерено на 653 рандомизированных деревнях запада Кении, где переводы получили более 10 500 домохозяйств, через 18 месяцев. Исходом были цены товаров на местных рынках. Средняя инфляция 0,1 %, а средний эффект за период с 95-процентной уверенностью ниже 0,0022 логарифмического пункта, то есть 0,22 %. На пике переводов верхняя граница интервала равна одному проценту, в самых изолированных рынках по менее торгуемым товарам 0,2-0,3 %. Это не ненайденный эффект с широким интервалом, а измеренный ноль с названным краем. Границы величины: один район западной Кении, свои рынки и своя плотность деревень.
Сводный индекс прав женщин у получателей дал −0,01 при стандартной ошибке 0,07 и величине p с поправкой на семейную ошибку 0,88. Считано на 698 наблюдениях (только там, где пара живёт вместе) через девять месяцев после начала переводов. Авторы пишут дословно, что улучшений в здоровье, образовании и правах женщин при сравнении лечебных и контрольных домохозяйств одной деревни не видно. Утверждение относится к получателям: у соседей по той же деревне тот же индекс вырос на 0,21 при ошибке 0,08, и тянет его подындекс насилия в семье.
Две объявленные процедуры дают разный знак, и обе названы здесь целиком. Первая: 60 лечебных деревень Рариеды, жребий внутри деревни, соседи против чистого контроля, недлительные расходы −7,77 при ошибке 7,20 без переменных и −11,89 (6,50) с ними на девятом месяце, а через три года потребление ниже на 30 долларов ППС, то есть 16 % контрольного среднего 188, устойчиво к границам Ли. Вторая: 653 деревни, жребий деревни и подлокации, 18 месяцев, годовые расходы неполучателей выше на 333,73 при ошибке 123,24 и контроле 2 536,86, то есть на 13 %. Сроком расхождение не объясняется: у первой работы знак одинаков на обоих замерах. Объяснение через неверно заданный дизайн с жребием только по деревням предложено авторами второй работы и не проверено.
Термины
- безусловный денежный переводunconditional cash transfer
- Передача денег домохозяйству без требований что-либо делать взамен: без условия водить детей в школу, ходить на прививки, учиться или отчитываться о тратах. Именно отсутствие условия отличает такую программу от выплат, привязанных к поведению. Отбор при этом остаётся и входит в описание программы: в кенийских испытаниях отбирали по материалу крыши.
- перетокspillover effect
- Действие программы на того, кому её не давали. Меряется сравнением неполучателей с людьми из мест, где программы не было вовсе. Без такой третьей группы переток не отделить от общего хода дел. Знак его теорией не задан: соседи могут выиграть через спрос на их труд и проиграть через перераспределение внутри общины.
- чистый контрольpure control
- Группа из мест, где программы не было ни у кого. Нужна там, где внутри охваченного места сравнивать не с кем: неполучатели там сами могли измениться. Сравнение получателя с его соседом даёт разность двух затронутых величин, а не эффект программы.
- насыщениеsaturation
- Доля единиц, охваченных программой внутри более крупной единицы: домохозяйств в деревне, деревень в округе. Величина эффекта от неё зависит, поэтому её разыгрывают жребием отдельно, на двух уровнях сразу. Испытание с одним уровнем жребия измеряет эффект при том насыщении, которое сложилось, и отличить его от эффекта при другом не может.
- локальный мультипликатор переводаlocal transfer multiplier
- Отношение прироста местного дохода или местных расходов к сумме розданных денег. Значение больше единицы означает, что деньги прошли не через одни руки. Считается оно моделью на своих допущениях и потому существует сразу в нескольких видах: расходном и доходном. Приводить его надо вместе с подходом и редакцией документа.
- границы ЛиLee bounds
- Пара крайних значений оценки, посчитанных в предположении, что выбывшие из наблюдения были самыми крайними сначала в одну сторону, потом в другую. Нужны там, где отсев в группах разный: обычная оценка тогда смещена, а насколько неизвестно. Если обе границы лежат по одну сторону нуля, знак эффекта разным отсевом не объясняется.
- список-рандомизацияlist randomization
- Косвенный опрос о том, в чём неловко признаваться вслух. Человеку дают список занятий и спрашивают, сколько из них он выполнил, не называя какие. Одной случайной группе в список добавляют спорный пункт. Разница средних между группами даёт долю, а сам отвечающий ничего не называет. Платой служит шум: оценка получается заметно менее точной.
- эффект ожиданий отвечающегоdemand effect
- Сдвиг ответа в ту сторону, которой, по мнению отвечающего, ждёт от него спрашивающий. Опаснее всего там, где исход измеряется опросником, а вмешательство было заметным и приятным. Различить помогает второй прибор другой природы: телесный показатель ответы не подстраивает.
Практикум · Развести эффект на получателе и эффект на соседе
Упражнение на полчаса и на одно описание программы, где деньги или вещи получают не все жители места. Считать ничего не нужно, и решать ничего не нужно тоже. Цель одна: увидеть, к кому относится названная величина и с кем этих людей сравнивали.
- Найдите описание программы, где помощь получают не все жители места, и выпишите, кого в нём называют участниками.
- Установите, с кем участников сравнивали: с жителями того же места, оставшимися без программы, или с жителями мест, где программы не было вовсе.
- Если сравнение шло внутри места, выпишите, чем неучастники могли отличаться от людей из мест без программы: работа, цены, помощь родне, торговля.
- Выпишите объём, срок и исход отдельно для эффекта на получателе и для эффекта на соседе. У двух величин паспорта разные, и совпадать они не обязаны.
- Проверьте, названа ли доля охваченных домохозяйств. Без неё величина относится к тому насыщению, которое сложилось, и на другое не переносится.
Вопросы для самопроверки
Два кенийских испытания одной организации дали эффекту на неполучателей противоположные знаки: −30 долларов ППС в год у одних и +333,73 у других. Чем это объясняется по добытым курсом данным?
- Разным сроком: у первой работы замер сделан через девять месяцев, у второй через восемнадцать, и за это время знак успел смениться
- Ошибкой в счёте у одной из двух работ, а какая именно ошиблась, установлено печатным комментарием третьей стороны
- Разной рамкой сравнения: кого считать неполучателем, эти две работы определяют по-разному, а объяснение расхождения предложено и не проверено
- Разным размером перевода (709 против 1 871 доллара ППС), и этого различия достаточно, чтобы знак переменился
Расходы на алкоголь у получателей вышли −0,93 при стандартной ошибке 0,99 и контрольном среднем 6,38 доллара ППС в месяц, а минимально обнаружимая величина составила 2,78 доллара. Что отсюда следует?
- Роста не обнаружено, но рост меньше чем на 44 % контрольного среднего этот прибор и не поймал бы
- Доказано, что переводы на алкоголь не идут: оценка отрицательна, а её стандартная ошибка меньше самой оценки
- Прибор бесполезен: интервал накрывает и заметный рост расходов, и заметное падение
- Вопрос решается только косвенным опросом, потому что о таких тратах в лоб никто не отвечает и прямая оценка ничего не значит
Переводы составили более 15 % продукта лечебных деревень за пиковые двенадцать месяцев, а средний эффект на цены оценён ниже 0,22 % с 95-процентной уверенностью. Как читается это число?
- Как оценка, из которой следует, что программы такого размера цен не двигают нигде
- Как незначимый результат, о котором нельзя сказать ничего, кроме того, что нуль не отвергнут
- Как средняя инфляция за период, посчитанная сразу по всем товарам и равная 0,22 %
- Как измеренный ноль: заметный рост цен исключён краем интервала, и это утверждение о мире
Индекс прав женщин в одной и той же работе дал −0,01 при ошибке 0,07 у получателей и +0,21 при ошибке 0,08 у их соседей. Что из этого следует?
- Что индекс собран неудачно: показатель, дающий в одной выборке разные знаки, измеряет не одну величину
- Что это две разные величины с разными группами сравнения, и вывод по одной на другую не переносится
- Что переводы улучшают положение женщин в общине в целом, а внутри получившей семьи эффект просто слабее
- Что различие объясняется объёмом: у получателей индекс считан на 698 наблюдениях, а у соседей на всех 940
Работа 2016 года нашла прибавку выручки 16,15 при ошибке 5,88 и нулевой эффект на прибыль: −0,21 при ошибке 3,68. Какой вывод отсюда сделать нельзя?
- Что выручка и расходы дела выросли вместе, а разность между ними осталась прежней
- Что пересказ «переводы повысили доход от дела» верен только про выручку
- Что переводы не дают отдачи на вложенный капитал ни в одной программе такого рода
- Что прибыль в этой работе измерена, а её оценка приведена вместе со стандартной ошибкой
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Haushofer J., Shapiro J. «The Short-term Impact of Unconditional Cash Transfers to the Poor: Experimental Evidence from Kenya». The Quarterly Journal of Economics, 2016, 131(4):1973-2042: Читать стоит таблицу II: восемь сводных показателей с поправленными на семейную ошибку величинами p стоят там рядом, и три нуля видно сразу. Минимально обнаружимые величины напечатаны не в таблицах, а в тексте, возле каждого ненайденного эффекта. Искать их приходится глазами. Там же, в приложении, лежит таблица всех отступлений от предрегистрации с причинами.
- Egger D., Haushofer J., Miguel E., Niehaus P., Walker M. W. «General Equilibrium Effects of Cash Transfers: Experimental Evidence From Kenya». Econometrica, 2022, 90(6):2603-2643: Числа курса взяты из открытой рабочей версии: рабочего документа NBER 26600 в редакции октября 2021 года, именно она прошла рецензирование. Читать стоит раздел о ценах: главная величина лежит не в аннотации, а в тексте, а именно верхняя граница интервала на средний эффект, 0,0022 логарифмического пункта. И сверить мультипликатор по трём местам: 2,5 в аннотации журнала, 2,4 в аннотации рабочей версии, 2,53 в её тексте.
- Haushofer J., Shapiro J. «The Long-Term Impact of Unconditional Cash Transfers: Experimental Evidence from Kenya». Рукопись, версия января 2018 года: Рабочая статья, рецензирования не проходила. Публикации в журнале на день сборки курса не нашлось. Читать стоит таблицу перетоков (соседи против чистого контроля) и абзац о разном отсеве: 9,7, 10,1 и 14 процентов. И отдельно сверить абзац, где рукопись пересказывает собственную работу 2016 года: три числа из трёх с опубликованной таблицей не совпадают.
- Evans D. K., Popova A. «Cash Transfers and Temptation Goods». Economic Development and Cultural Change, 2017, 65(2):189-221. Рабочая версия: World Bank Policy Research Working Paper 6886, май 2014: Рабочая версия открыта, журнальная закрыта, и это здесь важно. В рабочей версии читать третий и четвёртый разделы: там все 44 оценки разложены по знаку и значимости, включая подвыборку из восьми рандомизированных испытаний. Метаанализ и величина −0,18 стандартного отклонения есть только в журнальной версии, и доверительного интервала при ней в аннотации не приведено.