Микрокредитование: измеренный эффект
Заявка, посчитанная умножением коэффициента на популяцию, и семь испытаний, в которых кредитор ждал восьмидесяти процентов охвата
Микрокредитование это небольшие займы бедным домохозяйствам, и семь рандомизированных испытаний в семи странах не нашли у него преобразующего эффекта. Ни одна из шести работ выпуска 2015 года не нашла значимого роста суммарного дохода домохозяйства. Прибыль выросла у семей, которые вели дело до прихода кредитора, а спрос оказался втрое меньше ожидаемого кредитором. Величина «5 % заёмщиков Grameen в год выходят из бедности» это экстраполяция из коэффициентов, а не наблюдение.
Banerjee, Karlan, Zinman 2015 · Pitt & Khandker 1998 · Roodman & Morduch 2014 · Meager 2019, AEJ: Applied · 27 мин · обновлено 24.09.2026
После урока вы сможете
- Отличать «преобразующий эффект исключён» от «эффекта нет» по ширине интервала
- Называть, что случилось с работой Питта и Хандкера: результат исчезает при удалении шестнадцати наблюдений
- Читать слово «микрокредит» как ставки от 12 до 110 % годовых и заём от 6 до 118 % годового дохода
- Показывать, откуда взялась величина «5 % заёмщиков Grameen в год выходят из бедности», и почему у неё нет источника
- Ставить статус проверяемому утверждению, а не программе и не участнику спора
Кредитор рассчитывал, что заём возьмут восемь семей из десяти. В бедных кварталах Хайдарабада, пятого по величине города Индии, отделения открылись в 52 кварталах из 104, выбранных жребием. Через пятнадцать-восемнадцать месяцев заём у самой Spandana взяли 17,8 % домохозяйств, имевших на него право, а заём хоть у какой-нибудь микрофинансовой организации взяли 26,7 %. Авторы испытания записали это дословно: «не те 80 процентов, которых ждала Spandana».
Это первый результат всей программы испытаний микрокредита, и получен он до всякого измерения исходов. Спрос оказался втрое меньше ожидаемого даже по самому щедрому счёту, где в зачёт идёт заём у любого кредитора, и не в одной Индии. Там, где доступ к займу разыгрывали жребием, в группе предложения брали 17 % в Марокко, 19 % в Мексике и 31 % в Эфиопии. Всё, что дальше говорится о влиянии займа, считается на этой разнице.
Заявку про микрокредит проверяли два десятилетия, и проверяли всерьёз. Семь рандомизированных испытаний в семи странах на четырёх континентах, а до них была одна эконометрическая работа, на которой заявка и стояла. Урок разбирает обе стороны: что именно обещали и что именно померили.
Число, на котором стояла заявка
В октябре 2006 года Нобелевскую премию мира присудили пополам Мухаммаду Юнусу и банку Grameen: «за усилия по созданию экономического и социального развития снизу». Это премия мира, а не по экономическим наукам. Её присуждает норвежский парламентский комитет, и критерий у неё вклад в мир, а не доказанность эффекта. Пересказы об этом регулярно забывают.
В пресс-релизе того же дня не одно утверждение, а четыре разных, и судьба у них потом разошлась. Микрокредит помогает выйти из бедности: проверяется потреблением и доходом. Микрокредит освобождает женщин: проверяется индексами решений в семье и школой детей. Микрокредит должен играть «главную роль» в устранении бедности: это утверждение о доле вклада, и оно самое сильное. И «развитие снизу» как ценность испытанием не проверяется вовсе, потому что это не гипотеза об исходах.
Рядом с премией много лет ходила одна величина. Выписать её стоит целиком: «в типичный год 5 % заёмщиков Grameen поднимаются выше черты бедности». Её повторял сам Юнус. Происхождение величины записано в репликации 2014 года дословно: это «экстраполяция из оценок коэффициентов» работы Питта и Хандкера 1998 года.
Экстраполяцией называют число, полученное подстановкой оценённого коэффициента в расчёт и умножением на численность группы, а не подсчётом наблюдённых людей. Ни одно домохозяйство при этом не наблюдалось переходящим черту. Приём законный, когда допущения названы рядом с числом, но такое число наследует все слабости работы, из которой взят коэффициент.
Что стало с работой, из которой её вывели
Питт и Хандкер, Journal of Political Economy, 1998 год. Мерили 1 798 домохозяйств в 87 деревнях сельского Бангладеш, три обхода в 1991-92 годах, по одному после каждого рисового сезона. Головным исходом был логарифм подушевого потребления домохозяйства. Жеребьёвки не было: право на заём давало владение не более чем половиной акра, и на этом пороге держалась вся идентификация.
Головное число работы разошлось по пересказам широко. Потребление домохозяйства растёт на 18 така с каждых 100 така, занятых женщиной, против 11 така у мужчин. Именно из этих коэффициентов и получились пять процентов в год.
В 2014 году Рудман и Мордух сделали переанализ: повторный счёт по тем же данным с другими решениями об их обработке. Новых людей они не измеряли, а проверяли, устоит ли вывод. Результаты по сокращению бедности, пишут они в аннотации, исчезают при удалении выбросов и при робастной линейной оценке. А предположения, критичные для исходного анализа, данными опровергаются.
Самая наглядная из семи их претензий стоит последней. У правдоподобия оказалось два максимума: один с положительным эффектом, другой с отрицательным. Они схлопываются в один вблизи нуля после удаления шестнадцати наблюдений с наибольшим потреблением. Это 14 домохозяйств и 0,4 % выборки во взвешенном счёте. И разрыва на границе полакра, на котором стояла идентификация, в данных не нашлось.
Судьба работы названа вместе с работой. Печатный ответ Питта вышел в том же выпуске журнала, сразу за статьёй репликаторов. Ни одна сторона свою работу не отзывала. Полного текста этого ответа в базе курса нет, и потому спор здесь описан, а не разрешён.
Так пишут пересказы, а сами репликаторы это отрицают, и в тексте у них стоит обратное: «отсутствие свидетельства (то есть отсутствие идентификации) не есть свидетельство отсутствия». Дальше они уточняют, что их работа должна уменьшить уверенность в силе микрокредита ровно в той мере, в какой та опиралась на разобранную статью. Статус здесь получает конкретное утверждение о конкретной работе, а не программа и не человек.
Одно слово, шесть разных продуктов
Шесть испытаний вышли одним выпуском American Economic Journal: Applied Economics в январе 2015 года. Во введении к нему условия займа сведены в одну таблицу. Ставка идёт от 12 % годовых в Эфиопии до 110 % в Мексике. Размер первого займа относительно годового дохода домохозяйства: от 6 % в Мексике до 118 % в Эфиопии. В Индии микропредприятие не требовалось вовсе, в остальных пяти странах требовалось. В трёх странах из шести давали только женщинам.
Различия работают и внутри одной работы. В Монголии в одном эксперименте было два плеча: групповая ответственность и индивидуальная. Групповой заём двинул женское предпринимательство и потребление еды, индивидуальный по бедности не дал ничего, зато поднял запас товаров длительного пользования.
Отсюда видно, что именно мешает переносить результат с площадки на площадку. Назвать это можно поимённо: цена займа, его размер относительно дохода, требование бизнеса, пол заёмщика, срок и частота платежей. Свойство результата переноситься на другое место называется внешней валидностью. Она бывает предметной ровно настолько, насколько названы отличия новой площадки от старой.
Для мексиканской программы во введении выпуска напечатано 110 % годовых, а в работе, объединившей микроданные всех семи испытаний, стоит 100 % для той же программы. Расхождение объяснила сама её автор в примечании к таблице: введение брало максимальную ставку продукта, а она взяла среднее объявленного кредитором диапазона. Обе величины верны и обе про разное. Пересказ, который ставит их рядом как одно число, ошибается, и проверяется это одним движением: спросить, как считали.
Семь испытаний: что нашли
Единицы жеребьёвки у шести работ разные. В Индии разыгрывали 104 квартала, в Марокко 162 деревни, в Мексике 238 кластеров. В Эфиопии это 133 крестьянских объединения, в Монголии 40 деревень, а в Боснии было 1 196 отдельных заявителей. Сроки от начала выдачи до первого замера: от 14 месяцев в Боснии до 36 в Эфиопии.
По суммарному доходу домохозяйства итог введения записан коротко: ни одна из шести работ не находит статистически значимого роста. Точечные оценки при этом положительны в четырёх работах из шести. Суммарное потребление мерили четыре работы, и роста не нашла ни одна. В Боснии потребление значимо снизилось, и введение объясняет это механически. Наблюдали 14 месяцев при среднем сроке займа те же 14 месяцев: большинство заёмщиков ещё выплачивали первый заём.
Бизнес двигался, и это тоже надо сказать. У выручки и расходов все 13 точечных оценок положительны, значимы 6. У прибыли семь положительных оценок и один ноль, значима одна. Итог авторы выпуска подвели дословно: «умеренно положительные, но не преобразующие эффекты». Формулировка принадлежит им, а не курсу.
Две работы из семи обошли низкий охват другим способом. В Боснии разыгрывали само одобрение уже поданной заявки, и охват в группе предложения был стопроцентным. В Маниле случайно сдвигали границу кредитного скоринга. Заявителей было 1 601, займы в среднем по 225 долларов, ставка около 60 % годовых, замер через 11-22 месяца. Там число видов деятельности и работников у заёмщиков снизилось. Зато выросли способность справляться с риском, связи в общине и доступ к неформальному кредиту.
Что здесь названо нулём
Хайдарабадское испытание мерило и права женщин, и потребление одним и тем же опросом на 6 862 домохозяйствах. Индекс самостоятельности женщин собран из шестнадцати показателей и дал +0,007 стандартного отклонения. Прирост больше одной двадцатой стандартного отклонения авторы исключают прямо. Потребление в пересчёте на тех, кто заём действительно взял, дало интервал от прироста 60 % до падения 43 %. Первое здесь ноль измеренный, второе величина неизмеренная, и разводит их только ширина интервала.
Причина второй ширины стоит в самой работе, и она арифметическая: разница охвата между группой предложения и контролем составила 8,4 процентного пункта при контроле 18,3 %. Чем задаётся чувствительность прибора в этом поле и почему она у одного испытания разная по разным исходам, целиком разобрал шестой урок. Здесь важно другое: что из этой пары следует для всего выпуска.
Там же стоит и оговорка авторов: многие нулевые результаты входят в интервалы, содержащие экономически значимые величины в одну или в обе стороны. Значит, «шесть испытаний доказали, что микрокредит не работает» это неверная формулировка. Неверна она по словам самих авторов этих шести испытаний. Верная короче: преобразующий эффект исключён, умеренный исключить не удалось.
Кому прибавило
Значимая прибавка прибыли нашлась в одном месте: у семей, которые вели бизнес ещё до прихода кредитора. В Хайдарабаде это +2 105 рупий 2007 года в месяц со стандартной ошибкой 1 100 при контрольном среднем 2 038. Считано на 1 624 наблюдениях через пятнадцать-восемнадцать месяцев после открытия отделения, значимо на десятипроцентном уровне.
Марокканское испытание показало то же с другой стороны. Там 162 деревни разбили на 81 пару похожих, опросили 4 465 домохозяйств на входе и мерили 24 месяца. Эффект на прибыль оказался значимо положительным на верхних квантилях распределения и значимо отрицательным на нижних. Средняя доходность вложенного капитала по прибыли около 140 % без учёта процентов по займу. И при этом четверть взявших уходит в минус.
Объединение всех семи испытаний по микроданным даёт ту же картину числом. Это те же шесть стран и Манила, сроки от 11 до 36 месяцев. Средний эффект на прибыль 6,8 доллара ППС за две недели, края интервала от −3,0 до 24,5. Контрольное среднее в тех же единицах около 95, стандартное отклонение около 160. Это меньше восьми процентов средней прибыли. А у домохозяйств без прежнего бизнеса эффект на прибыль, пишет автор, «почти в точности нулевой на каждой площадке».
И одна строка о том, кто здесь находит ошибки. По Марокко средний эффект на прибыль не пережил более устойчивой процедуры проверки: рандомизационного теста. Написали об этом сами авторы исходной работы, в рукописи ответа на её переанализ, выложенной ими в 2019 году. В исходной статье этот эффект был значим лишь на десятипроцентном уровне.
Работа 2019 года собрала не опубликованные сводки, а микроданные всех семи испытаний, и оценила их байесовской иерархической моделью в единых единицах: долларах по паритету покупательной способности за две недели. Домохозяйствам без бизнеса выручка, расходы и прибыль проставлены нулями намеренно: так гипотеза «у человека не было бизнеса, и заём его создал» получала шанс проявиться в среднем. Там же измерена и переносимость: около 60 % наблюдаемого разброса между странами объясняется обычной выборочной изменчивостью, а не тем, что страны разные.
Самое устойчивое: не то, ради чего всё затевалось
Тридцать лет в этой литературе мерили доход и прибыль. Надёжнее всего установилось совсем другое, и оно противоположно расхожему ожиданию.
В Хайдарабаде считали расходы на «товары искушения»: алкоголь, табак, азартные игры, еду вне дома. Они снизились на 8,785 рупии 2007 года на человека в месяц при стандартной ошибке 4,92 и контрольном среднем 84. Введение выпуска считает по всем работам: пять испытаний оценили десять таких показателей, семь точечных оценок отрицательны, три из них значимы.
В объединённых данных семи испытаний средний эффект по этой статье минус 0,8 доллара ППС за две недели. Края интервала идут от −3,3 до 1,3, то есть ноль он накрывает. Величину p считали двумя способами: при полном объединении и с поправкой на множественность. Из шести сведённых исходов только у этого она в обоих случаях равна нулю до первого знака. Эти две строки взяты из разных моделей: интервал даёт иерархическая, а величины p полное объединение. Сводить их в одну запись нельзя. Знак у объединённой оценки отрицательный, как и у семи точечных оценок из десяти в отдельных работах.
Расхожее «заёмщики пропивают заём» проверялось в пяти испытаниях по десяти показателям и не подтвердилось ни разу. Отметить это стоит отдельно, потому что установлено оно надёжнее, чем любое из обещаний, ради которых испытания затевались.
Чего отсюда не следует
Не следует «микрокредит не работает». Пятый вывод введения выпуска написан прямо. У самых громких обещаний микрокредита опоры мало, и ровно столько же её у самых суровых его критиков. Свидетельств вреда в этих работах почти не нашли, даже при индивидуальной ответственности и даже при ставке 110 % годовых. Найденное названо поимённо: в Боснии значимо упала школьная посещаемость у шестнадцати-девятнадцатилетних, в Эфиопии выросла доля семей, сообщавших о нехватке еды. Обе площадки в выпуске особенные: в Боснии наблюдали ровно один кредитный цикл, в Эфиопии заём равнялся 118 % годового дохода домохозяйства.
Не следует и того, что дело в самих людях. Охват был низким там, где заём предлагали, и стопроцентным там, где разыгрывали одобрение уже поданной заявки. В Боснии суммарный доход домохозяйства не вырос и при полном охвате. Почему спрос оказался втрое ниже ожиданий кредитора, испытание не измеряло. Зато оно точно описало сам продукт: заём на двенадцать месяцев под 24 % годовых, с еженедельным платежом и без всякого сопутствующего обслуживания. Отказ от такого предложения означает решение о нём, а не о кредите вообще.
Не следует, что учёные подтасовали. Ни одна работа этой истории не отозвана и ни в какой фальсификации не уличена. Переанализ Питта и Хандкера сделали экономисты того же поля, а про рандомизационный тест по Марокко написали авторы самой оспоренной работы. Спор здесь идёт о хрупкости приборов и об обращении с крайними значениями, а не о честности.
Измерены исходы у домохозяйств семи стран: 6 862 семьи бедных кварталов Хайдарабада через пятнадцать-восемнадцать месяцев, 4 465 марокканских сельских домохозяйств за двадцать четыре месяца и так далее по каждой площадке. Исходами были факт займа, вложения и прибыль бизнеса, потребление по статьям, школа детей и индексы решений в семье. Отсюда не следует, какой продукт предлагать людям и по какой цене: в измерении нет ни цен другого места, ни того, от чего ради этого откажутся, ни того, что для самих заёмщиков важнее, а решение требует ровно этого. Решают его кредиторы, надзорные ведомства и сами заёмщики, каждый в своих обстоятельствах. Испытание говорит, что случилось в этом месте при этих условиях. Что из этого делать: решение, а не измерение, и курс его не принимает.
Что дальше
Урок оставил в руках две вещи. Первая: число о чужой жизни читается только вместе с тем, как его получили, наблюдением или подстановкой коэффициента. Вторая: «эффекта не нашли» и «эффект исключён» это разные новости, и различает их ширина интервала, а не слово «незначимо».
Дальше модуль идёт от сложного продукта к простому. Урок 17 берёт программу, у которой нет ни ставки, ни срока, ни требования бизнеса: просто деньги без условий. Там лежит точно измеренный ноль на ценах и спор о знаке перетоков, который не разрешён. Урок 18 разбирает противоположный край: программу из шести компонентов сразу и порог, оценённый ценой коровы с телегой.
Ключевые работы
| Banerjee A, Karlan D, Zinman J, American Economic Journal: Applied Economics, введение выпуска | 2015 | Сводное введение к выпуску из шести рандомизированных испытаний микрокредита: шесть стран на четырёх континентах, город и село, разные кредиторы и разные продукты. Таблицами сведены условия займа (ставка от 12 % годовых в Эфиопии до 110 % в Мексике, а первый заём от 6 до 118 % годового дохода домохозяйства), единицы жеребьёвки и сроки (от 14 месяцев в Боснии до 36 в Эфиопии) и результаты по семьям исходов. Ни одна из шести работ не нашла значимого роста суммарного дохода домохозяйства. У выручки и расходов все 13 точечных оценок положительны, значимы 6. По «товарам искушения» из десяти показателей семь отрицательны, три значимы. Итог авторов дословно: «умеренно положительные, но не преобразующие эффекты». Там же сказано, что разрыв охвата опускался до девяти процентов и что многие нулевые результаты неточны. |
| Banerjee A, Duflo E, Glennerster R, Kinnan C, American Economic Journal: Applied Economics | 2015 | Кластерное рандомизированное испытание в бедных кварталах Хайдарабада: 104 квартала, в 52 выбранных жребием открылись отделения кредитора Spandana. Объём: 6 862 домохозяйства на первом замере через пятнадцать-восемнадцать месяцев. Исходы: факт займа, вложения и прибыль бизнеса, потребление по статьям, школа детей, индекс самостоятельности женщин из шестнадцати показателей. Разница охвата 8,4 процентного пункта при контроле 18,3 %. Заём имели 26,7 % домохозяйств, имевших на него право, против 80 %, которых ждал кредитор. Потребление +10,24 рупии 2007 года на человека в месяц при контроле 1 419, интервал на взявших от +60 % до −43 %. Индекс прав женщин +0,007 стандартного отклонения, 95 % интервал от −0,04 до +0,05. Прибыль у семей с прежним бизнесом +2 105 при стандартной ошибке 1 100 и контроле 2 038 на 1 624 наблюдениях. «Товары искушения» −8,785 при ошибке 4,92 и контроле 84. |
| Pitt MM, Khandker SR, Journal of Political Economy | 1998 | Не рандомизированная оценка: структурная модель на праве получить заём по порогу «не более половины акра» земли. Объём: 1 798 домохозяйств в 87 деревнях сельского Бангладеш, три обхода в 1991-92 годах, по одному после каждого рисового сезона. Головной исход: логарифм подушевого потребления домохозяйства. Головное число: потребление растёт на 18 така с каждых 100 така, занятых женщиной, против 11 така у мужчин. Именно из этих коэффициентов получена публичная величина «в типичный год 5 % заёмщиков Grameen поднимаются выше черты бедности». |
| Roodman D, Morduch J, Journal of Development Studies | 2014 | Переанализ работы Питта и Хандкера по её же данным: повторный счёт с другими решениями об обработке, новых людей не измеряли. Перечислено семь дефектов. Ключевой: два максимума правдоподобия схлопываются в один вблизи нуля после удаления шестнадцати наблюдений с наибольшим потреблением, то есть 14 домохозяйств и 0,4 % выборки во взвешенном счёте. Разрыва на границе полакра, на котором держалась идентификация, в данных не нашлось. Вывод авторов: вопросы о влиянии в этих данных решить нельзя, и «отсутствие свидетельства не есть свидетельство отсутствия». Печатный ответ Питта напечатан в том же выпуске журнала, страницы 605-610. Ни одна сторона работу не отзывала. |
| Crépon B, Devoto F, Duflo E, Parienté W, American Economic Journal: Applied Economics | 2015 | Кластерное рандомизированное испытание в сельском Марокко: 162 деревни, разбитые на 81 пару похожих, 4 465 домохозяйств на базовом опросе, 24 месяца от начала работы отделения. Кредитор: некоммерческая организация Al Amana, ставка 14,5 % годовых. Эффект на прибыль значимо положителен на верхних квантилях распределения и значимо отрицателен на нижних. Средняя доходность вложенного капитала по прибыли около 140 % без учёта процентов, при этом четверть взявших уходит в минус. Роста дохода и потребления нет. В ответе 2019 года на переанализ своей работы авторы сообщают, что средний эффект на прибыль не переживает рандомизационного теста. |
| Meager R, American Economic Journal: Applied Economics | 2019 | Байесовская иерархическая модель на микроданных всех семи испытаний микрокредита сразу, в долларах по паритету покупательной способности за две недели. Домохозяйствам без бизнеса выручка, расходы и прибыль проставлены нулями намеренно, чтобы дать шанс проявиться эффекту создания нового бизнеса. Средний эффект на прибыль 6,8 при краях интервала от −3,0 до 24,5 и контрольном среднем около 95. По «товарам искушения» −0,8 при краях от −3,3 до 1,3, и только у этого исхода из шести обе величины p равны нулю до первого знака. У домохозяйств без прежнего бизнеса эффект на прибыль «почти в точности нулевой на каждой площадке». Около 60 % наблюдаемого разброса между странами объясняется выборочной изменчивостью. |
| Karlan D, Zinman J, Science | 2011 | Рандомизация не открытия отделения, а самого решения о выдаче: границу кредитного скоринга сдвигали жребием. Объём: 1 601 заявитель на Филиппинах, займы в среднем по 225 долларов, ставка около 60 % годовых, замер через 11-22 месяца. Число видов деятельности и работников у заёмщиков снизилось, субъективное благополучие слегка ухудшилось. Зато выросли способность справляться с риском, связи в общине и доступ к неформальному кредиту. Работа читана по дословной аннотации, чисел из её таблиц в курсе нет. |
Что подтвердилось, а что нет
Семь рандомизированных испытаний в семи странах на четырёх континентах, первые замеры через 11-36 месяцев после начала выдачи. Ни одна из шести работ выпуска 2015 года не нашла статистически значимого роста суммарного дохода домохозяйства. Из четырёх работ, меривших суммарное потребление, роста не нашла ни одна. Итог авторов выпуска дословно: «умеренно положительные, но не преобразующие эффекты». Оговорка обязательна и принадлежит им же: часть нулевых результатов неточна, и интервалы вокруг них содержат экономически значимые величины.
В Хайдарабаде у семей, которые вели бизнес до прихода кредитора, прибыль выросла на 2 105 рупий 2007 года в месяц при стандартной ошибке 1 100 и контрольном среднем 2 038, на 1 624 наблюдениях через пятнадцать-восемнадцать месяцев, значимо на десятипроцентном уровне. В Марокко за 24 месяца эффект значимо положителен на верхних квантилях прибыли, и это устояло у обеих сторон спора о работе. В объединении семи испытаний у домохозяйств без прежнего бизнеса эффект на прибыль «почти в точности нулевой на каждой площадке».
Пять испытаний выпуска оценили десять показателей трат на «товары искушения»: семь точечных оценок отрицательны, три значимы. В Хайдарабаде это −8,785 рупии 2007 года на человека в месяц при стандартной ошибке 4,92 и контрольном среднем 84, на 6 862 домохозяйствах. В объединении семи испытаний средний эффект −0,8 доллара ППС за две недели с краями от −3,3 до 1,3, и это единственный из шести сведённых исходов, где обе величины p равны нулю до первого знака. Интервал этот даёт иерархическая модель, и ноль он накрывает, а величины p посчитаны при полном объединении. Отрицателен и объединённый эффект, и семь точечных оценок из десяти.
Величину много лет повторял Мухаммад Юнус, и её происхождение записано в репликации 2014 года дословно: это «экстраполяция из оценок коэффициентов» работы Питта и Хандкера 1998 года. Ни одно домохозяйство при этом не наблюдалось переходящим черту. Сама работа устойчивости не показала: результат по бедности исчезает при удалении шестнадцати наблюдений с наибольшим потреблением, то есть 14 домохозяйств, 0,4 % выборки из 1 798. Это не «проверили и не подтвердилось»: работы, из которой можно взять эти пять процентов, нет.
Термины
- разрыв охватаtake-up gap
- Разница между долей людей, получивших вмешательство в группе предложения, и той же долей в контрольной группе. В полевом испытании программы её обычно нельзя довести до единицы: предложение принимают не все. Оценку на принявших получают делением на этот разрыв, и вместе с оценкой делится её ошибка, поэтому маленький разрыв делает интервал широким.
- преобразующий эффектtransformative effect
- Изменение, которое меняет положение домохозяйства качественно, а не на несколько процентов от прежнего уровня. Слово пришло из формулировки авторов сводного введения к выпуску шести испытаний микрокредита и полезно тем, что его можно проверить: надо назвать величину, ниже которой эффект перестаёт быть преобразующим, и посмотреть, исключена ли она интервалом.
- экстраполяцияextrapolation
- Число, полученное подстановкой оценённого коэффициента в расчёт и умножением на численность группы, а не подсчётом наблюдённых людей. Приём законный, когда допущения названы рядом с числом. Но такое число наследует все слабости работы, из которой взят коэффициент, и рушится вместе с ней.
- переанализreanalysis
- Повторный счёт по тем же данным с другими решениями об их обработке: другой оценкой, другим обращением с крайними значениями, другим отбором наблюдений. От повторения испытания отличается тем, что новых людей никто не измеряет. Проверяется не природа, а устойчивость вывода к решениям аналитика.
- выбросoutlier
- Наблюдение с крайним значением, далеко отстоящим от остальных. В денежных исходах это обычно не ошибка записи, а свойство предмета: доходы и прибыли распределены неровно. Поэтому решение о том, что делать с выбросами, входит в результат, и называть его надо вслух вместе с числом.
- тяжёлый хвостfat tail
- Распределение, в котором редкие крупные значения дают заметную часть суммы. Среднее в таких данных плохо оценивается по выборке: оно пляшет от нескольких наблюдений. Поэтому по прибылям мелких хозяйств средняя величина оказывается слабой статистикой, а оценки по квантилям устойчивее.
- внешняя валидностьexternal validity
- Свойство результата переноситься на другое место, время или другого исполнителя. Это не «применимость вообще». Чтобы говорить о ней предметно, надо назвать, чем именно новая площадка отличается от старой: ценой, размером вмешательства, условиями доступа, тем, кто исполняет. Названное отличие можно проверить, общая ссылка на нехватку данных его не заменяет.
- годовая ставкаannual percentage rate
- Стоимость займа, приведённая к году: то, что позволяет сравнить недельные и месячные платежи разных кредиторов. Величина зависит от определения. Одну и ту же мексиканскую программу введение выпуска записало как 110 % годовых, взяв максимальную ставку, а работа, объединившая микроданные испытаний, записала как 100 %, взяв среднее объявленного кредитором диапазона.
Практикум · Разобрать одну публичную заявку на проверяемые утверждения
Упражнение на полчаса и на один документ: пресс-релиз, годовой отчёт программы или заголовок новости. Считать ничего не нужно, и решать ничего не нужно тоже. Цель одна: увидеть, сколько разных утверждений спрятано в одной фразе и какое из них вообще можно проверить измерением.
- Найдите публичное обещание о программе с числом и выпишите его дословно, вместе с тем, кто и когда его произнёс.
- Разложите обещание на отдельные утверждения. В пресс-релизе 2006 года их оказалось четыре, и одно из них (про ценность развития снизу) испытанием не проверяется вовсе.
- Для каждого проверяемого утверждения напишите, что было бы исходом: какая именно переменная, у кого и за какой срок её измеряют.
- Определите про число: это подсчёт наблюдённых людей или подстановка оценённого коэффициента. Если второе, найдите работу, из которой коэффициент взят, и посмотрите, названы ли допущения рядом с числом.
- Выпишите, чего не хватает до полного паспорта: на ком мерили, сколько их было, сколько длилось, что считали исходом и есть ли интервал или стандартная ошибка.
Вопросы для самопроверки
В Хайдарабаде индекс прав женщин дал +0,007 стандартного отклонения с интервалом от −0,04 до +0,05, а потребление на взявших заём дало интервал от +60 % до −43 %. Что это за пара?
- Оба результата дают доказанный ноль: обе точечные оценки лежат вплотную к нулю, а разница в ширине интервалов на вывод не влияет
- Первый исход измерен точно и исключает прирост больше одной двадцатой стандартного отклонения, а второй интервал не исключает почти ничего
- Разница объясняется сроком: права женщин мерили на первом замере через полтора года, а потребление мерили на втором, через три с лишним года после начала
- Второй интервал шире потому, что деньги измеряются менее надёжным прибором, чем составные индексы решений в семье
Откуда взялась величина «в типичный год 5 % заёмщиков Grameen поднимаются выше черты бедности»?
- Из отчётности банка, где ежегодно пересчитывали домохозяйства, перешедшие черту бедности
- Из обследования 1 798 домохозяйств, в котором переход через черту наблюдали напрямую три сезона подряд
- Из подстановки оценённых коэффициентов эконометрической работы в расчёт на всю совокупность заёмщиков
- Из переанализа 2014 года, который пересчитал те же данные робастной оценкой и получил эту долю
Авторы переанализа пишут: «отсутствие свидетельства не есть свидетельство отсутствия». Что из этого следует?
- Что по этим данным вопрос о влиянии не решается ни в одну сторону: рухнула идентификация, а не программа
- Что этим переанализом доказано обратное исходной работе: микрокредит бедность не сокращает
- Что авторы переанализа сняли свои возражения и согласились с исходной работой после ответа её автора
- Что спор закрыт печатным ответом автора исходной работы, вышедшим в том же выпуске журнала
Почему курс не ставит один статус слову «микрокредит»?
- Потому что рандомизированных испытаний слишком мало, чтобы делать обобщение о программе такого масштаба и такого возраста
- Потому что часть работ выпуска не прошла рецензирование, и потому их числа считаются ненадёжными
- Потому что разброс результатов между странами почти целиком объясняется тем, что страны, рынки и кредиторы сильно разные
- Потому что ставки за этим словом идут от 12 до 110 % годовых, а в Монголии два плеча одного испытания дали разное
Семь испытаний не нашли значимого роста суммарного дохода домохозяйства. Какой вывод отсюда сделать нельзя?
- Что преобразующего эффекта на доход в этих шести местах и за эти сроки не нашли
- Что микрокредит никогда и никому из заёмщиков не помогает
- Что часть нулевых результатов неточна, и говорят об этом сами авторы испытаний
- Что у заёмщиков с прежним бизнесом прибавку к прибыли всё-таки нашли и измерили
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Banerjee A., Karlan D., Zinman J. «Six Randomized Evaluations of Microcredit: Introduction and Further Steps». American Economic Journal: Applied Economics, 2015, 7(1):1-21: Читать стоит таблицы 1 и 2: там ставки, сроки, единицы жеребьёвки и охваты всех шести испытаний стоят рядом и сравнимы глазами. Главная для курса строка лежит не в аннотации, а в третьем разделе: разрыв охвата между группами назван главным источником мощности и опускается до девяти процентов.
- Banerjee A., Duflo E., Glennerster R., Kinnan C. «The Miracle of Microfinance? Evidence from a Randomized Evaluation». American Economic Journal: Applied Economics, 2015, 7(1):22-53: Открытая копия лежит в депозите MIT DSpace и совпадает с журнальной вёрсткой. Читать сноски к таблицам: интервалы напечатаны именно там, включая интервал на взявших заём от +60 % до −43 %, которого в самой таблице нет. Пять оговорок о переносимости авторы выписывают сами, и это редкость.
- Roodman D., Morduch J. «The Impact of Microcredit on the Poor in Bangladesh: Revisiting the Evidence». Journal of Development Studies, 2014, 50(4):583-604: Журнал закрыт, но рабочая версия открыта у Center for Global Development. Читать заключение: семь дефектов перечислены списком, а последний абзац отдельно говорит, чего работа не утверждает. Эту часть пересказы теряют чаще всего. Печатный ответ Питта стоит в том же выпуске, страницы 605-610, и его полный текст закрыт.
- Meager R. «Understanding the Average Impact of Microcredit Expansions: A Bayesian Hierarchical Analysis of Seven Randomized Experiments». American Economic Journal: Applied Economics, 2019, 11(1):57-91: Открытая копия лежит в депозите LSE Research Online. Главная таблица вторая: средние эффекты и края интервалов по шести исходам. А величины фона, без которых эффект нечитаем, стоят не в ней, а в тексте: контрольное среднее прибыли около 95 долларов ППС за две недели и стандартное отклонение около 160.
- Crépon B., Devoto F., Duflo E., Parienté W. «Verifying the internal validity of a flagship RCT: a rejoinder». Рукопись, economics.mit.edu, июнь 2019: Открыта. Ценна не спором, а одной фразой в середине: авторы сообщают, что средний эффект на прибыль не переживает рандомизационного теста, тогда как в исходной статье он был значим на десятипроцентном уровне. Там же объясняется, почему обрезка хвоста в таких данных не техническая мелочь.