Естественные эксперименты и разность разностей
Разность разностей, допущение параллельных трендов и то, на чём держится вывод
Естественный эксперимент это ситуация, где распределение по группам произошло по механизму, не связанному с исходом: изменение закона, лотерея, административный порог. Кард и Крюгер сравнили заведения по обе стороны границы штатов: в Нью-Джерси 20,44 и 21,03 работника на заведение, в Пенсильвании 23,33 и 21,17, отсюда разность разностей 2,76 при стандартной ошибке 1,36. Держится расчёт на допущении параллельных трендов.
Card, Krueger, 1994 · Нобелевская премия 2021 · Angrist, Lavy, 1999 · 45 мин · обновлено 01.10.2026
После урока вы сможете
- Проводить расчёт разности разностей на числах и объяснять, что именно даёт контрольная группа
- Называть допущение, на котором держится разность разностей, и способы его защиты
- Показывать на числах, как нарушение параллельных трендов смещает оценку и в какую сторону
- Различать идеи разрывного дизайна и инструментальной переменной по тому, откуда берётся сравнение
Никто не бросит жребий над штатом. Закон о минимальной зарплате принимает законодательное собрание, и принимает не случайно: обычно там, где экономика растёт, где сильны профсоюзы, где через год выборы. Поэтому простое сравнение штатов с высоким и низким минимумом измеряет всё это разом, а до действия закона доходит в последнюю очередь.
1 апреля 1992 года Нью-Джерси поднял минимальную зарплату с 4,25 доллара в час до 5,05. Соседняя Пенсильвания оставила 4,25. Кард и Крюгер опросили заведения быстрого питания по обе стороны границы дважды: до повышения в феврале 1992 года и после него в ноябре и декабре. В первую волну попало свыше четырёхсот заведений.
Вот четыре числа, вокруг которых построен весь урок. Занятость в пересчёте на полную ставку, среднее на заведение. Пенсильвания: было 23,33, стало 21,17. Нью-Джерси: было 20,44, стало 21,03.
Дальше идёт арифметика, и содержание урока в ней целиком.
Два очевидных сравнения, и оба неверны
Сравнение первое: до и после в Нью-Джерси. 21,03 − 20,44 = +0,59. Занятость выросла. Вывод «повышение минимальной зарплаты подняло занятость»? Не следует. За девять месяцев в отрасли происходило многое, что к закону отношения не имеет. Посмотрим на Пенсильванию, где закон не менялся: там за тот же период занятость упала на 2,16. Значит, общий фон был отрицательным, и сравнение «до и после» приписывает закону весь этот фон вместе с его знаком.
Сравнение второе: здесь и там после. 21,03 против 21,17, разница −0,14. Вывод «в штате с высоким минимумом занятость ниже»? Тоже не следует: заведения Нью-Джерси были меньше и до всякого повышения, 20,44 против 23,33. Это сравнение приписывает закону исходное различие штатов, которое существовало до него.
Обратите внимание на устройство ошибки. Каждое из двух сравнений выбрасывает ровно то, что учитывает другое. Первое не видит общего фона. Второе не видит исходного различия. И оба дают числа, которые выглядят как ответ.
Разность разностей
Приём состоит в том, чтобы посчитать в два шага и вычесть одну ошибку другой.
Шаг первый считает изменение в каждом штате. Нью-Джерси: 21,03 − 20,44 = +0,59. Пенсильвания: 21,17 − 23,33 = −2,16.
Шаг второй берёт разность этих изменений. +0,59 − (−2,16) = +2,75.
Тот же результат другим путём, и этот путь понятнее. Контрольная группа нужна затем, чтобы получить величину, которой в данных нет вовсе: чем стал бы Нью-Джерси, если бы закон не менялся. В Пенсильвании занятость упала на 2,16. Принимаем, что без закона Нью-Джерси упал бы на столько же: 20,44 − 2,16 = 18,28. Наблюдалось 21,03. Разница: 21,03 − 18,28 = +2,75.
В самой статье приведено 2,76. Расхождение чисто арифметическое, оно идёт от округления исходных средних до сотых. Полезная мелочь, чтобы не пугаться, когда собственный пересчёт даёт не последнюю цифру источника. Стандартная ошибка оценки равна 1,36, то есть оценка отстоит от нуля примерно на две стандартные ошибки, на самой границе обычного порога. Отсюда и осторожная формулировка авторов: свидетельств снижения занятости не обнаружено. Это не то же самое, что «доказано, что занятость выросла», и разница между двумя формулировками и есть тот самый случай, ради которого написан весь курс.
Заметьте, чего в расчёте нет. Нет предположения, что штаты одинаковы: исходные уровни различаются на без малого три работника, и это ничему не мешает, потому что постоянное различие вычитается на первом шаге. Нет предположения, что в отрасли ничего не происходило: происходило, и на 2,16, а общий фон вычитается на втором шаге. Предполагается ровно одна вещь, и ей посвящён следующий раздел.
Допущение параллельных трендов
Разность разностей держится на одном допущении: без изменения закона занятость в двух штатах изменилась бы одинаково. Не была бы одинаковой, а изменилась бы одинаково. Это допущение о мире, которого не было, и проверить его напрямую нельзя: тот самый период, за который его следовало бы проверять, испорчен вмешательством.
Посмотрим на числах, чего оно стоит. Пусть на самом деле экономика Нью-Джерси в тот год шла лучше пенсильванской и без всякого закона занятость там оказалась бы выше на 1,0 работника. Тогда контрфактическое значение не 18,28, а 20,44 − 2,16 + 1,0 = 19,28, и истинный эффект закона выходит 21,03 − 19,28 = +1,75, а не 2,75. Пусть наоборот: Нью-Джерси шёл хуже и без закона потерял бы на 1,0 больше. Контрфактическое значение 17,28, эффект +3,75.
Одно и то же наблюдение даёт оценки от 1,75 до 3,75 в зависимости от того, что предполагается о ненаблюдаемом тренде. Смещение при этом не случайное: его знак задаётся знаком расхождения трендов. Оценка разности разностей ровно настолько надёжна, насколько защищено допущение, и не более.
Ломают допущение четыре типовые вещи. Разная структура и разная фаза цикла: штаты с непохожими отраслями и без закона расходятся. Ожидание: о повышении объявляют заранее, и заведения могут начать приспосабливаться до 1 апреля, и тогда испорчен уже замер «до». Одновременное другое изменение: если в одном из штатов в те же месяцы поменяли ещё что-нибудь заметное, разность разностей припишет закону и это. Изменение состава выборки: если между волнами часть заведений закрылась и выпала из опроса, сравниваются уже не те же самые объекты.
Защищают допущение тремя способами, и все три косвенные. Смотрят предварительные тренды: берут несколько периодов до вмешательства и проверяют, шли ли линии параллельно. Ставят плацебо-проверку: считают ту же разность разностей для периода, когда ничего не менялось, и ждут нуля. Берут несколько контрольных групп и смотрят, устойчив ли ответ. Ни одна из трёх проверок допущение не доказывает: параллельность в прошлом не обязана продолжиться, и совпадение до вмешательства повышает правдоподобие, а не устанавливает истину.
И граница метода, которую видно на этом же сюжете. Шестнадцатый урок разобрал, что стало с оценкой, когда Ноймарк и Вашер (2000) взяли те же штаты и тот же промежуток, но другой источник данных и другое определение занятости: знак перевернулся. Здесь важна вторая половина того же наблюдения. Разность разностей в обеих работах сделана по одной и той же процедуре, и спор шёл не о ней. Метод отвечает на вопрос «с чем сравнивать» и не отвечает на вопрос «что именно считать», а от второго ответ зависит не слабее, чем от первого.
Отсюда правило чтения: у безупречно проведённой разности разностей две уязвимые точки, а не одна. Первая из них это допущение параллельных трендов, и её обсуждают всегда. Вторая, определение измеряемой величины, почти никогда не обсуждается, хотя перевернуть знак она способна ровно так же.
Прежде чем разбирать, кто прав, стоит выяснить, одну ли величину стороны измеряли. «Занятость» означает не одну величину: число работников, число оплаченных часов, число рабочих мест с полной ставкой ведут себя по-разному при одном и том же поведении работодателя. Этот вопрос закрывает больше публичных споров об экономике, чем любая техническая проверка.
Два других приёма на уровне идеи
Разность разностей не единственный способ найти сравнение в готовой реальности. Ещё два достаточно знать по устройству, без техники.
Разрывный дизайн. Решение принимается по порогу. Правило Маймонида, действующее в государственных школах Израиля, ограничивает класс сорока учениками. Пока в параллели 40 детей, класс один, и в нём сорок человек. Стоит появиться сорок первому, и параллель делится, получаются два класса, по 20 и 21. Один ребёнок разницы в наборе даёт двукратную разницу в размере класса. При этом параллель из 40 и параллель из 41 практически не отличаются друг от друга ничем другим. Ангрист и Лави (1999) воспользовались этим скачком, чтобы оценить влияние размера класса на результаты тестов: у четвероклассников и пятиклассников уменьшение класса результаты повышало, а у третьеклассников нет. Идея приёма: у самой границы порога сравнение почти так же хорошо, как жребий. И ровно поэтому вывод относится к тем, кто у границы, а не ко всем: о классе в пятнадцать человек он не говорит ничего.
Инструментальная переменная. Нужна величина, которая влияет на интересующее воздействие, но на исход действует только через него. Ангрист (1990) воспользовался лотереей призыва во время войны во Вьетнаме: номер в лотерее не зависит ни от способностей человека, ни от происхождения, но меняет вероятность службы. По административным данным социального обеспечения заработки белых ветеранов в начале 1980-х оказались примерно на 15 % ниже, чем у сопоставимых неветеранов. Требование «влияет на исход только через воздействие» это допущение, а не измеряемый факт: если лотерея меняла ещё и учебные планы тех, кто не служил, оно нарушено. Защищают его рассуждением о механизме, и главное, что стоит оценивать в подобной работе, это качество такого рассуждения.
У всех трёх приёмов общая логика: найти механизм распределения по группам, не связанный с исходом. Общим оказывается и слабое место. Утверждение о том, что механизм действительно не связан, приходится обосновывать, а не объявлять.
Что спрашивать у естественного опыта
Курс статистики этой школы разбирает естественные эксперименты как род свидетельства: почему жребий, брошенный кем-то другим, работает так же, как свой, и какие типы таких ситуаций бывают. Наш вклад состоит в вопросах к конкретной экономической работе.
Кто здесь контрольная группа и почему выбрана именно она? Что распределило объекты по группам и может ли это быть связано с исходом? Какая величина измерена и не ответит ли соседняя величина иначе? На каком допущении держится вывод и чем оно защищено, кроме слов? К кому относится полученная оценка: ко всем или к тем, кто у порога?
На тренажёре к этому уроку четыре числа можно менять и смотреть, что происходит с выводом. Как меняется ответ, если контрольная группа шла своим трендом. Почему разные исходные уровни расчёту не мешают. И какой ответ получился бы из сравнения «до и после» без контрольной группы вовсе.
Две группы, два момента
В одном штате закон изменили, в соседнем нет. Посмотрите, чем оценка по разности разностей отличается от простого сравнения «до и после» и когда она врёт.
Ключевые работы
| Card, Krueger, «Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania», NBER Working Paper 4509 | 1994 | Повышение минимальной зарплаты в Нью-Джерси с 4,25 до 5,05 доллара в час с 1 апреля 1992 года при неизменной Пенсильвании. Занятость на заведение: 20,44 → 21,03 и 23,33 → 21,17. Разность разностей +2,76 при стандартной ошибке 1,36. Свидетельств снижения занятости не обнаружено. |
| Neumark, Wascher, «Minimum Wages and Employment: …: Comment», American Economic Review 90(5), 1362-1396, ранее NBER Working Paper 5224 | 2000 | Пересчёт того же эпизода на административных данных фонда оплаты труда из 230 заведений: противоположный знак эффекта. Зависимой переменной взяты суммарные оплаченные часы, а не число работников. |
| Angrist, Lavy, «Using Maimonides' Rule to Estimate the Effect of Class Size on Scholastic Achievement», Quarterly Journal of Economics 114(2) | 1999 | Предел наполняемости класса в 40 учеников создаёт скачок размера класса при переходе через порог: уменьшение класса повышало результаты у четвероклассников и пятиклассников и не повышало у третьеклассников. |
| Angrist, «Lifetime Earnings and the Vietnam Era Draft Lottery», American Economic Review 80(3) | 1990 | Лотерея призыва как инструментальная переменная для оценки влияния службы на заработки: по административным данным заработки белых ветеранов в начале 1980-х были примерно на 15 % ниже, чем у сопоставимых неветеранов. |
Что подтвердилось, а что нет
Кард и Крюгер (1994) на телефонном опросе заведений по обе стороны границы Нью-Джерси и Пенсильвании снижения занятости не обнаружили. Оценка разности разностей оказалась даже положительной, +2,76 при стандартной ошибке 1,36. Ноймарк и Вашер (2000) на административных данных фонда оплаты труда получили отрицательный эффект. Обе работы выполнены компетентно, а расходятся у них источник данных и то, что считается занятостью: число работников против оплаченных часов. Литература с тех пор выросла многократно, но согласия по величине и знаку эффекта в общем случае нет.
Ни один из двух лагерей не может предъявить свидетельство, снимающее возражения другого, и это положение держится тридцать лет. Отдельные эпизоды разобраны хорошо, а обобщение на «минимальную зарплату вообще» не выходит: величина эффекта зависит от того, насколько сильно повышение относительно местного уровня зарплат, от отрасли, от состояния рынка труда и от того, какую именно величину измеряют. Утверждение, что вопрос закрыт, требуется проверять независимо от того, в чью пользу он якобы закрыт.
Держится в узкой форме: параллельность в прошлом даёт довод в пользу правдоподобия допущения, и её отсутствие почти всегда означает, что расчёту верить нельзя. В широкой форме утверждение неверно, потому что допущение относится к периоду после вмешательства, а именно этот период проверить и нельзя. Достаточно, чтобы одновременно с законом изменилось что-то ещё в одном из штатов, и линии, десять лет шедшие параллельно, разойдутся. Проверка предварительных трендов отсеивает плохие случаи и не удостоверяет хорошие.
Термины
- естественный экспериментnatural experiment
- Ситуация, где распределение по группам произошло по механизму, не связанному с исходом: изменение закона, лотерея, административный порог, граница.
- контрольная группаcontrol group
- Объекты, не затронутые вмешательством, по которым восстанавливают, что произошло бы с затронутыми в его отсутствие. То же самое, что группа сравнения из третьего урока: два имени одного понятия, и курс пользуется обоими.
- разность разностейdifference-in-differences
- Оценка эффекта как разности между изменением в затронутой группе и изменением в контрольной. Снимает постоянные различия групп и общий для обеих фон.
- допущение параллельных трендовparallel trends assumption
- Предположение, что без вмешательства обе группы изменились бы одинаково. Относится к изменению, а не к уровню, и по данным периода вмешательства не проверяется.
- предварительные трендыpre-trends
- Поведение групп за несколько периодов до вмешательства. Расхождение опровергает допущение, совпадение лишь повышает его правдоподобие.
- разрывный дизайнregression discontinuity design
- Использование административного порога, по обе стороны которого объекты почти не различаются, а обращаются с ними по-разному. Вывод относится к тем, кто у границы.
- инструментальная переменнаяinstrumental variable
- Величина, влияющая на воздействие и действующая на исход только через него. Второе свойство остаётся допущением, которое обосновывают механизмом, а не проверяют расчётом.
- измеряемая величинаoutcome variable
- То, что в работе принято за исход: число работников, оплаченные часы, результаты тестов. Выбор величины способен изменить знак результата.
Практикум · Разность разностей своими руками
Задание на тренажёре и на бумаге. Цель в том, чтобы увидеть, что даёт контрольная группа, и почувствовать, сколько стоит допущение о параллельных трендах. Тридцать-сорок пять минут.
- Откройте тренажёр и введите числа Карда и Крюгера: Нью-Джерси 20,44 и 21,03, Пенсильвания 23,33 и 21,17. Проверьте, что разность разностей вышла +2,75, и запишите оба пути расчёта, через разность изменений и через контрфактическое значение 18,28.
- Не трогая Нью-Джерси, поменяйте изменение в Пенсильвании: сделайте его нулевым, затем положительным. Запишите три полученные оценки эффекта и одной фразой сформулируйте, чем именно управляет контрольная группа.
- Поднимите исходный уровень Пенсильвании на пять работников, оставив её изменение прежним. Убедитесь, что оценка не сдвинулась, и запишите, почему различие уровней расчёту не мешает, а различие трендов мешает.
- Найдите реальный случай, где правило изменилось в одном месте и не изменилось в соседнем: тариф, налог, режим работы, ограничение движения, школьное расписание. Назовите затронутую и контрольную группы и величину, которую вы стали бы измерять.
- Для своего случая выпишите две вещи: одно обстоятельство, из-за которого тренды могли разойтись и без изменения правила, и одну соседнюю величину, которая могла бы дать противоположный ответ. Например, оплаченные часы против числа работников.
Вопросы для самопроверки
В Нью-Джерси занятость на заведение выросла с 20,44 до 21,03. Какой вывод из одного этого числа сделать нельзя?
- Что в обследованных заведениях Нью-Джерси занятость в среднем выросла на 0,59
- Что изменение произошло между февралём и ноябрём 1992 года
- Что для вывода о действии закона нужна группа сравнения
- Что повышение минимальной зарплаты подняло занятость
Нью-Джерси +0,59, Пенсильвания −2,16, разность разностей +2,75. Что означает это число?
- Что в Нью-Джерси стало на 2,75 работника на заведение больше, чем в Пенсильвании: это разрыв между двумя штатами
- Что занятость в Нью-Джерси оказалась на 2,75 выше уровня, который следовал бы из общего с Пенсильванией тренда
- Что закон создал по 2,75 рабочего места в каждом заведении
- Что разрыв между двумя штатами вырос до 2,75 работника
Что именно предполагает разность разностей?
- Что уровни занятости в двух штатах до вмешательства совпадали
- Что выборки заведений в обоих штатах случайны
- Что без вмешательства занятость в обоих штатах изменилась бы одинаково
- Что в отрасли за период наблюдения ничего не менялось
Допустим, экономика Нью-Джерси и без закона дала бы на 1,0 работника больше, чем пенсильванская. Что произойдёт с оценкой в +2,75?
- Она окажется завышенной: истинный эффект +1,75
- Она окажется заниженной: собственный рост Нью-Джерси нужно прибавить, и истинный эффект составит +3,75
- Она не изменится: разность разностей устраняет различия между штатами
- Оценку в этом случае посчитать нельзя: расхождение трендов делает разность разностей неприменимой
Кард и Крюгер измеряли число работников по телефонному опросу, а Ноймарк и Вашер брали оплаченные часы по платёжным записям, и знаки эффекта разошлись. Что это значит?
- Что одна из команд ошиблась в расчётах
- Что телефонные опросы непригодны для экономических измерений: платёжные записи всегда точнее, и при расхождении верить надо им
- Что вопрос о влиянии минимальной зарплаты на занятость наконец решён
- Что измерялись разные величины: сокращение часов при сохранении числа работников видно во втором способе и невидимо в первом
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Card, Krueger, «Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania», 1994: Первоисточник разбираемых чисел. В таблице 3 стоит та самая четвёрка значений, на которой строится весь расчёт урока.
- Neumark, Wascher, «Minimum Wages and Employment: … : Comment», American Economic Review, 2000: Противоположный результат на административных данных. Читать вместе с предыдущей: расхождение в определении измеряемой величины видно только при сопоставлении.
- Курс статистики этой школы, урок 17 «Как устанавливают причину»: Естественные эксперименты как род свидетельства: четыре типа ситуаций и общее для всех слабое место.