Нобелевская премия по экономике 2019
Что именно наградили в 2019-м, сколько таких оценок вышло за пятнадцать лет и что обязано стоять рядом с любой величиной об исходах у людей
Нобелевская премия по экономике 2019 года дана Банерджи, Дюфло и Кремеру за экспериментальный подход к смягчению бедности. Официально это премия Банка Швеции памяти Нобеля, и наградили метод, а не вывод: полевые рандомизированные испытания, где большой вопрос дробят на малые и проверяют на тех, кого дело касается. Урок собирает и паспорт числа: рядом с величиной об исходах у людей должно стоять, на ком мерили, сколько их было, сколько длилось и что считали исходом. У трёх чисел из пресс-релиза этих строк нет.
Пресс-релиз Королевской шведской академии наук и научная справка комитета, 2019 · Муралидхаран и Нихаус 2017 · Эванс и Юань 2022 · 25 мин · обновлено 24.09.2026
После урока вы сможете
- Собирать паспорт числа из четырёх обязательных строк и называть, какой из них нет
- Читать величину в долях стандартного отклонения по линейке поля, а не как проценты
- Объяснять, почему «метод захватил поле» и «двадцать девять оценок программ» верны оба
- Отличать самоотчёт организации от измеренной величины
- Читать раскрытие конфликта интересов как раскрытие, а не как обвинение
Четырнадцатого октября 2019 года Королевская шведская академия наук напечатала пресс-релиз. Премию Банка Швеции по экономическим наукам памяти Альфреда Нобеля получили трое: Абхиджит Банерджи, Эстер Дюфло и Майкл Кремер. Формулировка одна: «за их экспериментальный подход к смягчению глобальной бедности». Сумма премии девять миллионов шведских крон, поровну на троих.
В том же пресс-релизе стоят четыре числа. Более семисот миллионов человек по-прежнему живут на крайне низкие доходы. Около пяти миллионов детей младше пяти лет ежегодно умирают от болезней, которые часто можно было предотвратить или вылечить недорогими средствами. Половина детей мира выходит из школы без базовой грамотности и счёта. И четвёртое: как прямой результат одного из исследований лауреатов, больше пяти миллионов индийских детей получили пользу от программ дополнительных занятий.
Ссылки на источник нет ни у одного из первых трёх. Что считается крайне низким доходом, тоже не сказано. В научной справке комитета (отдельном документе на 34 страницы, вышедшем в тот же день) частично раскрыто только третье: это оценка Института статистики ЮНЕСКО 2017 года. Откуда взяты первые два, не сказано ни там, ни там.
Этот урок о четырёх строках, которые обязаны стоять рядом с числом об исходах у людей. И о линейке: сколько считать много, если эффект меряют в долях стандартного отклонения.
Что именно назвали методом
Определение стоит в сноске на третьей странице научной справки. Рандомизированное контролируемое испытание названо там способом оценить причинное воздействие вмешательства, программы или политики. Полевое испытание это то же самое, но участники делают выбор в своей обычной повседневной обстановке. Разница в одном слове, и она существенна: мерится поведение людей, живущих своей жизнью.
Суть подхода комитет описал так. Вопрос дробится на меньшие и более управляемые, скажем, какие вмешательства действеннее для школьных результатов или для детского здоровья. На такие меньшие и более точные вопросы отвечают тщательно устроенными экспериментами среди тех, кого дело касается больше всех.
Премия при этом дана за подход, а не за вывод. И слово в формулировке: «смягчение», а не «искоренение». Официальное имя премии тоже стоит назвать один раз: это премия Банка Швеции памяти Альфреда Нобеля, учреждённая отдельно от завещанных Нобелем премий. В самом пресс-релизе академия слов «Нобелевская премия» применительно к ней не употребляет.
И комитет сам пишет, что метод не нов. Век назад его опробовали исследователи сельского хозяйства на посевах. В послевоенное время он сросся с клиническими испытаниями. В экономике важные рандомизированные испытания предшествовали взрыву экспериментальной работы в развитии: опыты с отрицательным подоходным налогом, эксперимент RAND о медицинском страховании, серия экспериментов с реформой пособий, дошкольный проект Перри и школьный проект STAR.
Научная справка комитета вышла в день объявления премии и занимает 34 страницы. Собственных измерений в ней нет, а числа берутся из чужих работ. При сплошном чтении в ней нашлась ошибка. На двенадцатой странице работа о стимулах учителям процитирована с неверным соавтором, а в списке литературы на тридцать третьей тот же соавтор назван правильно. Содержания это не меняет, но годится как напоминание: официальный документ комитета тоже документ, и проверять его надо так же, как всякий другой.
Четыре строки рядом с числом
Правило курса выглядит так. Всякая величина об исходах у людей (смертность, посещаемость, доход, потребление, баллы, заражённость) называется вместе с четырьмя вещами. На ком мерили. Сколько их было. Сколько длилось наблюдение. И что именно считали исходом. Стоять всё это обязано в том же предложении или в соседнем, а не через абзац.
Приложим правило к трём числам пресс-релиза. У «более семисот миллионов на крайне низких доходах» нет ни черты, ни базы паритетов, ни года базы. У «половины детей мира» нет ни выборки, ни определения базовой грамотности. Ни одной из четырёх строк нет ни у одного из трёх. Это не значит, что числа выдуманы. Это значит, что проверить их читателю нечем.
Четвёртая строка стоит отдельно, потому что подменяют чаще всего именно её. В кенийской дегельминтизации исходом было присутствие ребёнка в школе, а не его умение, и десятый урок разбирает это подробно. В известной кенийской работе об удобрении исходом было бинарное «вносил или не вносил»: ни урожая, ни дохода там не измеряли вовсе, и это девятнадцатый урок. Заголовок в обоих случаях говорит одно, а измерено другое.
И пятое, что обязано стоять рядом с величиной. Это интервал или стандартная ошибка. Значимость без величины не результат вовсе, а величина без интервала только половина результата. Если первоисточник второй половины не печатает, курс говорит это вслух, а не молчит.
Линейка: сколько это, ноль целых одна десятая
Эффекты в этом поле часто выражают в долях стандартного отклонения. Причина простая: балл теста в одной стране и в другой прямо не сравнить. Поэтому разность средних делят на разброс исхода и получают число без единицы. Оно говорит, насколько сдвинулась группа по сравнению с тем, насколько люди внутри неё различаются между собой.
Линейку даёт свод Эванса и Юань 2022 года. Это не одно исследование, а распределение стандартизованных величин эффекта по 234 работам в странах низкого и среднего дохода. Исходов там два: обучение и доступ к школе. Медиана среди рандомизированных испытаний вышла 0,10 стандартного отклонения на обучении и 0,07 на доступе. У квазиэкспериментальных работ величины близкие.
Последняя строка того же вывода объясняет многое. У малых испытаний эффекты больше, а разброс шире, чем у крупных. То есть громкое число из небольшой работы не редкая удача, а ожидаемое свойство небольших работ.
Пользоваться линейкой просто. Величина в 0,05 равна половине медианы поля, дело обычное. Величина в 0,7 равна семи медианам, и такие в этом поле почти не встречаются. Подавать её надо именно так, а не как «стало лучше на семь десятых».
Линейка режет в обе стороны. Величина ниже медианы не «ничего»: половина всего, что поле нашло, лежит ниже неё. Величина выше медианы ещё не важный результат: важность зависит от того, во что она обходится и насколько широк её интервал. Линейка говорит только, часто ли такие числа встречаются.
Чего у медианы нет, так это интервала. Источник приводит медиану распределения чужих оценок, а не оценку параметра со своей ошибкой. По мерке курса это половина результата, и вторую половину здесь взять неоткуда.
Доля стандартного отклонения и доля от величины обозначаются похоже, а означают разное. Запись 0,10 σ не значит «на десять процентов лучше» и вообще ничего не говорит о процентах: это сдвиг на одну десятую того разброса, который есть между людьми внутри группы. Перевести одно в другое можно, только зная и разброс, и среднее в контроле, а печатают их не всегда. Проверка на себя: если в тексте стоит σ или SD, а рядом слово «процентов», ищите, что именно на что поделено.
Двадцать девять оценок за пятнадцать лет
В документах комитета сказано: экспериментальные методы лауреатов теперь полностью доминируют в экономике развития. За два года до премии двое экономистов, Муралидхаран и Нихаус, посчитали это доминирование вручную. Они закодировали все рандомизированные испытания, проведённые в развивающихся странах и напечатанные в пяти ведущих журналах с января 2001 по июль 2016 года. Учитывались только те, что сами счётчики отнесли к оценкам программ, в отличие от механизменных экспериментов.
Таких работ оказалось двадцать девять. Оба утверждения при этом верны и говорят о разном. Первое о том, чем занимается поле и что печатают журналы, второе о том, сколько за пятнадцать лет в пяти самых заметных журналах вышло оценок конкретных программ. Противоречия между ними нет, есть разница в счёте: механизменный эксперимент тоже испытание, и в двадцать девять он не входит.
В той же таблице стоит остальное. Медианная оценка была представительна для популяции около 10 900 единиц. Вмешательство доставлялось 5 340 единицам. Рандомизация шла кластерами медианно по 26 единиц, а самая крупная средняя единица рандомизации, которую авторы нашли, содержала 2 500 домохозяйств.
И одно число, которое стоит держать в голове весь курс. Только 31 процент этих работ вообще заявлял, что выборка взята из более широкой популяции. Остальные о своей рамке выборки не говорили ничего. Значит, у вопроса «на кого это распространяется» в двух работах из трёх нет ответа в самой работе.
Вывод авторов подсчёта записан осторожно. Основная масса оценок программ проведена на таких масштабах рандомизации, при которых эффекты общего равновесия, политэкономические эффекты и прочие перетоки вряд ли улавливаются полностью, если они вообще есть. Это утверждение о приборе, а не о программах.
Числа, у которых нет работы
Вернёмся к числам из пресс-релиза. Фраза «Половина детей мира выходит из школы без базовой грамотности и счёта» дана без ссылки. В научной справке рядом стоит оценка Института статистики ЮНЕСКО 2017 года, но самого этого документа база курса не держит. Значит, паспорта у числа нет, и статус ему ставится соответствующий.
Второе такое же число касается охвата. Организация J-PAL, вокруг которой сложился институциональный контур поля, пишет о себе: более 850 миллионов человек охвачены программами и политиками, на которые повлияли оценки её аффилированных исследователей. В октябре 2019 года научная справка комитета писала «более 400 миллионов» и тут же добавляла от себя: это лишь одна метрика, и она не включает работу экономистов развития, с организацией не аффилированных.
За семь лет число выросло вдвое с лишним. Считается оно как охват программ, к которым причастны исследования, а не как число людей, чью жизнь изменило исследование. Ни на ком мерили, ни сколько их было, ни сколько длилось, ни что было исходом: ничего этого рядом нет.
Рядом лежит второе несовпадение. J-PAL заявляет 2 300 с лишним идущих и завершённых рандомизированных оценок в ста странах, а публично просматриваемая база содержит 1 200 с лишним описаний. Разница не обман, а разница между «наши исследователи провели» и «мы описали на сайте». Но подавать 2 300 как проверяемое число нельзя.
Организация описывает себя как сеть: более 1 100 исследователей в более чем 130 университетах, семь региональных офисов. Там же сказано главное для чтения любых её чисел: аффилированные профессора сами задают свою исследовательскую повестку и сами собирают деньги на свои оценки. Значит, фраза «J-PAL провёл испытание» строго говоря неверна: испытание проводит отдельный аффилированный исследователь на собственные гранты. И все перечисленные числа взяты из самоотчёта, а не из аудита: со стороны их никто не проверял.
Кто изучал и кто продвигает
Ещё один факт берётся из документа премии, а не из пересказов. В сноске научной справки перечислен институциональный контур поля. Дин Карлан соучредил Innovations for Poverty Action, организацию, которая помогает исследователям ставить и проводить эксперименты. Эдвард Мигель соучредил Center for Effective Global Action. А Дюфло и Кремер соучредили Deworm the World (ныне часть Evidence Action), организацию, созданную, чтобы превратить в действие свидетельства из раннего испытания дегельминтизации Мигеля и Кремера.
То есть двое из трёх лауреатов соучредили организацию, продвигающую вмешательство, изученное в их собственной работе. Ни обвинения, ни нарушения здесь нет. Поле требует такие обстоятельства называть, и здесь они названы в официальном документе премии. Пользы от этого ровно столько: после такого раскрытия читать надо внимательнее.
В той же справке есть сноска на двадцатой странице, и она о другом. Дословно: эти эффекты, однако, отчасти вызваны ошибкой в коде. Речь о внешних эффектах того же кенийского испытания на расстоянии от трёх до шести километров от школы. Что стало с числами, разбирает одиннадцатый урок. Здесь важен сам факт.
Вывод отсюда не тот, который напрашивается. Ошибку нашли не разоблачители со стороны. Данные отдали сами авторы, перепроверку напечатал рецензируемый журнал, а комитет, присуждавший премию за метод, записал её результат в собственный документ. Премия дана за метод, и метод сработал в том числе против знаменитой работы одного из лауреатов.
Чего отсюда не следует
Соберём, что вышло. Паспорт числа состоит из четырёх строк: на ком, сколько их, сколько длилось, что было исходом. Линейку поля задаёт медиана в образовании, 0,10 стандартного отклонения, и получена она сводом работ, а не одним исследованием. И масштаб: двадцать девять оценок программ в пяти журналах за пятнадцать лет, медианный кластер в 26 единиц.
Три эти вещи работают вместе, и порознь каждая обманчива. Паспорт без линейки оставляет читателя с величиной, которую не с чем сравнить. Линейка без паспорта позволяет сравнить несравнимое: две работы, мерившие разное и на разных людях. А масштаб без первых двух превращается в довод «это же всего двадцать девять работ», из которого не следует ничего.
Из числа без паспорта не следует, что оно ложное. Следует другое: проверить его нечем. «Проверили и не подтвердилось» и «проверять было нечего» это разные новости, и курс их нигде не смешивает.
Из линейки не следует, какое вмешательство предпочесть. Медиана говорит, какая величина в этом поле редкая, а какая обычная. О том, сколько стоит получить такую величину в другом месте и из какого бюджета, линейка не говорит ничего.
И из масштаба не следует, что оценки бесполезны. Следует, что они отвечают на вопрос своего размера. Отдельный вопрос, что происходит, когда программа выходит за этот размер, и курс дойдёт до него в восьмом модуле.
Измерено в этом уроке вот что: 234 работы в странах низкого и среднего дохода дали медиану 0,10 стандартного отклонения на обучении, а сплошной подсчёт по пяти журналам за пятнадцать лет описал масштабы, на которых поле работало. Отсюда не следует ни одно решение о том, какую программу заводить и где. Такое решение требует того, чего в линейке и в подсчёте нет: цены этой величины в другом месте, чужого бюджета и того, от чего ради неё откажутся, и того, кто будет исполнять. Исполнитель в этом поле измеряется отдельно, и курс до этого дойдёт. Принимают такое решение те, кто распоряжается бюджетом программы, и те, для кого она делается. Испытание говорит, что случилось в этом месте при этих условиях. Что из этого делать: решение, а не измерение, и курс его не принимает.
Что дальше
Три правила курса собраны. Спрашивать, с чем сравнивали. Смотреть, какому утверждению ставится оценка. И требовать рядом с числом четыре строки паспорта.
Следующий модуль разбирает полевое испытание по частям и начинает с самого слова «рандомизированное». Обещает оно меньше, чем принято думать: жребий не уравнивает группы, а даёт основание посчитать величину ошибки. А опорное испытание поля жребием и вовсе не было: фактическую процедуру распределения напечатали через одиннадцать лет и в чужом журнале.
Ключевые работы
| Королевская шведская академия наук, пресс-релиз о премии по экономическим наукам 2019 года | 2019 | Не исследование, а документ о присуждении премии: 14 октября 2019 года лауреатами объявлены Абхиджит Банерджи, Эстер Дюфло и Майкл Кремер «за их экспериментальный подход к смягчению глобальной бедности», сумма 9 миллионов шведских крон поровну на троих. Разбирается как источник четырёх чисел. Три из них идут без ссылки: более 700 миллионов человек на крайне низких доходах, около 5 миллионов смертей детей младше пяти лет в год, половина детей мира выходит из школы без базовой грамотности и счёта. Черта, по которой считаются низкие доходы, в документе не названа. Там же описана суть подхода: вопрос дробится на меньшие и более точные, а отвечают на них тщательно устроенными экспериментами среди тех, кого дело касается больше всех. Читаны страница nobelprize.org и PDF-дубль. |
| Комитет по премии по экономическим наукам памяти Альфреда Нобеля, научная справка «Understanding Development and Poverty Alleviation» | 2019 | Обзорный документ на 34 страницы, вышедший в день объявления премии. Собственных измерений в нём нет, числа берутся из чужих работ. Разобран целиком. Отсюда взяты определение полевого испытания из сноски на третьей странице и перечень предшественников метода, которым комитет сам показывает, что метод не нов. Взяты и две сноски. В одной перечислен институциональный контур поля и названо, что двое лауреатов соучредили организацию, продвигающую изученное ими вмешательство. В другой, на двадцатой странице, сказано, что внешние эффекты кенийского испытания на расстоянии 3-6 км отчасти вызваны ошибкой в коде. Там же собственная оговорка комитета к числу охвата: это лишь одна метрика, и она не включает работу неаффилированных экономистов развития. В самом документе есть и своя ошибка: на двенадцатой странице работа о стимулах учителям процитирована с неверным соавтором, а в списке литературы на тридцать третьей он назван правильно. |
| Muralidharan K, Niehaus P, Journal of Economic Perspectives | 2017 | Сплошной ручной подсчёт, а не отдельное исследование. Авторы закодировали все рандомизированные испытания, проведённые в развивающихся странах и напечатанные в Econometrica, American Economic Review, Quarterly Journal of Economics, Review of Economics and Statistics и Journal of Political Economy с января 2001 по июль 2016 года и отнесённые ими к оценкам программ, в отличие от механизменных экспериментов. Таких работ 29. Медианная оценка была представительна для популяции около 10 900 единиц, вмешательство доставлялось 5 340 единицам, рандомизация шла кластерами медианно по 26 единиц, а самая крупная средняя единица рандомизации содержала 2 500 домохозяйств. Только 31 % работ заявляли, что выборка взята из более широкой популяции. Вывод авторов: на таких масштабах рандомизации эффекты общего равновесия и прочие перетоки вряд ли улавливаются полностью. Полный текст читан по рабочему документу NBER 23957. Медиана рамки выборки в двух выписках из одной таблицы прочитана как 10 885 и как 10 815, и потому названа округлённо. |
| Evans DK, Yuan F, Educational Evaluation and Policy Analysis | 2022 | Свод работ, а не отдельное исследование: распределение стандартизованных величин эффекта на обучение и на доступ к школе по 234 работам в странах низкого и среднего дохода. Медиана среди рандомизированных испытаний составляет 0,10 стандартного отклонения на обучении и 0,07 на доступе. У квазиэкспериментальных работ величины близкие. У малых испытаний эффекты больше, а разброс шире, чем у крупных. Интервала у медианы источник не приводит: это медиана распределения чужих оценок, а не оценка параметра со своей ошибкой, и вторую половину результата здесь взять неоткуда. Числа из дословной аннотации. |
| J-PAL, официальные страницы povertyactionlab.org | 2026 | Не исследование, а самоотчёт организации: страницы «About Us», «Evaluations» и «Evidence to Policy», снятые 22 августа 2026 года. Аудита за этими числами нет. Заявлено: сеть более чем из 1 100 исследователей в более чем 130 университетах и семь региональных офисов, 2 300 с лишним идущих и завершённых рандомизированных оценок в 100 странах при 1 200 с лишним описаний в публично просматриваемой базе. Заявлено и то, что оценки аффилированных исследователей повлияли на программы и политики, которыми охвачено более 850 миллионов человек. Там же сказано, что аффилированные профессора сами задают исследовательскую повестку и сами собирают деньги на свои оценки. |
Что подтвердилось, а что нет
Величина взята из свода 234 работ в странах низкого и среднего дохода: медиана среди рандомизированных испытаний составляет 0,10 стандартного отклонения на обучении и 0,07 на доступе к школе, а у квазиэкспериментальных работ величины близкие. Это не одно исследование, а распределение чужих оценок, и потому паспорт у величины другой: единица наблюдения здесь работа, а не человек. Интервала у медианы источник не приводит вовсе: по мерке курса это половина результата, и вторую половину взять неоткуда. Держится линейка на том, что она сходится с независимым наблюдением того же свода: у малых испытаний эффекты больше и разброс шире, чем у крупных, а это и объясняет, почему громкие числа приходят из небольших работ.
Оба утверждения верны и говорят о разном. Первое напечатано в документах комитета и описывает, чем занимается поле и что печатают журналы. Второе получено сплошным ручным подсчётом всех рандомизированных испытаний в развивающихся странах, напечатанных в пяти ведущих журналах с января 2001 по июль 2016 года и отнесённых счётчиками к оценкам программ, и их оказалось 29. Механизменные эксперименты в этот счёт не входят, хотя они тоже рандомизированные испытания, и в этом вся разница. Мерят два утверждения разное: распространённость приёма и число оценок конкретных программ в узком наборе журналов.
Фраза напечатана в пресс-релизе академии от 14 октября 2019 года без всякой ссылки. В научной справке того же дня рядом с похожим утверждением названа оценка Института статистики ЮНЕСКО 2017 года, но самого этого документа база курса не держит, и потому паспорта у числа нет: неизвестно ни на ком мерили, ни сколько их было, ни что считалось базовой грамотностью и счётом. Это не «проверили и не подтвердилось»: такой проверки никто не делал. Официальность документа статуса не меняет: в том же пресс-релизе без источника стоят ещё два числа, о семистах миллионах на крайне низких доходах и о пяти миллионах детских смертей в год, причём черта низкого дохода там не названа.
Число взято с официальной страницы организации и является её самоотчётом, а не аудитом: более 850 миллионов человек охвачены программами и политиками, на которые повлияли оценки аффилированных исследователей. Это охват программ, а не число людей, чью жизнь изменило исследование, и паспорта у него нет ни в одной части. В октябре 2019 года научная справка комитета для того же места писала «более 400 миллионов» и добавляла собственную оговорку: это лишь одна метрика, и она не включает работу неаффилированных экономистов развития. За семь лет число выросло вдвое с лишним. Рядом стоит и второе несовпадение того же рода: организация заявляет 2 300 с лишним оценок, а публично просматриваемая база содержит 1 200 с лишним описаний.
Термины
- полевое испытаниеfield experiment
- Рандомизированное контролируемое испытание, в котором участники делают выбор в своей обычной повседневной обстановке. Определение это принадлежит документам премии 2019 года и держится на одном слове: мерится поведение людей, живущих своей жизнью, а не поведение в устроенных условиях. Отсюда и особенности: ослепление здесь обычно невозможно, а обстоятельства места входят в результат.
- стандартизованный размер эффектаstandardized effect size
- Разность средних между группами, поделённая на разброс исхода. Получается число без единицы, обозначаемое σ или SD. Нужно оно затем, чтобы сравнивать результаты, измеренные разными приборами и в разных странах. Читается только по линейке своего поля: одна и та же доля стандартного отклонения бывает крупной величиной в одном предмете и обычной в другом.
- рамка выборкиsampling frame
- Список тех единиц, из которых выборка бралась, и потому единственное основание сказать, на кого результат распространяется. Если рамка не названа, вопрос «на кого это распространяется» не имеет ответа в самой работе, и никакой размер выборки этого не заменяет.
- оценка программыprogram evaluation
- Испытание, предметом которого служит конкретное вмешательство, доставленное конкретным людям: раздача, выплата, курс, услуга. Отличается предметом, а не размером и не заказчиком: измеряется то, что программа сделала с исходами у участников.
- механизменный экспериментmechanism experiment
- Испытание, предметом которого служит работа отдельного механизма, а не готовая программа: как люди отвечают на цену, на срок, на напоминание. Такие работы тоже рандомизированы, но в счёт оценок программ не идут, и смешивать два счёта нельзя.
- свод работevidence synthesis
- Собрание чужих оценок, а не отдельное исследование: единица наблюдения здесь работа, а не человек. У свода нет своих участников и своего срока наблюдения, поэтому паспорт такого числа обязан сам объявить, что он не об одном исследовании. Что именно вошло в свод, задаётся объявленным правилом отбора, и от него результат зависит напрямую.
- самоотчётself-reported figure
- Число, которое организация сообщает о себе сама и которое никто со стороны не проверял. От измерения отличается не точностью, а отсутствием проверяемого паспорта: определение считаемого задаёт тот же, кто считает. Такие числа приводятся только вместе с датой съёма и словом «самоотчёт».
- раскрытие конфликта интересовconflict-of-interest disclosure
- Напечатанное самими авторами или издателем сообщение об обстоятельствах, которые могут влиять на работу: участие в организации, продвигающей изученное вмешательство, источник денег, роль в исполнении программы. Это сведение, а не обвинение: нужно оно затем, чтобы дать читателю основание читать внимательнее, а не основание для вывода.
Практикум · Собрать паспорт одного числа
Полчаса и одно сообщение с числом об исходах у людей: новость об исследовании, отчёт фонда, слайд с конференции. Считать почти ничего не придётся. Задача: восстановить четыре строки, которые обязаны стоять рядом с величиной, и увидеть, каких из них нет.
- Выпишите величину дословно, вместе с единицей. Если единицей оказалась доля стандартного отклонения, отметьте это отдельной строкой: такие числа нельзя читать как проценты.
- Найдите, на ком мерили: страна, возраст, кто именно. Пол назовите там, где он известен. Если о нём в сообщении нет ни слова, запишите пропуск.
- Найдите две оставшиеся строки: сколько их было (участников, домохозяйств, школ, деревень) и сколько длилось наблюдение, считая и от начала программы, и от её конца.
- Проверьте, стоит ли рядом с величиной интервал или стандартная ошибка. Искать их надо в таблицах и приложениях, а не в аннотации: там их печатают не всегда.
- Напишите две фразы: каких строк паспорта не хватает и во сколько медиан своего поля укладывается величина, если она дана в долях стандартного отклонения. Если линейки для этого поля вы не нашли, это тоже результат.
Вопросы для самопроверки
Пресс-релиз 2019 года приводит фразу «половина детей мира выходит из школы без базовой грамотности и счёта» без ссылки на источник. Какой статус ставит такому числу курс?
- Отвергнуто: проверка на других данных этой доли не подтвердила, и величина оказалась заметно ниже
- Источника нет: работы, из которой его можно взять, база курса не держит
- Выдержало: число напечатано в официальном документе академии, а это самый надёжный из доступных источников
- Спор открыт: две процедуры счёта дают разные доли
Чем оценка программы отличается от механизменного эксперимента в подсчёте двадцати девяти работ?
- Оценка программы делается по заказу правительства или донора, а механизменный эксперимент ставится по инициативе самого исследователя
- Оценка программы обязательно рандомизирована, а механизменный эксперимент может быть и наблюдательным
- Оценка программы крупнее по числу участников, а механизменный эксперимент ставится на малых выборках
- Оценка программы меряет конкретное вмешательство, а механизменный эксперимент работу отдельного механизма
Медиана эффекта в образовательных испытаниях стран низкого и среднего дохода составляет 0,10 стандартного отклонения. Как читать величину 0,7 на этом фоне?
- Как величину в семь медиан поля, которая встречается крайне редко
- Как обычный результат: разброс в этом поле велик, и 0,7 попадает в его середину
- Как прибавку в семьдесят процентов к исходному уровню
- Как ошибку счёта: величин такого размера в поле не бывает
Только 31 процент работ в подсчёте заявлял, что выборка взята из более широкой популяции. Что это значит?
- Что две трети работ признали свои результаты непереносимыми на другие места
- Что две трети работ считались по нерепрезентативным данным и потому ненадёжны
- Что у двух работ из трёх ответа на вопрос «на кого это распространяется» в самой работе нет
- Что указывать рамку выборки в этом поле не принято, а требование появилось позже
Научная справка комитета сама сообщила об ошибке в коде одной из награждённых работ. Что отсюда следует?
- Что премию присудили за работу, которая не воспроизводится ни в одной своей части
- Что журнал отозвал ту статью после того, как её данные проверили сторонние специалисты
- Что научную справку писали критики метода, а не его сторонники
- Что ошибку нашли внутри поля и записали в документ, присуждающий премию за метод
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- «The Prize in Economic Sciences 2019: Press release». Королевская шведская академия наук, 14 октября 2019 года (страница nobelprize.org и PDF-дубль): Открыт целиком, читается за пять минут. Читать стоит не формулировку, а абзац с четырьмя числами: три из них идут без ссылки на источник, и это самый короткий способ увидеть, как выглядит число без паспорта в официальном документе. Обратите внимание и на слово «alleviating»: «смягчение», а не «искоренение».
- «Scientific Background: Understanding Development and Poverty Alleviation». Комитет по премии по экономическим наукам памяти Альфреда Нобеля, 14 октября 2019 года, 34 с.: Открытый PDF. Главное лежит в сносках, а не в основном тексте: определение полевого испытания на третьей странице, признание ошибки в коде на двадцатой и институциональный контур поля с раскрытием того, кто что соучредил. Там же собственная оговорка комитета к числу охвата: «это лишь одна метрика».
- Muralidharan K., Niehaus P. «Experimentation at Scale». Journal of Economic Perspectives, 2017, 31(4):103-124. Полный текст читан по NBER Working Paper 23957: Журнальная версия закрыта, рабочая открыта. Смотреть надо таблицу 1: там медианы по всем пяти строкам сразу, и видно, что 31 % в первой строке не опечатка. Медиана рамки выборки в разных выписках из этой таблицы читается как 10 885 и как 10 815, так что число это стоит брать округлённо.
- Evans D.K., Yuan F. «How Big Are Effect Sizes in International Education Studies?» Educational Evaluation and Policy Analysis, 2022, 44(3):532-540: Аннотация открыта и несёт всё нужное. Главная строка не медиана, а последняя фраза: у малых испытаний эффекты больше и разброс шире, чем у крупных. Она объясняет, почему громкие числа приходят из небольших работ, и её в пересказах теряют первой.
- Страницы «About Us», «Evaluations» и «Evidence to Policy» организации J-PAL, povertyactionlab.org: Открыты, снимок сделан 22 августа 2026 года. Читать их надо парами: заявленные 2 300 с лишним оценок на главной и 1 200 с лишним описаний в самой базе, число охвата на одной странице и на другой оговорка о том, что исследователи сами задают повестку и собирают деньги. Всё это самоотчёт, и дату съёма надо запоминать: числа тут растут.