Что влияет на успеваемость в школе
Строгие опыты в школах находят эффекты в разы меньше рейтингов «что работает», и по их меркам 0,2 стандартного отклонения уже много
Что влияет на успеваемость, строгие опыты в школах показывают скромнее рейтингов: по их меркам 0,2 стандартного отклонения уже много. В опыте STAR в Теннесси сокращение класса с 22-25 до 13-17 учеников дало около 0,15-0,20 стандартного отклонения. У младших школьников связь времени на домашку с успеваемостью около нуля, а оптимум домашней работы не установлен.
Собран по первоисточникам: опыт STAR по Крюгеру 1999 и Четти 2011, обзор Купера 2006 · 30 мин · обновлено 12.10.2026
После урока вы сможете
- Пересказывать устройство опыта STAR и его итоги по тестам и во взрослой жизни учеников
- Отличать рандомизированный опыт и квазиэксперимент от корреляции на примерах о размере класса и домашке
- Называть, что известно о связи домашки с успеваемостью у младших и старших школьников и почему оптимум не установлен
- Объяснять, за что статистики критикуют рейтинг Хэтти, и читать эффект по шкале Крафта для школьных опытов
- Отличать расчёт добавленной стоимости учителя в среднем от вывода о конкретном учителе, классе или ребёнке
На родительском собрании звучит знакомая жалоба. В классе 32 ученика, учитель не успевает подойти к каждому, и класс надо бы разделить на два. Спорить об этом можно годами, ведь в жизни маленькие и большие классы различаются не только размером, но и школой, районом, составом учеников. Сравнивать их напрямую значит сравнивать разных детей.
Штат Теннесси в 1985 году решил проверить вопрос жребием. В опыт вошли 79 школ. Внутри каждой школы детей и учителей случайно распределили по маленьким классам на 13-17 учеников и обычным на 22-25. Опыт назвали STAR, и шёл он четыре года, от детского сада до 3 класса.
Жребий делает группы похожими во всём, кроме размера класса. Поэтому разницу в тестах можно приписать именно размеру, а не доходу семей или опыту учителей. Такой опыт называют рандомизированным: участников распределяют по условиям жребием, и группы в среднем одинаковы во всём, кроме изучаемого вмешательства. STAR до сих пор главный опыт о размере класса.
Короткий ответ урока такой. Маленький класс помогает: сдвиг около 0,15-0,20 стандартного отклонения, и по меркам школьных опытов это немало. Домашка связана с баллами у старшеклассников и почти не связана у младших. Учитель, по крупным расчётам, влияет даже на взрослую жизнь ученика, но эти расчёты оспаривают. А рейтинги «что работает» обещают эффекты в разы больше, чем находят строгие опыты в школах.
Опыт STAR: что показали тесты
Основной анализ STAR опубликовал экономист Крюгер в 1999 году, и курсу эта работа известна по аннотации. В опыте было около 11 600 учеников с детского сада по 3 класс. Условий было три: маленький класс, обычный класс и обычный класс с помощником учителя на полную ставку. Исходом служили стандартизированные тесты по математике и чтению в конце каждого года.
В первый год ученики маленьких классов обогнали остальных примерно на 4 процентильных пункта. Процентильный пункт показывает место в общем ряду из ста. Если ученик стоял на 50-м месте, а стал на 54-м, это плюс 4 пункта. Дальше преимущество, по аннотации, росло примерно на 1 пункт в год.
Помощник учителя почти ничего не добавил, как и измеренные характеристики учителей. У темнокожих учеников и у детей с правом на бесплатный обед эффект был больше. Эффект Хоторна, когда люди стараются просто потому, что знают об опыте, Крюгер считает маловероятным объяснением. Экономисты Фиглио и Шанценбах в обзоре для штата Иллинойс оценили эффект STAR в 0,15-0,20 стандартного отклонения по математике и чтению, то есть от седьмой до пятой части обычного разброса баллов.
Что стало с этими детьми
В 2011 году Четти и соавторы связали данные STAR с налоговыми записями США. В опыте был 11 571 ученик из 79 школ, и в налоговых записях авторы нашли 95 % из них. Маленькие классы в среднем насчитывали 15,1 ученика, большие 22,6. Выборка была беднее штата и страны, потому что программа намеренно брала больше бедных школ.
В год поступления ученики маленьких классов были выше по тестам на 4,8 процентильного пункта. В колледже в 20 лет они учились на 1,8 процентного пункта чаще при среднем уровне 26,4 %. Иначе говоря, из тысячи детей в колледж шли около 264, и маленький класс добавлял к ним примерно 18. Значимой разницы в заработке в 27 лет не нашли, но оценка неточная, с широким интервалом.
Есть и затухание эффекта, когда выигрыш по тестам со временем уменьшается или исчезает. К 8 классу разница по тестам стала статистически незначимой. Зато по сводному индексу других взрослых исходов, куда вошли своё жильё, пенсионные накопления, район и брак, ученики маленьких классов выглядели лучше. Качество класса в детском саду тоже оказалось связано с заработком: класс на 1 стандартное отклонение лучше давал на 3 % больше заработка в 27 лет.
Авторы нашли и связь со стажем учителя. Ученики учителя детского сада со стажем больше 10 лет зарабатывали в 27 лет на 1 093 доллара больше, это 6,9 % от среднего. Но сами авторы пишут, что отсюда нельзя вывести, будто рост стажа учителей поднимет доходы учеников.
Другие страны и цена массового сокращения
Экономист Ханушек в 1999 году возразил, и его работа известна курсу по аннотации. По его оценке, исследования без жребия устойчивого выигрыша от малых классов не показывают. В самом STAR дети выбывали и переходили из класса в класс, поэтому оценки скорее завышены. Даже при буквальном прочтении эффект, по Ханушеку, есть только при очень большом сокращении в детском саду и, возможно, в 1 классе.
Фиглио и Шанценбах собрали и другие строгие данные. Висконсинская программа SAGE сокращала классы в бедных школах с 21-25 до 12-15 учеников на учителя и дала около 0,2 стандартного отклонения. В Израиле класс не может быть больше 40 учеников, и это правило почти случайно делит похожих детей на большие и малые классы. Такую проверку без жребия называют квазиэкспериментом. В пересчёте на минус 7 учеников она дала около 0,18 стандартного отклонения по математике.
В Швеции минус один ученик в классе в 10-13 лет добавлял 0,8 процентного пункта к вероятности получить высшее образование. А в Коннектикуте эффекта не нашли, и оценка там исключает эффект больше примерно пятой части эффекта STAR. Авторы обзора называют это расхождение нерешённой загадкой. Калифорния в 1996 году сократила классы разом по всему штату. Понадобилось много новых неопытных учителей, и это съело часть выигрыша, сильнее всего в бедных школах.
Экономист Джастман в 2016 году, по аннотации, заметил, что STAR не ответил на вопросы политики. Стоит ли сокращение своих денег, что будет с рынком учителей и как эффект различается по школам, опыт не проверял. Английский фонд EEF оценивает сокращение классов в среднем в +1 месяц прогресса за год по 63 исследованиям из 27 стран. Надёжность этой оценки фонд называет очень ограниченной.
Домашка: шесть опытов и много корреляций
Дома спорят о другом: сколько задавать. Самую цитируемую сводку сделали в 2006 году Купер, Робинсон и Паталл по исследованиям США 1987-2003 годов. Авторы прямо пишут, что у всех этих исследований, какого бы типа они ни были, есть изъяны устройства.
Опытов, где домашку вводили специально, нашлось шесть, и ни один не был опубликован в журнале. По-настоящему случайно внутри класса распределяли только в одном. Там 94 выпускника из трёх классов три недели читали «Макбета» и сделали 12 заданий, эффект d = 0,39. Эффекты всех опытов лежали от 0,39 до 0,97, а среднее по пяти составило d = 0,60. Мерили их тестом по только что пройденной теме.
Жребий часто делил целые классы, а считали отдельных учеников. С поправкой на это среднее стало 0,63, а интервал растянулся от 0,03 до 1,23. Если ученики одного класса заметно похожи друг на друга, эффект, по расчёту авторов, перестал бы быть значимым.
Основная часть данных корреляционная: 32 исследования и 69 корреляций. Корреляция r показывает силу связи от −1 до 1, а ноль значит, что связи нет. Средняя r = 0,24 в одной модели расчёта и 0,16 в другой. В 7-12 классах r = 0,25, а у младших школьников r = −0,04, и во второй модели связь у младших от нуля не отличается.
Корреляция не говорит, что домашка подняла баллы, ведь сильные ученики могут и больше делать, и лучше сдавать. Связь сильнее, когда о времени на домашку сообщает сам ученик, а не родитель. Фонд EEF оценивает домашку в +5 месяцев прогресса в средней школе и +3 в начальной по 43 исследованиям, с низкой надёжностью.
Сколько задавать: данных почти нет
Вопрос о том, сколько домашки нужно, данными почти не закрыт. В прошлом обзоре Купера 1989 года у младших линия была плоской, а у учеников средней ступени связь пропадала после 1-2 часов в вечер. В новом обзоре оптимум позволяло оценить только одно исследование, на выпускниках. Сильнее всего связь была у тех, кто делал 7-12 часов в неделю, затем 13-20 часов.
У тех, кто делал больше 20 часов в неделю, результат был почти как у делавших 1-6 часов. Авторы пишут о догадке в полтора-два с половиной часа в вечер для старшеклассников и сами называют её во многом гаданием. Фонд EEF добавляет, что качество задания важнее количества, а польза, по некоторым данным, уменьшается с ростом времени. Утверждение «чем больше домашки, тем лучше» поэтому не было доказательством.
В популярной статье пишут, что домашка должна занимать 10 минут на каждый год обучения и что это вывод исследований. В обзоре Купера, Робинсон и Паталл 2006 года такого правила нет. Есть только оценка по одному исследованию старшеклассников, которую авторы называют гаданием. «Домашка в начальной школе вредна» тоже сказано сильнее данных: связь около нуля значит, что связи не нашли, а не что нашли вред.
Рейтинг Хэтти: откуда числа
На стене учительской иногда висит плакат с рейтингом «что работает». Это список из книги Хэтти «Видимое обучение» 2009 года. Хэтти собирал метаанализы по каждому фактору, усреднял их размеры эффекта d и расставлял факторы по величине. Средний эффект всех вмешательств он назвал точкой перегиба: выше неё, по его мысли, вмешательством стоит заниматься.
Курс книгу не открывал, и все числа рейтинга даны по неофициальному пересказу списка 2017 года, с книгой не сверено. Точка перегиба там 0,40, коллективная эффективность учителей 1,57, обратная связь 0,70, подбор под стиль обучения 0,31, домашка 0,29, сокращение класса 0,21. В разных изданиях списка числа менялись. Из списка часто делают вывод, что сокращать классы бессмысленно, раз 0,21 ниже 0,40.
Против самого способа выступили статистики. Бержерон в 2017 году разобрал книгу в полемической статье. Хэтти, по его разбору, неверно посчитал ещё одну меру, общеязыковой эффект, и получил отрицательные вероятности и вероятности больше 100 %. Эту ошибку в 2012 году заметил норвежский исследователь Топпхол. Кроме того, Хэтти усредняет d из сравнения двух групп и d из сравнения «до и после» в одной группе, а это разные величины.
Знак эффекта к тому же зависит от того, что с чем сравнивать. «Малые классы против больших» дают плюс, «большие против малых» минус, а рейтинг читает это как «полезно» и «вредно». Симпсон в 2017 году, по аннотации, добавил общий довод: размер эффекта зависит от решений исследователя, какой тест взять и с чем сравнивать. Тогда рейтинг может ранжировать не пользу подходов, а то, насколько их исследования поддаются раздуванию эффекта. Пример противоречия в том же списке: подбор под стиль обучения получает 0,31, хотя прямые проверки стилей выигрыша не нашли, и их разбирает урок 10.
Какие эффекты бывают в настоящих школах
Крафт в 2020 году собрал 1 942 размера эффекта из 747 рандомизированных опытов в школах, от дошкольников до 12 класса. Исход везде был один: стандартизированный тест. Медиана вышла 0,10 стандартного отклонения. Каждый четвёртый эффект оказался нулевым или отрицательным.
Размер опыта меняет картину сильнее всего. В опытах до 100 учеников медиана 0,24, в опытах больше чем на 2 000 учеников 0,03. На узких тестах по пройденной теме медиана 0,17, на широких 0,10. В опытах, заказанных министерством образования США с обязательной предрегистрацией, медиана 0,03 по 139 эффектам из 49 опытов. Там план анализа публикуют до сбора данных, и подогнать его под результат нельзя.
Для школьных опытов Крафт предложил свою шкалу: меньше 0,05 малый эффект, от 0,05 до 0,20 средний, 0,20 и больше большой. Она расходится с условной шкалой Коэна, где 0,2 только малый эффект. Шкала Коэна задумана для опытов вообще, шкала Крафта для строгих опытов в школах, где эффекты меньше. По шкале Крафта эффект STAR в 0,15-0,20 средний или на границе большого.
Крафт прямо пишет, что обзоры Хэтти включают старые мелкие исследования и распространяют завышенные ожидания. Ни одна его медиана до точки перегиба 0,40 не дотягивает. Симпсон в 2021 году возразил против способа расчёта самих порогов Крафта, и это возражение известно курсу по аннотации.
Учитель: вклад, который считают по тестам
Третий вопрос собрания касается учителя. Четти, Фридман и Рокофф в 2014 году взяли крупный городской округ США, название которого не раскрыто. Там были данные о 3-8 классах за 1989-2009 годы, около миллиона учеников, и их связали с налоговыми записями. Сопоставить удалось около 90 % записей.
Вклад учителя считали методом добавленной стоимости. Смотрят, насколько ученики учителя выросли по тестам за год сверх того, что ожидалось по их прошлым баллам и составу. Ученики учителя, который на 1 стандартное отклонение лучше по этой мере, в 20 лет учились в колледже на 0,82 процентного пункта чаще при среднем 37 %. Их заработок в 28 лет был выше на 1,3 %. Второй способ, смена учителей в школе как квазиэксперимент, дал почти то же, 0,86 пункта.
Ротштейн в 2017 году повторил анализ на данных Северной Каролины, и курс знает эту работу по пересказу аннотации. Основные результаты воспроизвелись. Но квазиэксперимент со сменой учителей он считает нарушенным, потому что смена учителей связана с изменением подготовки учеников. Смещение оценок он оценивает в 10-35 % от разброса истинных эффектов учителей, а долгосрочные выводы называет чувствительными к выбору поправок. Четти и соавторы ответили, что его данные согласуются с их выводами.
Так пересказывают работу Четти, Фридмана и Рокоффа. У авторов это другой расчёт: замена учителя из нижних 5 % по добавленной стоимости на среднего и прибавка к приведённому доходу всех учеников класса за всю жизнь. Расчёт держится на допущении, что эффект на заработок постоянен. Это оценка модели, а не деньги, которые кто-то измерил.
Россия: связи, а не причины
Российских исследований именно о размере класса и домашке курс не нашёл. Есть международные сравнения. Адамович, Капуза, Захаров и Фрумин в 2019 году разобрали в докладе ВШЭ результаты исследования грамотности PISA-2018. По сравнению с 2015 годом баллы снизились по математике на 6, по естествознанию на 9, по чтению на 16, и значимо только по чтению. Почти треть учащихся не достигла порогового уровня хотя бы по одному виду грамотности, по всем трём 12 %.
Доклад показывает и связи с условиями учёбы. 17 % учеников ответили, что учителю приходится подолгу успокаивать класс. В таких классах результат по чтению ниже среднего по стране почти на 48 баллов, а в среднем по странам эта разница 35 баллов. Ученики сёл отстают от учеников городов-миллионников по чтению на 72 балла, по математике на 64, по естествознанию на 63. С травлей периодически сталкиваются 37 % учеников, в среднем по ОЭСР 23 %.
Сами авторы доклада предупреждают, что это корреляции. Разница между сёлами и городами не говорит, что баллы дало именно место, а разница по дисциплине не говорит, что их дала дисциплина. В TIMSS-2019, по справке ФИОКО, российские четвероклассники набрали 567 баллов по математике и заняли 6 место среди 64 стран, восьмиклассники 543 при средней точке шкалы 500.
Все числа урока это средние по классам, школам и тысячам учеников. Средний эффект STAR не говорит, нужен ли раздел конкретному классу, а связь домашки с баллами не говорит, сколько задавать конкретному ребёнку. Добавленная стоимость описывает учителей в среднем, и оценка одного учителя, по Ротштейну, может быть смещена. Связи PISA между дисциплиной, местом жительства и баллами не причины, и вывода о конкретной школе из них нет.
Что выдержало проверку
Из всех оговорок не следует, что о школе ничего не известно. Маленький класс выдержал проверку: жребий STAR, программа SAGE, квазиэксперименты в Израиле и Швеции согласуются, хотя Коннектикут эффекта не нашёл. Ни одна работа урока не показала, что сокращение на 2-3 ученика что-то даёт. В других модулях курса проверку выдержали самопроверка и распределённое повторение, в том числе в настоящих классах.
Пересмотрено другое. Рейтинги с точкой перегиба 0,40 обещали эффекты, каких строгие опыты в школах почти не дают, и ошибки в них нашли сами исследователи: Топпхол, Бержерон, Симпсон, Крафт. Домашка оказалась связана с баллами только у старших, и эта связь корреляционная. Вклад учителя в будущее ученика остаётся спором с сильными данными с обеих сторон.
Главный вывод урока касается чтения чисел. Эффект 0,20 в рандомизированном опыте на тысячах учеников и 0,40 в среднем по разнородным метаанализам это разные величины. Курс задаёт любому рейтингу те же вопросы: на ком мерили, каким тестом, сколько было учеников и решал ли жребий.
Ключевые исследования
| Крюгер | 1999 | Основной анализ опыта STAR в Теннесси, известен курсу по аннотации: около 11 600 учеников с детского сада по 3 класс, жребий внутри 79 школ, три условия. В первый год маленький класс дал около +4 процентильных пунктов, потом около +1 в год, помощник учителя почти не повлиял. |
| Четти и соавторы | 2011 | Взрослая жизнь участников рандомизированного опыта STAR: данные опыта связаны с налоговыми записями, 11 571 ученик, классы 15,1 и 22,6 ученика. +4,8 процентильного пункта по тестам, +1,8 процентного пункта к учёбе в колледже при 26,4 %, значимой разницы в заработке в 27 лет нет, к 8 классу разница по тестам незначима. |
| Купер, Робинсон и Паталл | 2006 | Метаанализ исследований домашки в США 1987-2003 годов. Шесть опытов, ни один не опубликован, d = 0,60, с поправкой на классы 0,63 с интервалом 0,03-1,23. Корреляции r = 0,24 и 0,16, у младших около нуля. Оценку оптимума по одному исследованию авторы называют гаданием. |
| Крафт | 2020 | 1 942 размера эффекта из 747 рандомизированных опытов в школах. Медиана 0,10, в опытах больше 2 000 учеников 0,03, до 100 учеников 0,24, каждый четвёртый эффект нулевой или отрицательный. Шкала для школьных опытов: меньше 0,05 малый, 0,05-0,20 средний, 0,20 и больше большой. |
| Бержерон | 2017 | Полемический разбор метода Хэтти статистиком, не эмпирическое исследование. Ошибка в расчёте общеязыкового эффекта, найденная Топпхолом в 2012 году, усреднение d из сравнения групп и из сравнения «до и после», смешение разных исходов в одном числе. |
| Четти, Фридман и Рокофф | 2014 | Наблюдательные данные примерно о миллионе учеников 3-8 классов крупного округа США, связанные с налоговыми записями, и квазиэксперимент со сменой учителей. Учитель на 1 стандартное отклонение лучше по добавленной стоимости даёт +0,82 процентного пункта к колледжу при 37 % и +1,3 % к заработку в 28 лет. Ротштейн в 2017 году воспроизвёл результаты, но нашёл смещение 10-35 %. |
| Адамович, Капуза, Захаров и Фрумин | 2019 | Доклад ВШЭ с разбором российских результатов международного исследования PISA-2018. Снижение с 2015 года на 6, 9 и 16 баллов, значимо только по чтению, 12 % не достигли порога по всем трём видам грамотности. Разрывы по дисциплине в классе и между сёлами и городами авторы называют корреляциями. |
Что подтвердилось, а что нет
Рандомизированный опыт STAR дал около 0,15-0,20 стандартного отклонения при сокращении класса с 22-25 до 13-17 учеников (Крюгер 1999, обзор Фиглио и Шанценбах). С ним согласуются программа SAGE и квазиэксперименты в Израиле и Швеции. Оговорки: Коннектикут эффекта не нашёл, Ханушек считает оценки STAR завышенными, средняя оценка EEF всего +1 месяц, а в Калифорнии часть выигрыша съела нехватка опытных учителей. Ни одна работа не показала, что сокращение на 2-3 ученика что-то даёт.
У младших школьников связь времени на домашку с успеваемостью около нуля: r = −0,04 в одной модели, в другой от нуля не отличается. У старших r около 0,20-0,25, но это корреляции (Купер, Робинсон и Паталл 2006). Опытов, где домашку вводили специально, шесть, ни один не опубликован в журнале, и мерили они тест по только что пройденной теме. Данных об оптимуме почти нет.
Числа рейтинга даны по неофициальному пересказу списка 2017 года, с книгой не сверено. Порог 0,40 это среднее по метаанализам с разными устройствами, включая мелкие исследования на узких тестах (Крафт 2020). Усреднение несравнимых d критикуют статистики (Бержерон 2017, Симпсон 2017 по аннотации). По шкале Крафта для строгих школьных опытов 0,20 уже большой эффект, а медиана таких опытов 0,10.
У Четти, Фридмана и Рокоффа 2014 года учитель лучше на 1 стандартное отклонение по добавленной стоимости даёт +0,82 процентного пункта к учёбе в колледже и +1,3 % к заработку в 28 лет. В STAR качество класса в детском саду связано с заработком в 27 лет (Четти и соавторы 2011). Против: Ротштейн в 2017 году воспроизвёл результаты, но нашёл смещение оценок 10-35 % и считает долгосрочные выводы неустойчивыми к выбору поправок (по пересказу аннотации).
Термины
- рандомизированный опытrandomized controlled trial
- Участников распределяют по условиям жребием, поэтому группы в среднем одинаковы во всём, кроме изучаемого вмешательства.
- метаанализmeta-analysis
- Статистическое объединение результатов многих исследований одного вопроса в общую оценку размера эффекта.
- размер эффекта d или gCohen's d, Hedges' g
- Разница между группами, выраженная в стандартных отклонениях. Условно 0,2 считают малым, 0,5 средним, 0,8 большим.
- предрегистрацияpreregistration
- План опыта и анализа публикуют до сбора данных, чтобы нельзя было подогнать анализ под результат.
- процентильный пунктpercentile point
- Сдвиг места ученика в общем ряду из ста. С 50-го места на 54-е это плюс 4 пункта.
- затухание эффектаfade-out
- Выигрыш по тестам после вмешательства со временем уменьшается или исчезает, хотя другие последствия могут остаться.
- квазиэкспериментquasi-experiment, natural experiment
- Проверка без жребия, где правило вроде «не больше 40 в классе» создаёт почти случайную разницу между похожими учениками.
- добавленная стоимость учителяteacher value-added
- Насколько ученики учителя за год выросли по тестам сверх того, что ожидалось по их прошлым результатам.
- точка перегибаhinge point
- У Хэтти средний размер эффекта всех вмешательств (0,40 по неофициальному пересказу списка 2017 года), выше которого вмешательством, по его мысли, стоит заниматься.
Практикум · Разбор рейтинга «что работает в школе»
В статьях для родителей и учителей часто встречаются списки факторов успеваемости с числами: размер класса, домашка, обратная связь. Задание в том, чтобы взять один такой текст и проверить, откуда его числа и с чем их сравнивают. Понадобится только сам текст.
- Найдите статью, пост или презентацию, где факторы успеваемости расставлены по числам или где сказано, что одно «работает», а другое нет. Выпишите каждое число и фактор, к которому оно относится.
- Для каждого числа выясните, откуда оно: из одного опыта, из метаанализа или из рейтинга, который усредняет метаанализы. Отметьте, сверено ли оно с первоисточником или взято из пересказа.
- Найдите, с чем сравнивали: две группы или одну группу «до и после», и каким тестом мерили, узким по теме или широким. Если текст этого не говорит, отметьте это отдельно.
- Сопоставьте числа с медианами Крафта: 0,10 в целом, 0,03 в опытах больше чем на 2 000 учеников, 0,24 в опытах до 100. Отметьте, не читает ли текст эффект ниже 0,40 как «не работает».
- Отделите опыты со жребием от связей. Поставьте каждому утверждению статус из реестра урока и отметьте, не выдаёт ли текст корреляцию, например дисциплину и баллы в PISA, за причину.
Вопросы для самопроверки
Почему опыт STAR считают сильнее простого сравнения маленьких и больших классов?
- В нём было больше 11 тысяч учеников, а большая выборка сама по себе снимает вопрос о причинах
- Детей и учителей внутри школы распределяли по классам жребием
- Учителя не знали, что участвуют в опыте, поэтому не могли стараться сильнее обычного
- Маленькие классы в нём набирали в сильных школах, где различия видны яснее, если тест подробный
Что нашли Купер, Робинсон и Паталл о связи времени на домашку с успеваемостью у младших школьников?
- Связь отрицательная и заметная, поэтому домашка в начальной школе вредна при любых заданиях
- Связь такая же, как у старших, около 0,25, если задания подходят по возрасту и объёму
- Опыты со жребием показали у младших d = 0,60 на итоговых тестах по пройденной теме
- Связь около нуля: в одной модели r = −0,04, в другой от нуля не отличается
Какой статус у утверждения «рейтинг Хэтти показывает, что сокращать классы бессмысленно, раз эффект 0,21 ниже порога 0,40»?
- Выдержало: в рейтинге сокращение класса стоит ниже точки перегиба, и это прямой итог сотен метаанализов
- Спор открыт: статистики спорят о методе, но порог 0,40 подтверждён строгими опытами в школах
- Не было доказательством: порог задан усреднением разнородных работ, а по шкале Крафта 0,20 уже большой эффект
- Отвергнуто: опыт STAR показал эффект 0,40 и больше, если класс сократить вдвое
Что значит число 250 000 долларов в работе Четти, Фридмана и Рокоффа 2014 года?
- Расчётная прибавка к доходу учеников класса за жизнь при замене учителя из нижних 5 % на среднего
- Столько в среднем зарабатывает за жизнь ученик хорошего учителя, по налоговым записям
- Прибавка к заработку класса, измеренная к 28 годам у учеников лучших учителей округа
- Цена сокращения одного класса в STAR, если считать зарплату нового учителя
У Крафта медиана эффекта в опытах до 100 учеников 0,24, а в опытах больше чем на 2 000 учеников 0,03. Как это читать?
- Маленьким группам вмешательства помогают в восемь раз сильнее, поэтому программы надо вести малыми группами
- В больших опытах эффект теряется из-за ошибок измерения, поэтому верить стоит мелким работам
- Мелкие опыты дают эффекты крупнее, и средние по ним завышают ожидания от школьных программ
- Это шкала Коэна: 0,24 малый эффект, 0,03 нулевой, и оба числа говорят, что школьные опыты почти бесполезны
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Figlio, Schanzenbach. The Class Size Literature and What it Means for Illinois. Записка для Совета по образованию штата Иллинойс. https://www.isbe.net/DocumentsPRP/Class-Size-Report-Figlio-Schanzenbach.pdf: Короткий обзор строгих исследований размера класса: STAR, SAGE, Израиль, Швеция, Коннектикут и история калифорнийского сокращения. Год на документе не указан.
- Chetty, Friedman, Hilger, Saez, Schanzenbach, Yagan, 2011. How Does Your Kindergarten Classroom Affect Your Earnings? Evidence from Project STAR. Quarterly Journal of Economics, 126(4), 1593-1660. Открытая копия: https://eml.berkeley.edu/~yagan/STAR.pdf: Введение, с. 1593-1598: что стало с детьми из опыта STAR во взрослой жизни и почему авторы не выводят из своих данных пользу стажа учителей.
- Bergeron, 2017. How to Engage in Pseudoscience with Real Data: A Criticism of John Hattie's Arguments in Visible Learning from the Perspective of a Statistician. McGill Journal of Education, 52(1). https://mje.mcgill.ca/article/view/9475: Около 10 страниц простым языком: ошибка общеязыкового эффекта и усреднение несравнимых d. Это полемическая статья, а не опыт.
- Kraft, 2020. Interpreting Effect Sizes of Education Interventions. Educational Researcher, 49(4), 241-253. Рабочая версия: https://www.edworkingpapers.com/ai19-10: Раздел New Empirical Benchmarks: медианы по размеру выборки и типу теста и шкала для школьных опытов. Курс читал рабочую версию 2019 года.
- Адамович К. А., Капуза А. В., Захаров А. Б., Фрумин И. Д., 2019. Основные результаты российских учащихся в международном исследовании читательской, математической и естественнонаучной грамотности PISA-2018 и их интерпретация. Факты образования, № 2 (25). НИУ ВШЭ. https://publications.hse.ru/pubs/share/direct/337666058.pdf: 28 страниц: изменения баллов с 2015 года, разрывы между сёлами и городами, дисциплина в классе. Авторы сами оговаривают, что это корреляции, а не причины.