Эффективное обучение: что известно точно
Два приёма выдержали десятилетия проверок в лабораториях и классах, большинство громких обещаний не выдержало, а большие школьные опыты учат скромности в ожиданиях
Эффективное обучение по данным держится на двух приёмах, самопроверке и распределённом повторении: они выдержали десятилетия проверок в лабораториях и классах. Большинство громких обещаний, от учёбы «под свой стиль» до игр, которые делают умнее, проверку не выдержали. А большие школьные опыты учат скромности в ожиданиях: в 141 крупном опыте на 1 222 024 учениках средний эффект 0,06 стандартного отклонения.
Собран по первоисточникам: обзор Данлоски 2013, анализ Лорти-Форга и Инглиса 2019 · 26 мин · обновлено 12.10.2026
После урока вы сможете
- Пересказывать анализ Лорти-Форга и Инглиса 2019 года: 141 крупный опыт, средний эффект 0,06 и что значат 23 % значимых эффектов и 40 % неинформативных опытов
- Читать размер эффекта по шкале Крафта для школьных опытов и по условной шкале Коэна и называть, почему они расходятся
- Называть, что в курсе выдержало проверку, что пересмотрено и где спор открыт, со статусами из реестров уроков
- Задавать любому числу об учёбе вопросы курса: с чем сравнивали, когда и что проверяли, на ком, сколько людей, повторили ли, что будет в масштабе
- Объяснять, почему ошибки популярных утверждений нашли сами исследователи повторениями и почему из пересмотров не следует, что наука ничего не знает
В 2019 году Лорти-Форг и Инглис собрали все крупные опыты в школах, которые заказали две организации. Английский фонд EEF заказал 82 опыта, американский центр NCEE 59. Каждый опыт проверял, поднимает ли какая-то программа успеваемость учеников 1-12 классов. Кто получит программу, а кто останется в контрольной группе, решал жребий. Всего в 141 опыте участвовали 1 222 024 ученика. Такие опыты со жребием называют рандомизированными.
Средний эффект вышел 0,06 стандартного отклонения, то есть шесть сотых обычного разброса баллов между учениками. Понятнее это выглядит в шансах. Возьмём наугад одного ученика из группы с программой и одного из контрольной. Первый окажется сильнее второго с вероятностью 51,7 %, хотя совсем без эффекта было бы 50 %. Такую меру называют общеязыковым эффектом: это вероятность, что случайный участник одной группы обгонит случайного участника другой.
Отсюда легко решить, что наука об обучении ничего не знает. Итог курса другой, и он из трёх частей. Два приёма, самопроверка и распределённое повторение, выдержали десятилетия проверок в лабораториях и классах. Большинство громких обещаний, от учёбы «под свой стиль» до игр, которые делают умнее, проверку не выдержали. А большие школьные опыты учат скромности в ожиданиях: в масштабе школы или страны эффект хорошего приёма обычно меньше, чем в небольшом опыте.
Этот урок не повторяет первый урок курса, где разобраны сами приёмы учёбы. Здесь карта всего курса. В ней собраны утверждения, которые выдержали проверку, утверждения пересмотренные и те, о которых спор открыт. Статусы на карте те же, что в реестрах уроков 1-23, а числа те же, что в уроках, где разобрана каждая работа.
Почему большие опыты так часто молчат
Средним статья Лорти-Форга и Инглиса не ограничилась. Статистически значимо больше нуля оказались 32 эффекта из 141, это 23 %. Значимо меньше нуля было 4 эффекта, или 3 %. Все остальные от нуля статистически не отличались. Средняя ширина 95-процентного доверительного интервала составила 0,30, в пять раз больше самого среднего эффекта.
Чтобы понять, почему нулей так много, авторы посчитали мощность опытов. Статистической мощностью называют вероятность, что опыт заметит эффект заданного размера, если он есть. Для эффекта 0,06 средняя мощность была 23 %. Мощность 80 % была только у 9 опытов из 141, это 6 %.
Тогда авторы спросили иначе: о чём говорят данные каждого опыта. Для этого считают байесов фактор, то есть во сколько раз данные вероятнее при одной гипотезе, чем при другой. По нему 38 % опытов поддержали отсутствие эффекта, а 23 % его наличие. Остальные 40 % оказались неинформативными. Данные такого опыта одинаково совместимы и с нулём, и с заметным эффектом. Поэтому «опыт не нашёл эффекта» и «опыт показал, что эффекта нет» это разные утверждения.
Статья вышла в журнале Educational Researcher в 2019 году, курс прочитал её полный текст по рукописи в открытом репозитории. Пересчёт 0,06 в 51,7 % взят из блога авторов и совпадает со стандартной формулой. Технические возражения к статье, например о выборе гипотез для байесовых факторов, курсу известны только по пересказу и здесь не разбираются.
Маленький опыт и большой
Тот же разрыв нашёл Крафт в 2020 году. Он собрал 1 942 размера эффекта из 747 рандомизированных опытов в школах, от дошкольников до 12 класса. Исходом везде был стандартизированный тест. Медиана вышла 0,10 стандартного отклонения, а каждый четвёртый эффект оказался нулевым или отрицательным.
Сильнее всего картину меняет размер опыта. В опытах до 100 учеников медиана 0,24, в опытах больше чем на 2 000 учеников 0,03. На узких тестах по пройденной теме медиана 0,17, на широких 0,10. Медианы говорят одно: небольшой опыт и узкий тест дают числа крупнее, чем большой опыт и широкий тест.
Для школьных опытов Крафт предложил свою шкалу: меньше 0,05 малый эффект, от 0,05 до 0,20 средний, 0,20 и больше большой. Она расходится с условной шкалой Коэна, где 0,2 только малый эффект, и курс это расхождение не сглаживает. Шкала Коэна задумана для опытов вообще, шкала Крафта для строгих опытов в школах. Поэтому любое число в курсе стоит рядом со словом самой работы.
Как это выглядит на одном приёме, показало онлайн-обучение. На 2 053 студентах трёх курсов короткое упражнение на планирование подняло завершение курса у части студентов с 14 до 18 %. Кызылчек и соавторы в 2020 году проверили его на 269 169 студентах в 247 курсах и заранее публично записали гипотезы. Такая предрегистрация не даёт подогнать анализ под результат. Планирование дало +0,19 процентного пункта с интервалом от −0,69 до 1,07, то есть эффект неотличим от нулевого.
По выводу авторов, при масштабировании средний эффект падает «на порядок». Масштабированием называют перенос приёма с нескольких курсов или школ на сотни. Подробно опыт Кызылчека и соавторов разбирает урок 23, а шкалу Крафта урок 22.
Сколько опытов повторяют
Большой опыт ещё не значит повторённый. Мейкел и Плакер в 2014 году просмотрели всю историю публикаций 100 ведущих журналов по образованию, курсу эта работа известна по аннотации. Повторения составили 0,13 % статей, примерно одну статью из 770. Большинство повторений подтверждало оригинал. Но повторения без общих авторов с оригиналом удавались значимо реже.
Прямым повторением называют тот же опыт по той же процедуре на новых участниках, и курс отмечал каждое, какое нашёл. Письмо о тревоге перед тестом дало r = 0,79 на 20 студентах и не повторилось на 131 человеке. Выигрыш рукописного конспекта на вопросах на понимание не повторился у Урри и соавторов на 142 студентах. Ли и Бейтс в близком повторе опыта о похвале за ум на 624 детях эффекта не нашли.
Повторения и подтверждали. Мурре и Дрос через 130 лет повторили кривую забывания Эббингауза. Содерстром, Керр и Бьорк в 2016 году повторили в первом опыте эффект тестирования. Цена переключения между задачами нашлась во всех группах и у Офира и соавторов, и в двух повторениях Вирадхани и Ньювенстейна.
В ведущих журналах по образованию повторения составляют 0,13 % статей, это вывод Мейкела и Плакера 2014 года по аннотации. Многие громкие утверждения курса держались на одном опыте, пока его не повторили. Самые надёжные выводы курса как раз те, что проверены многими независимыми работами: самопроверка и распределённое повторение.
Что выдержало проверку
Из всех оговорок не следует, что об учёбе ничего не известно. Самопроверка, то есть попытка достать материал из памяти без подсказки, выдержала проверку и в лабораториях, и в классах. Обзор Данлоски и соавторов 2013 года дал ей высокую пользу. Метаанализ Роуланда 2014 года по 159 эффектам дал g = 0,50. Ян и соавторы в 2021 году свели 222 исследования в настоящих классах, 48 478 учащихся, и получили g = 0,499. Оговорка: эффект измерен в основном проверками по тому же материалу, а не широкими годовыми тестами.
Распределённое повторение выдержало так же. Сепеда и соавторы в 2006 году свели 839 оценок в 317 опытах из 184 статей. В среднем разнесённые повторения дали 47,3 % против 36,7 % у сплошных, и ни в одном диапазоне сроков сплошное не выиграло. Данлоски дал распределению высокую пользу. Оговорка: 85 % данных сводки 2006 года получены на молодых взрослых.
Чередование выдержало для задач, которые надо различать. Рорер и соавторы в 2020 году на 787 учениках в 54 классах получили d = 0,83 по заранее опубликованному плану. В метаанализе Брунмайра и Рихтера 2019 года картины дали g = 0,67, математика 0,34, а на списках слов блоками учить лучше, g = −0,39. Метод мест выдержал на тренированном материале. У Вагнер и соавторов после шести недель тренировки запоминание выросло с 25,2 до 62,2 слова из 72.
Выдержали и выводы скромнее. Больше накопленной практики связано с более высоким уровнем, хотя это связь по часам, которые люди вспомнили сами. Между скоростью чтения и пониманием есть компромисс: все проверенные ускорения покупались потерей понимания. Маленький класс в опыте STAR дал около 0,15-0,20 стандартного отклонения, по шкале Крафта средний эффект или на границе большого.
Что пересмотрено
Часть громких утверждений отвергнута. Роговски и соавторы по схеме Пашлера не нашли выигрыша от подачи «под стиль» ни у 121 взрослого, ни у 125 пятиклассников. Эффект Моцарта не особый: по пересказу аннотации метаанализа Пичнига и соавторов другая музыка против тишины дала d = 0,38, а Моцарт против другой музыки 0,15. Отвергнуты и обещания курсов скорочтения читать втрое быстрее без потери понимания, и мысль, что короткое занятие о мышлении роста поднимает оценки всех учеников.
Игры для мозга делают умнее в учёбе и работе, обещала реклама, и это утверждение тоже отвергнуто. Федеральная торговая комиссия США в январе 2016 года сочла, что доказательств заявленной пользы у Lumos Labs не было. Компания заплатила 2 миллиона долларов, а решение на 50 миллионов приостановили из-за её финансового положения. В натренированной игре люди при этом растут быстро и надёжно, и это выдержало.
Другие утверждения не были доказательством с самого начала. Проценты пирамиды обучения печатали раньше, чем появилась экспериментальная психология памяти. Опыт 1993 года с Моцартом интеллект не измерял. Число 10 000 часов было средним у 10 лучших скрипачей одной академии к 20 годам, и половина из них его не набрала. Число «за сутки забываем 70 %» тоже не было доказательством, и откуда оно взялось, курсу установить не удалось. У Эббингауза через сутки на второе заучивание ушло около двух третей прежнего времени, а не забыто две трети материала.
Третья группа сильно ослаблена: в узкой форме утверждение верно, в широкой нет. Перечитывание и маркер не бесполезны, они помогают меньше сильных приёмов. Тренировка рабочей памяти против активного контроля дала перенос на невербальные способности 0,05. Конспект от руки разведён на два утверждения. Прямое повторение выигрыша на понимании отвергнуто, а общий вопрос, лучше ли писать от руки, остаётся спором.
Где спор открыт
Открытых споров в курсе больше десятка, и почти в каждом есть сильные данные с обеих сторон. Отнимает ли тревога баллы сама или тревожнее те, кто хуже подготовлен, данные пока не развели. Спорят и о том, какую долю различий в мастерстве объясняет практика. У Макнамары и соавторов 2014 года, по аннотации исходной статьи, от меньше 1 до 26 % по областям. В 2018 году к статье вышла поправка, общая корреляция стала 0,38, то есть около 14 %, а изменились ли доли по областям, курс не знает. Эрикссон и Харуэлл в 2019 году получили 29 % без поправки и 61 % с поправкой на ненадёжность.
О конспекте от руки метаанализ Фланигана и соавторов 2024 года дал g = 0,248, а мини-метаанализ Урри и соавторов по восьми близким повторениям 0,04. О запрете телефонов в школах одни работы нашли рост результатов, другие различий не нашли, а рандомизированных опытов с запретом нет. Онлайн-занятие о мышлении роста дало отстающим 0,11 стандартного отклонения в национальном опыте США, а в лучших исследованиях у Макнамары и Бергойна 0,02.
Статус «спор открыт» не значит, что знать нечего. Он значит, что ответ зависит от условий, которые опыты ещё не развели: какой тест, какая группа, какая поправка. Так же открыт вопрос, влияет ли учитель на будущий заработок ученика, и связан ли с исходом экзамена сон именно в ночь перед ним.
Вопросы к любому числу
Через весь курс прошли одни и те же вопросы. Первый: с чем сравнивали. Перечитывание у Донохью и Хэтти дало d = 0,47 против отсутствия приёма, а в прямых сравнениях проигрывает самопроверке. Второй: когда проверяли. В том же метаанализе 74 % проверок прошли в течение суток после учёбы.
Третий: что проверяли. 93 % исходов там поверхностные, факты и узнавание, а на глубоких исходах эффект 0,26. Узкий тест по пройденной теме тоже даёт больше широкого. Четвёртый вопрос: на ком мерили. Студент со списком слов в лаборатории и ученик в классе с программой и экзаменом через недели это разные случаи.
Пятый: сколько было людей и повторили ли опыт. Шестой: не завышено ли среднее публикационным смещением. Публикационным смещением называют перекос, при котором работы с положительным результатом печатают охотнее, поэтому средний эффект по опубликованному завышен. Признаки такого смещения есть, например, в метаанализе 2010 года об эффекте Моцарта, известном курсу по пересказу аннотации.
Седьмой: ощущение или измерение. В опыте Деслорье и соавторов 2019 года в активной аудитории чувство обучения было на 0,56 стандартного отклонения ниже, а тест на 0,46 выше. У Корнелла в 2009 году, по аннотации, разнесённое повторение было лучше у 90 % участников, а после первого занятия 72 % считали лучше сплошное. Восьмой: что будет в масштабе. Ответ Лорти-Форга и Инглиса, Крафта и Кызылчека с соавторами один: обычно меньше, чем в небольшом опыте.
В 40 % крупных школьных опытов данные одинаково совместимы и с нулём, и с заметным эффектом. Средняя мощность этих опытов заметить эффект 0,06 была 23 %. Незначимый результат такого опыта значит «сказать не удалось», а не «эффекта нет». Обратная ошибка тоже частая: крупный эффект на 100 учениках в масштабе обычно оказывается меньше.
Что курс знает и чего не обещает
Наука об обучении знает немало, и это знание добыто проверками. Самопроверка и распределённое повторение выдержали десятилетия опытов в лабораториях и настоящих классах. Ошибки популярных утверждений нашли сами исследователи. Роговски с соавторами проверили стили, Урри повторила опыт с конспектом, Макнамара повторила опыт со скрипачами, а Кызылчек с соавторами проверили приём на сотнях курсов. Это обычная работа науки, а не её слабость.
Границы курса остаются прежними. Курс не продаёт методик, не обещает результата, не даёт медицинских советов и не ставит диагнозов. Он говорит, какой эффект нашли, на ком и насколько он велик. О приёме любого препарата решает врач, и это подробно сказано в уроке 20.
Ключевые исследования
| Лорти-Форг и Инглис | 2019 | Анализ всех крупных рандомизированных опытов, заказанных EEF (82) и NCEE (59): 141 опыт, 1 222 024 ученика 1-12 классов, курс прочитал полный текст. Средний эффект 0,06, значимо больше нуля 23 % эффектов, средняя мощность 23 %. По байесову фактору 40 % опытов неинформативны, 38 % поддерживают отсутствие эффекта, 23 % его наличие. |
| Крафт | 2020 | 1 942 размера эффекта из 747 рандомизированных опытов в школах. Медиана 0,10, в опытах больше 2 000 учеников 0,03, до 100 учеников 0,24, каждый четвёртый эффект нулевой или отрицательный. Шкала для школьных опытов: меньше 0,05 малый, 0,05-0,20 средний, 0,20 и больше большой. |
| Мейкел и Плакер | 2014 | Обзор всей истории публикаций 100 ведущих журналов по образованию с подсчётом повторений, известен курсу по аннотации. Повторения составляют 0,13 % статей. Большинство подтверждает оригинал, но без общих авторов с оригиналом повторения удаются значимо реже. |
| Данлоски и соавторы | 2013 | Описательный обзор литературы, не одно исследование: десять приёмов без общих чисел, оценка по четырём группам условий и данным из классов. Высокая польза у самопроверки и распределённого повторения, умеренная у уточняющих вопросов, самообъяснения и чередования, низкая у пересказа, выделения, метода ключевых слов, образов к тексту и перечитывания. |
| Ян и соавторы | 2021 | Метаанализ 222 исследований в настоящих классах, 48 478 учащихся, известен курсу по аннотации. Проверочные вопросы на уроках подняли успеваемость на g = 0,499. Эффект измерен в основном проверками по тому же материалу. |
| Сепеда и соавторы | 2006 | Метаанализ 839 оценок в 317 опытах из 184 статей, только словесный материал, числа по принятой рукописи. Разнесённые повторения в среднем 47,3 % против 36,7 % у сплошных, ни в одном диапазоне сроков сплошное не лучше. 85 % данных получены на молодых взрослых. |
| Кызылчек и соавторы | 2020 | Рандомизированный опыт с предрегистрацией: 269 169 студентов в 247 курсах Гарварда, MIT и Стэнфорда. Упражнение на планирование дало +0,19 процентного пункта с интервалом от −0,69 до 1,07, хотя в опыте на 2 053 студентах подняло завершение с 14 до 18 %. По выводу авторов, при масштабировании эффект падает на порядок. |
Что подтвердилось, а что нет
Высокая польза в обзоре Данлоски и соавторов 2013 года. Роуланд 2014: 159 эффектов, g = 0,50. Ян и соавторы 2021: 222 исследования в настоящих классах, 48 478 учащихся, g = 0,499. Оговорка: эффект измерен в основном проверками по тому же материалу, а через несколько минут после занятия перечитывание может выигрывать.
Лорти-Форг и Инглис 2019: 141 крупный опыт на 1 222 024 учениках, средний эффект 0,06, значимо больше нуля 23 % эффектов. Крафт 2020: медиана 0,24 в опытах до 100 учеников и 0,03 в опытах больше 2 000. Кызылчек и соавторы 2020: с 14 до 18 % на 2 053 студентах и +0,19 процентного пункта с интервалом через ноль на 269 169. Оговорка: малый эффект в масштабе не значит, что приём бесполезен, 40 % крупных опытов неинформативны.
Проверка требует перекрёстного взаимодействия (Пашлер и соавторы 2008). Роговски и соавторы не нашли перекрёста ни у 121 взрослого в 2015 году, ни у 125 пятиклассников в 2020 году. Оговорка: в метаанализе 2024 года перекрёст есть в 11 показателях из 42, в основном в работах низкого качества, поэтому «ровно ноль» не доказан. Предпочтения у людей при этом есть.
Порядок без чисел печатали с 1852 года, первые доли дал журнал воскресных школ в 1906 году, раньше экспериментальной психологии памяти (Летруд и Хернес 2018). На конусе опыта Дейла чисел нет. Активные формы занятий в вузовских естественных науках выигрывают у лекции около половины стандартного отклонения, 0,47 у Фримена и соавторов 2014 года, а не в разы.
Термины
- общеязыковой эффектcommon language effect size
- Вероятность, что случайно выбранный участник одной группы обгонит случайно выбранного участника другой. Без всякого эффекта она равна 50 %.
- статистическая мощностьstatistical power
- Вероятность, что опыт заметит эффект заданного размера, если он есть.
- неинформативный опытuninformative trial
- Опыт, данные которого одинаково совместимы и с отсутствием эффекта, и с заметным эффектом.
- байесов факторBayes factor
- Во сколько раз данные вероятнее при одной гипотезе, чем при другой, например при нулевом эффекте и при заметном.
- размер эффекта d или gCohen's d, Hedges' g
- Разница между группами, выраженная в стандартных отклонениях. Условно 0,2 считают малым, 0,5 средним, 0,8 большим.
- рандомизированный опытrandomized controlled trial
- Участников распределяют по условиям жребием, поэтому группы в среднем одинаковы во всём, кроме изучаемого вмешательства.
- публикационное смещениеpublication bias
- Работы с положительным результатом печатают охотнее, поэтому средний эффект по опубликованному завышен.
- прямое повторениеdirect replication
- Тот же опыт по той же процедуре на новых участниках.
- предрегистрацияpreregistration
- План опыта и анализа публикуют до сбора данных, чтобы нельзя было подогнать анализ под результат.
- масштабированиеscale-up
- Перенос приёма с нескольких курсов или школ на сотни, обычно с падением эффекта.
Практикум · Разбор новости о методе учёбы, который «доказали учёные»
Новости и рекламы методов учёбы часто опираются на одно исследование с крупным эффектом. Задание в том, чтобы пройти по такому тексту вопросами курса и найти утверждение на карте статусов этого урока. Понадобятся сам текст и, если удастся, аннотация исследования, на которое он ссылается.
- Найдите новость, рекламу или главу учебника, где метод учёбы назван доказанным. Выпишите главное утверждение и число, на которое оно опирается.
- Выясните, с чем сравнивали и когда проверяли: с отсутствием приёма или с сильным приёмом, сразу после учёбы или через недели. Если текст этого не говорит, отметьте это отдельно.
- Соберите паспорт: на ком мерили, сколько было участников, узкий тест по пройденному или широкий, лаборатория или настоящий класс. Сравните размер эффекта с медианой 0,10 и шкалой Крафта для школьных опытов.
- Поищите, повторяли ли опыт другие авторы и проверяли ли приём в большом опыте. Если нашлось только одно небольшое исследование, запишите это рядом с числом.
- Найдите утверждение на карте статусов урока и сверьте статус. Отметьте, не выдаёт ли текст ощущение пользы за измеренный результат и не обещает ли он результат читателю.
Вопросы для самопроверки
Средний эффект 141 крупного школьного опыта EEF и NCEE 0,06 стандартного отклонения. Как это читать?
- Программы в школах почти бесполезны, и проверять их дальше в больших опытах нет смысла
- Оценки учеников в группах с программой выросли в среднем на 6 % за учебный год по сравнению с контрольной
- Ученик из группы с программой обгонит ученика контрольной с вероятностью 51,7 % вместо 50 %
- Программа помогла примерно 6 ученикам из ста, а остальным ученикам в тех же школах ничего не изменила
Крупный опыт в школах не нашёл статистически значимого эффекта. Что из этого следует?
- Приём не работает, раз даже большой опыт ничего не показал
- Опыт мог быть неинформативным
- Опыт был плохо устроен, и его результат стоит отбросить, пока нет повторения
- Эффект скрыло публикационное смещение, которое занижает результаты больших опытов
Какие приёмы курс относит к выдержавшим проверку и в лабораториях, и в настоящих классах?
- Подача материала под стиль ученика и чередование любого материала, если ученик сам выбрал порядок
- Метод мест для памяти вообще и тренировка рабочей памяти для интеллекта
- Конспект от руки и музыка Моцарта во время учёбы, если она нравится
- Самопроверка и распределённое повторение, в том числе в школьных классах
Что показали Мейкел и Плакер о повторениях в исследованиях образования?
- Повторения составляют около трети статей, и почти все они подтверждают оригинал без оговорок
- Повторения составляют 0,13 % статей, а без общих авторов с оригиналом удаются реже
- Повторения встречаются часто, но почти всегда опровергают оригинал, если их делают другие люди
- Повторений в ведущих журналах нет совсем, потому что журналы их не принимают
Строгий рандомизированный опыт на нескольких тысячах школьников дал эффект 0,20 на стандартизированном тесте. Как его оценить?
- Это малый эффект ниже точки перегиба 0,40, и приёмом не стоит заниматься
- Это значит, что оценки поднялись на 0,2 балла у каждого ученика
- По шкале Крафта для школьных опытов это большой эффект, хотя по условной шкале Коэна малый
- Это средний эффект по любой шкале, если опыт рандомизированный и тест широкий
Ответы и разбор открываются в самопроверке урока: она считает результат и отмечает урок пройденным. Пройти самопроверку.
Что читать
- Lortie-Forgues, Inglis, 2019. Rigorous Large-Scale Educational RCTs Are Often Uninformative: Should We Be Concerned? Educational Researcher, 48(3), 158-166. Рукопись: https://eprints.whiterose.ac.uk/141754/: Открытая рукопись в репозитории White Rose. Таблица 1 и раздел Discussion: средний эффект 141 опыта, мощность, ширина интервалов и доля неинформативных опытов.
- Kraft, 2020. Interpreting Effect Sizes of Education Interventions. Educational Researcher, 49(4), 241-253. Рабочая версия: https://www.edworkingpapers.com/ai19-10: Раздел New Empirical Benchmarks: медианы по размеру выборки и типу теста и шкала для школьных опытов. Курс читал рабочую версию 2019 года.
- Letrud, Hernes, 2018. Excavating the origins of the learning pyramid myths. Cogent Education, 5(1), 1518638. https://doi.org/10.1080/2331186X.2018.1518638: Открытая статья о том, как пирамида обучения появилась без опытов. Раздел 3 с цитатами 1852 и 1906 годов показывает, как порядок без чисел превратился в проценты.
- Murre, Dros, 2015. Replication and Analysis of Ebbinghaus' Forgetting Curve. PLOS ONE, 10(7), e0120644. https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0120644: Открытая статья, образец прямого повторения через 130 лет. Таблица 3 со сбережением Эббингауза и Дроса по семи срокам.