Переобучение нейросети и утечка данных

Переобучение, спрятанный тест и утечка данных как главная причина завышенных результатов

Переобучение нейронной сети это запоминание обучающих примеров вместо закономерности: ошибка на обучении падает, а на новых данных растёт. Видно это только по отложенным данным, поэтому часть данных прячут до начала обучения и модели не показывают. В тренажёре урока многочлен третьей степени даёт около 0,06 на обучении и столько же на новых точках, а прямая 0,26 и 0,31. Самая частая причина завышенных результатов это утечка данных.

Dive into Deep Learning, глава о выборе модели. Stanford CS229, конспекты о переобучении · 22 мин · обновлено 01.10.2026

Студент выучил сорок билетов наизусть, дословно, вместе с примерами и оговорками. На репетиции экзамена, где вопросы те же самые сорок, он отвечает безупречно. Преподаватель доволен, студент уверен в себе, и до настоящего экзамена всё выглядит прекрасно.

На экзамене вопрос звучит чуть иначе: тот же материал, но другими словами и с другого конца. И оказывается, что отвечать нечем. Заученный текст к переформулировке не подходит. Рядом сидит второй студент, знавший билеты хуже дословно и лучше по существу, и он отвечает спокойно.

Теперь заметьте главное, ради чего эта история рассказана. На репетиции эти двое были неразличимы: оба ответили на все сорок вопросов без запинки. Единственным способом отличить их был вопрос, которого ни один из них раньше не видел. Ровно эта беда и ровно это лекарство составляют содержание урока. Беда называется переобучением, лекарство состоит в том, чтобы часть вопросов спрятать заранее.

Обобщение и есть единственная цель

Урок 2 уже назвал величину, ради которой всё затевается. Модель нужна не для того, чтобы правильно отвечать на показанные примеры: ответы на них и так известны, для этого хватило бы таблицы. Модель нужна, чтобы отвечать на то, чего она не видела. Способность переносить выученное на новые случаи называется обобщением, и другой цели у обучения нет.

Отсюда следует неудобный вывод, к которому трудно привыкнуть. Отличный результат на обучающих данных сам по себе не стоит почти ничего. Он одинаково совместим и с выученной закономерностью, и с запомненными ответами, а это очень разные вещи. Различить их по обучающим данным нельзя в принципе, как нельзя было различить двух студентов на репетиции.

Переобучение это когда модель запомнила обучающие примеры вместо того, чтобы выучить закономерность. Внешний признак всегда один и тот же: ошибка на обучении падает, а на новых данных растёт. Слово звучит так, будто модель перестаралась и остановиться следовало раньше. На деле речь не про усердие, а про то, что именно оказалось выучено.

Почему зубрёжка получается сама собой

Стоит спросить, почему модель вообще сваливается в запоминание, ведь никто её об этом не просил. Ответ прямо следует из урока 4, и он неприятно прост. Градиентный спуск уменьшает функцию потерь, то есть ошибку на тех самых примерах, которые ему дали. Ни о каких других данных в этой величине не сказано ни слова, и знать о них процедуре неоткуда.

Значит, зубрёжка для модели не порок, а кратчайший путь к поставленной цели. Если ручек хватает, чтобы подстроиться под каждый показанный пример по отдельности, потери падают ниже всего именно так. Никто не просил модель искать закономерность: её просили уменьшить число, и она честно его уменьшила. Обобщение в такой постановке задачи не награждается и не наказывается вовсе.

Отсюда следует вывод, который стоит запомнить. Переобучение не сбой обучения, а его нормальный исход при избытке свободы. Бороться с ним приходится снаружи: ограничивать гибкость модели, останавливать обучение вовремя, добавлять данные. И прежде всего заводить отдельное измерение, потому что величина, которую уменьшает спуск, о переносе на новые случаи не говорит ничего.

Девять точек и многочлен

Разберём это на тренажёре, где всё происходит на одном графике. Девять точек сняты с гладкой кривой, но каждая сдвинута случайно, как бывает при любом измерении. Модель здесь многочлен: чем выше его степень, тем извилистее может быть кривая. Степень и есть мера гибкости: чем она выше, тем больше у модели параметров.

При степени 1 модель прямая, и она слишком проста для этих данных. Изгиб прямая не ловит, и ошибка велика с обеих сторон: около 0,26 на обучении и 0,31 на новых данных. Это недообучение, обратная беда, и распознаётся она сразу. Ручек у модели просто не хватает, чтобы описать происходящее.

При степени 3 обе ошибки падают примерно до 0,06 и оказываются почти равны. Вот это и есть попадание: кривая повторила форму, которая в данных действительно есть. Заметьте, что ошибка не нулевая и нулевой быть не должна. В точках сидит случайный сдвиг, и повторять его незачем. Хорошая модель ошибается на шуме и не ошибается на закономерности.

Теперь поставьте степень 8 и посмотрите на две полосы сразу. Ошибка на обучении становится ровно нулевой, а вторая полоса упирается в край шкалы. Кривая прошла точно через все девять точек, и это не достижение, а арифметика.

Посчитаем ручки этой модели, чтобы слова про арифметику не остались словами. Многочлен восьмой степени это сумма девяти слагаемых: свободное число, потом икс, потом икс в квадрате и так далее до икс в восьмой. У каждого слагаемого свой множитель, и подбирает их обучение. Множителей, стало быть, девять, ровно столько же, сколько точек.

Дальше работает школьная арифметика: девять неизвестных и девять условий вида «кривая проходит через эту точку». Такая система обычно имеет решение, каковы бы эти точки ни были. Значит, нулевая ошибка здесь получена не обучением, а числом ручек. Поставьте «Другие точки», и кривая пройдёт и через них, а на новых данных промахнётся ещё сильнее.

Здесь стоит задержаться, потому что это главный момент урока. Модель не отличает закономерность от случайного сдвига: для неё и то и другое просто числа. Гибкости хватило, чтобы объяснить всё подряд, и она послушно объяснила всё подряд. Между точками кривая уходит туда, где данных нет вовсе, и промахивается на новых случаях тем сильнее, чем точнее подогналась под старые.

Зачем прячут тест

Лекарство известно и звучит до обидного просто. Ещё до начала обучения данные делят на две части: на одной учат, вторую убирают и модели не показывают вовсе. Вторая называется тестовой выборкой, и мерить качество можно только по ней. В тренажёре это бледные точки: модель их не видела, и рисуют они как раз вторую полосу.

Работает приём по одной причине, и её стоит проговорить вслух. Запомнить можно только то, что видел, а закономерность переносится и на невиданное. Значит, разрыв между двумя ошибками и есть измеритель того, сколько модель зазубрила. Пока обе ошибки близки, всё в порядке. Как только вторая пошла вверх, началось переобучение.

Отсюда правило, которое выглядит бюрократическим и таковым не является. В тестовую выборку нельзя заглядывать до самого конца, ни для настройки, ни просто из любопытства. Причина не в честности перед коллегами, а в арифметике: каждый взгляд понемногу превращает тест в ещё одну обучающую выборку. Происходит это незаметно и через ваши собственные решения, но происходит непременно.

Разберём, как это случается на нашем же примере. Вы прогоняете степени от 1 до 8, смотрите на вторую полосу и выбираете степень 3 как лучшую. Выбор сделан по тестовым данным, значит, они уже поучаствовали в обучении, пусть и через вас. Поэтому в серьёзной работе выборок три: на одной учат, по второй выбирают настройки, третью открывают ровно один раз в самом конце.

Утечка данных

Самая частая причина завышенных результатов не подтасовка и не злой умысел. Это утечка данных: в обучение попадает то, чего там быть не должно. Опасна утечка тем, что выглядит как успех: цифры вдруг становятся прекрасными, а радость мешает задавать вопросы. Встречается она и в научных публикациях, и в работающих системах, и случается чаще всех прочих причин.

Прямой вид. Тестовые примеры оказались заодно и в обучающем наборе: дубликаты, повторная выгрузка, наборы, собранные разными людьми из одного источника. Модель отвечает на знакомое, а мы считаем, что она обобщила. В больших наборах данных дубликаты обычное дело, и ищут их специально.

Через подготовку данных. Числа нормируют, пропуски заполняют средним, признаки отбирают по всей таблице, и только потом делят её надвое. Тестовые данные уже повлияли на обучение, потому что участвовали в подсчёте этого среднего. Правило простое и жёсткое: сначала делят, потом готовят.

Через время. Данные делят случайно там, где события идут в определённом порядке, и модель начинает предсказывать вчерашнее по завтрашнему. На тесте выходит блестяще, а в работе бесполезно, потому что будущего в работе никто не подскажет. Такие данные делят по дате, а не наугад.

Через связанные примеры. Несколько снимков одного пациента, несколько кадров одного видео, несколько отзывов одного автора расходятся по разным выборкам. Формально это разные примеры, а по существу один и тот же случай. Модель научается узнавать пациента, а не болезнь, и результат снова завышен.

Признак у всех четырёх видов один и тот же. Между обучением и тестом протёк канал, которого никто не заметил, и обобщение перестало измеряться. Заметьте, что во всех четырёх случаях никто не жульничал: деление на выборки было сделано, отчёт написан честно, а число вышло завышенным. Отсюда практическая привычка, отличающая опытного человека: слишком хороший результат служит поводом для проверки, а не для радости. В таких случаях сначала ищут утечку и только потом празднуют.

Что здесь от статистики

Всё сказанное не особенность нейросетей и вообще не про них. Подгонять гибкую кривую под точки статистики научились задолго до машинного обучения, там же нашли и лекарства. Чем больше у модели свободы, тем лучше она объясняет любые данные, включая чистый случайный разброс. Наш многочлен восьмой степени и есть старый учебный пример, а не изобретение этого курса.

Лекарств много, названий у них ещё больше, но идея у всех одна: ограничить свободу модели. Можно наказывать её за слишком крупные веса, можно останавливать обучение раньше, можно делить данные многократно и усреднять результат. Каждый приём стоит знать по названию, а разбирать их подробно этот курс не станет. Общее у них одно, и оно из статистики: чем больше решений модель принимает по данным, тем меньше значит её согласие с этими данными.

Здесь важнее другое: та же беда вернётся в модуле V под новым именем. Когда бенчмарк опубликован в интернете, а модель обучена на интернете, тестовые задачи оказываются в обучении. Это ровно утечка данных, только в промышленном масштабе и почти по умолчанию. Урок 14 разбирает, что после этого остаётся от заголовка «модель сдала экзамен», и ответ там короче, чем хотелось бы.

Три вопроса к любому числу

Из урока следует небольшой набор вопросов к любому заявлению о точности. Спрашивать надо не «сколько процентов», а «на чём это измерено». Трёх вопросов хватает в большинстве случаев, и задавать их не стыдно даже неспециалисту.

Первый: что именно спрятали и когда. Если тест открывали по ходу дела и подстраивали под него модель, число завышено. Насколько именно, сказать нельзя, зато направление известно заранее и всегда одно.

Второй: не связаны ли части между собой. Разделили данные по времени, по пациентам, по авторам или просто перемешали строки таблицы. От ответа зависит, измеряет ли полученное число обобщение вообще хоть в каком-то смысле.

Третий: на кого похожи новые случаи. Модель, обученная на снимках одной больницы, на снимках другой работает хуже, и это нормальное свойство подгонки. Обобщение всегда измеряется относительно тех данных, из которых модель училась, а не относительно мира вообще.

Вопросы эти пригодятся и далеко за пределами машинного обучения. Всякая проверка теории на тех же наблюдениях, из которых теория выведена, страдает ровно этим изъяном. Разница лишь в том, что у моделей изъян можно измерить: спрятать часть данных и посмотреть на разрыв. Такой возможности у большинства человеческих рассуждений, к сожалению, нет.

Что дальше

Модуль II закончен, и в нём собрана вся механика обучения. Функция потерь, спуск мелким шагом, слои с нелинейностью между ними, распределение вины назад и спрятанный тест. Ничего принципиально нового в устройстве обучения дальше не появится: будут меняться масштабы, данные и способы соединять слои. Поэтому к этим шести страницам курс будет возвращаться постоянно.

Модуль III отвечает на вопрос, который к этому месту уже назрел. Обратное распространение работало с 1986 года. Почему же революции ждали ещё четверть века? Ответ короткий и обидный: не было данных и не было вычислений, а без них обучать было нечем и не на чем. Урок 7 разбирает его подробно, вместе с числами AlexNet 2012 года, где отрыв от второго места составил больше десяти процентных пунктов.

Вопросы для самопроверки

Что читать

• Dive into Deep Learning (d2l.ai), глава о выборе модели, недообучении и переобучении: Тот же многочлен, что в тренажёре, но с кодом и графиками. Полезно посмотреть, как выглядит подгонка при степени выше числа точек.
• Тренажёр «Зубрёжка против понимания» в этом уроке: Пять минут с ползунком степени дают то, чего не даёт описание: видно, что первая полоса падает всегда, а решает всё вторая.