Глубокое обучение: перелом 2012 года

Способ обучения был готов за четверть века до перелома, не хватало лишь данных и вычислений

Глубокое обучение это обучение многослойных сетей, и заработало оно в 2012 году, хотя обратное распространение ошибки опубликовали в 1986-м. Не хватало трёх топлив: размеченных данных, вычислений и алгоритмических приёмов. Набор ImageNet с 2009 года дал более четырнадцати миллионов размеченных изображений, а в 2012-м свёрточная сеть AlexNet дала ошибку 15,3 % против 26,2 % у второго места, отрыв почти в одиннадцать процентных пунктов.

ImageNet (Фей-Фей Ли, с 2009). AlexNet (Крижевский, Суцкевер, Хинтон), 2012. Саттон, «Горький урок», 2019 · 24 мин · обновлено 12.09.2026

Обратное распространение ошибки опубликовано в 1986 году, и с этого момента многослойные сети стало можно обучать. Перелом в распознавании изображений случился в 2012-м. Между этими двумя датами лежат двадцать шесть лет, и всё это время способ обучения был известен, опубликован и никем не спрятан.

Значит, дело было не в идее. Третий урок закончился обещанием объяснить, чего именно не хватало, и вот ответ. Не хватало двух вещей, которых нельзя придумать за письменным столом: примеров, на которых учиться, и вычислений, чтобы всё это посчитать.

Условия, при которых глубокое обучение работает, принято называть топливом, и топлив три: данные, железо и алгоритмы. Обязательны все три сразу, и это главная особенность конструкции. Два топлива из трёх не дают ничего, а третье в одиночку не даёт даже надежды. Урок разбирает каждое по отдельности, а потом смотрит на 2012 год, когда они наконец сошлись.

Данные: что значит разметить четырнадцать миллионов картинок

Чтобы научить систему отличать кошку от собаки, нужны картинки кошек и собак с подписями. Подпись ставит человек, потому что машине взять её неоткуда: умей она подписывать сама, задача была бы уже решена. Это и есть обучение с учителем, о котором говорил второй урок, то есть примеры с готовыми правильными ответами.

В 2009 году Фей-Фей Ли с коллегами начала собирать ImageNet, набор из более чем четырнадцати миллионов размеченных изображений. С 2010 года на нём проводят соревнование ILSVRC: участники получают одни и те же картинки и проверяются на одном и том же скрытом тесте. Сравнимость здесь важна не меньше объёма, потому что без общей линейки прогресс просто нечем заметить.

Четырнадцать миллионов стоит перевести в человеческое время. Пусть на одну картинку уходит пять секунд: посмотреть, выбрать класс, нажать. Тогда один человек, не отвлекаясь ни на сон, ни на еду, потратил бы на такой набор больше двух лет подряд. Разметка не подготовительная мелочь перед обучением, а отдельная работа сопоставимого размера.

Отсюда понятно, почему такого набора не было в восьмидесятых. Оцифрованных изображений в мире было мало, разослать задание десяткам тысяч людей было некуда, а собрать всё это силами одной лаборатории немыслимо. Дешёвые камеры и интернет сделали и то и другое возможным, и произошло это заметно позже 1986 года.

Железо: почему именно видеокарты

Что происходит внутри сети, когда она обрабатывает один пример? Каждый нейрон умножает входные числа на свои веса и складывает произведения. В слое таких нейронов тысяча, и все они делают это над одними и теми же входными числами. Значит, одна и та же простая работа повторяется тысячу раз подряд.

У этой работы есть имя, и ввести его стоит сейчас: дальше оно понадобится ещё дважды. Матрица это прямоугольная таблица чисел, и ничего больше за словом не стоит. Сложим веса всей тысячи нейронов в такую таблицу: строка на нейрон, столбец на вход. Входные числа выпишем столбиком рядом.

Теперь посчитаем ответ слоя. Берём первую строку таблицы, умножаем её числа на числа входного столбика по порядку и складываем. Вышло первое число ответа. Берём вторую строку, повторяем, получаем второе число. Таблица, умноженная на столбик, даёт новый столбик, и это действие называют перемножением матриц. Если примеров сразу пачка, столбик превращается в таблицу, и выходит таблица на таблицу.

Заметьте главное свойство такого счёта, потому что из него дальше следует всё. Каждое число ответа получается по одному и тому же рецепту и не зависит от соседей. Первую строку и пятисотую можно считать одновременно, в любом порядке и хоть на разных устройствах. Ждать здесь нечего и некого.

Обычный процессор рассчитан на другое. Он быстро выполняет длинную цепочку разных команд с ветвлениями, но выполняет их по нескольку штук за раз. Видеокарта устроена наоборот: в ней тысячи простых счётчиков, делающих одну операцию над разными числами одновременно. Ровно это и нужно для перемножения матриц.

Здесь это похоже на разницу между мастером и ротой солдат. Мастер в одиночку выполняет длинную сложную работу, рота одновременно делает одно простое движение. Ломается аналогия вот где: солдаты могут разойтись и действовать порознь, а счётчики видеокарты обязаны идти в ногу. Как только вычисление начинает ветвиться по-разному для разных чисел, преимущество исчезает.

Совпадение оказалось удачным до неприличия. Видеокарты делали для игр, выпускали массово и потому дёшево, а приспособлены они были ровно к тому, что нужно нейросетям. AlexNet обучали на двух таких картах, а не на суперкомпьютере, и это одна из причин, почему за победителем смогли пойти все остальные.

Алгоритмы: третье топливо

Третье топливо выглядит скромнее двух первых и потому чаще выпадает из рассказа. Речь о приёмах, которые делают обучение глубокой сети практически возможным. По отдельности каждый похож на техническую мелочь. Вместе они решают, обучится сеть за неделю или не обучится вовсе.

Стоит назвать три и объяснить каждый одной строкой. ReLU задаёт правило «отрицательное заменяем нулём, положительное оставляем как есть». Считается оно дёшево и не гасит сигнал в глубине сети, а без такой нелинейности любая глубина схлопывается в одну прямую. Dropout означает случайное отключение части нейронов на каждом шаге, из-за которого сеть не может опереться на единственный удачный путь.

Нормализация приводит числа внутри слоя к общему масштабу. Без неё дальние слои получают то слишком большое, то слишком малое, и обучение разваливается по дороге. Ни один из трёх приёмов не меняет принципа: ошибка по-прежнему раскладывается по вкладам назад, слой за слоем, как и было описано в 1986 году.

И теперь главное свойство всей тройки. Данные без вычислений лежат мёртвым грузом, потому что обучение не закончится за разумный срок. Вычисления без данных бесполезны ровно так же: учиться не на чем. Поэтому вопрос «что из трёх важнее» поставлен неверно, а верный звучит иначе: чего именно не хватает прямо сейчас.

2012 год: числа, которые перевернули область

В соревновании ILSVRC 2012 года участвовала свёрточная сеть Алекса Крижевского, Ильи Суцкевера и Джеффри Хинтона, известная под названием AlexNet. Свёрточная сеть это сеть, которая ищет узор небольшим скользящим окном по всей картинке. Её устройство разбирает урок 9. Обучали её на двух видеокартах и на картинках ImageNet.

Меряли ошибку top-5: долю изображений, для которых верный ответ не попал в пятёрку предположений системы. Мера удобная, потому что на фотографии часто несколько предметов, и требовать единственного точного попадания было бы чрезмерно строго. Чем эта величина меньше, тем система лучше.

Теперь числа. AlexNet дала ошибку top-5 15,3 %, а занявшая второе место система показала 26,2 %. Отрыв составил почти одиннадцать процентных пунктов: на каждой сотне картинок победитель промахивался пятнадцать раз, а следующий за ним двадцать шесть раз.

Чтобы понять, почему эти числа ошеломили область, надо знать предысторию соревнования. До 2012 года результаты улучшались долями процента в год: команда находила удачный признак, придумывала более хитрое преобразование и выигрывала полпроцента у прошлогоднего лидера. Отрыв почти в одиннадцать процентных пунктов оказался больше, чем весь прогресс за несколько лет вместе взятый.

Дальше сработала простая арифметика доверия. Если один подход разом обошёл все остальные на величину, недостижимую для них годами, спорить о вкусах становится бессмысленно. К следующему соревнованию свёрточные сети использовали почти все участники, а ещё через год-два глубокое обучение стало основным подходом в машинном зрении.

Проценты и процентные пункты

На этих числах удобно закрыть одну ловушку, которая будет мешать весь курс. Процентный пункт это разница между двумя процентами, выраженная в тех же единицах. Переход с 26,2 % на 15,3 % означает падение на почти одиннадцать процентных пунктов, и это первая из двух верных формулировок.

Вторая формулировка считает долю от прежней величины. Ошибка уменьшилась больше чем на сорок процентов от того, чем была: 10,9 от 26,2 это примерно 0,42. Оба числа честные, они отвечают на разные вопросы, и путаница между ними служит самым обычным способом раздуть или приуменьшить результат.

Правило простое и стоит запомнить его сейчас. Если в заголовке написано «ошибка снизилась на сорок процентов», спросите, на сорок процентов от чего. Если написано «на десять процентов», спросите, не имелись ли в виду процентные пункты. Разница между этими прочтениями иногда четырёхкратная.

Что именно победило в 2012 году

У этой победы есть содержание помимо чисел, и оно важнее чисел. Прежние участники соревнования тратили основные силы на признаки. Специалист придумывал, что именно измерять на картинке: перепады яркости, углы, характерные точки. Дальше с этими измерениями разбирался уже простой классификатор. Признак это свойство входа, по которому принимается решение, и до 2012 года признаки для зрения придумывали люди.

AlexNet выиграла, не пользуясь придуманными признаками. Сеть получала на вход точки изображения и подбирала признаки сама, в ходе обучения. Это тот самый принцип из второго урока: правило не пишут, а выучивают. Годы экспертной работы над признаками проиграли обучению на большом наборе за одно соревнование.

Смена подхода видна и по тому, кто выигрывал дальше. Раньше преимущество давало знание предметной области: как устроены изображения, какие преобразования устойчивы к освещению, что мешает распознаванию. После 2012 года преимущество стало давать умение собрать данные, наладить обучение и получить доступ к вычислениям. Область поменяла не только методы, но и набор навыков, за которые платят.

Именно этот сюжет через семь лет превратился в отдельный и очень громкий тезис. Его стоит разобрать медленно, потому что в пересказах он звучит куда решительнее, чем у автора. И разбирать его надо сразу вместе с возражением.

«Горький урок» и спор вокруг него

В 2019 году Ричард Саттон опубликовал короткую заметку под названием «Горький урок». Тезис такой. За семьдесят лет истории ИИ методы, опирающиеся на общий поиск и обучение с ростом вычислений, систематически обыгрывали другие. Обыгрывали они те методы, в которые вкладывали человеческие знания о предметной области. Шахматы, го, распознавание речи, зрение: везде, по Саттону, повторялся один и тот же сюжет.

Урок назван горьким по понятной причине. Вложенных экспертных знаний жаль: за ними стоят годы работы умных людей, и проигрывают эти знания не более умному человеку, а просто большему объёму вычислений. Саттон прямо пишет, что признают такое неохотно и каждый раз заново.

Тезис звучит эффектно, и потому его надо немедленно поставить рядом с возражением. В реестре курса утверждение стоит со статусом «спор открыт». Тезис оспаривается: есть области, где структурные допущения продолжают выигрывать. Так называют заранее вложенные предположения о том, как устроена задача.

Лучший пример возражения даёт сама AlexNet. Это свёрточная сеть, а свёртка и есть структурное допущение. Мы заранее сообщаем сети, что важен небольшой локальный узор. И что значим он в любом месте картинки одинаково. Победа, которую приводят как доказательство горького урока, сама построена на человеческом знании о задаче.

Отсюда аккуратная формулировка, которой курс и держится. Проигрывают, судя по истории, не всякие вложенные знания, а те, которые описывают готовое решение задачи вместо того, чтобы описывать её структуру. Где именно проходит граница между первым и вторым, сформулировать пока не удалось, и потому спор открыт, а не закрыт в чью-либо пользу.

Заметьте и то, чем этот тезис не является. Это не предсказание и не рецепт: Саттон описывает случившееся, а не то, что случится дальше. Закономерность может продолжиться, а может упереться в конечность данных или в стоимость электричества. Курс поэтому и держит статус «спор открыт», вместо того чтобы записывать заметку в законы.

Три топлива как вопросник

Тройка топлив полезна не только как история. Из неё получается короткий вопросник для любого заявления о прорыве. Работает он потому, что не привязан к конкретным системам и не устаревает вместе с ними. Вопросов ровно три, по числу топлив.

Первый: что изменилось в данных? Появился новый размеченный набор, выросла его чистота, нашёлся способ обойтись без ручной разметки. Всё это настоящие события. Если же данные те же самые, что у предшественников, источник улучшения надо искать в другом месте.

Второй: что изменилось в вычислениях? Обучение подорожало вдесятеро или, наоборот, прежний результат получили вдесятеро дешевле. Это две разные новости. Заявление о прорыве, где не сказано, сколько вычислений потрачено, проверить попросту нечем.

Третий: что изменилось в алгоритме и почему это должно работать? Здесь чаще всего и лежит содержательная часть, если она есть вообще. Три вопроса не дают оценки, зато сразу показывают, где искать ответ, а это ровно то, чего курс добивается вместо спора о словах.

Что дальше

Урок отвечает на вопрос, оставшийся с третьего урока: почему метод 1986 года ждал двадцать шесть лет. Ждал он данных и вычислений, а не идеи. В реестре это записано прямо: обратное распространение ошибки стоит со статусом «выдержало», потому что его не заменили, а дозаправили.

Отсюда немедленно встаёт следующий вопрос, и он количественный. Если доливать топливо дальше, вдвое или вдесятеро, что произойдёт с качеством? Обычно на такой вопрос заранее ответить нельзя. Но для языковых моделей отдачу от масштаба измерили, и урок 8 разбирает эти измерения вместе со спором вокруг них.

А урок 9 задаст вопрос с другой стороны: что именно выучивает сеть, когда подбирает признаки сама? Ответ там окажется менее удобным, чем хотелось бы. Полезным он окажется тоже, и как раз неудобная его часть полезна больше всего.

Вопросы для самопроверки

Что читать

• Richard Sutton, «The Bitter Lesson», 2019: Заметка на одну страницу, которую цитируют чаще, чем читают. Прочитать стоит целиком: у автора тезис сформулирован осторожнее, чем в пересказах.
• Таблицы результатов соревнования ILSVRC по годам: Смотреть надо не на строчку 2012 года, а на весь столбец: до неё прогресс идёт долями процента, а после ступенькой. Именно так выглядит смена подхода в цифрах.
• Dive into Deep Learning (d2l.ai), разделы о вычислениях и обучении на видеокартах: Открытый учебник, фактическое ядро курса. Здесь пригодится место, где обучение сети сводится к перемножению матриц: становится видно, почему железо для игр подошло к науке.