Сильный искусственный интеллект (AGI) и риски

Кто что утверждает, на чём это стоит и почему прогнозы сроков так расходятся

Сильный искусственный интеллект, он же общий, или AGI, это гипотетическая система, справляющаяся с любой интеллектуальной задачей примерно на уровне человека, причём единого определения и признанного теста у неё нет. Всё существующее на 2026 год относится к узкому ИИ, решающему свой класс задач. Опросы исследователей дают разброс сроков от ближайших лет до «никогда», а публичный спор склеивает три независимых вопроса в один.

Опросы исследователей о сроках AGI. Уход Хинтона из Google, 2023. Две зимы 1974-1980 и 1987-1993 · 26 мин · обновлено 01.10.2026

Представьте две новости одной недели. В первой известный исследователь говорит, что системы человеческого уровня появятся при жизни нынешнего поколения и готовиться надо уже сейчас. Во второй другой известный исследователь отвечает, что разговоры о будущей сверхмашине уводят внимание от вреда, который машины наносят сегодня.

Обе новости настоящие, и таких пар за последние годы набралось много. Со стороны это выглядит как схватка оптимистов с пессимистами, но описание неверное. Спорящие чаще всего отвечают на разные вопросы и потому не могут ни сойтись, ни разойтись окончательно.

Этот урок раскладывает спор на части: какие вопросы в нём смешаны, кто что утверждает и на чём это держится. Курс не объявляет, кто прав, по той же причине, что и в прошлом уроке. Зато у читателя останется инструмент чтения прогнозов, и добыт он будет из истории самой области.

Три вопроса, которые сливают в один

В обычном споре об ИИ и рисках перемешаны как минимум три разных вопроса. Разделить их стоит сразу, иначе дальше не разобраться. Ответы на них логически не связаны: любой ответ на один совместим с любым ответом на другие.

Когда. Когда появится система, справляющаяся с любой интеллектуальной задачей примерно на уровне человека. Это вопрос о сроке, и в реестре курса он стоит со статусом «спор открыт».

Что делать с риском утраты контроля. Может ли очень способная система начать действовать не так, как задумано, и стоит ли готовить средства контроля заранее. Это вопрос не о дате, а о порядке работ.

Что делать с вредом сегодня. Предвзятость решений, дезинформация, концентрация власти у немногих компаний, влияние на труд. Это вопрос о том, что измеримо уже сейчас.

Проверьте на себе, что вопросы независимы. Можно не иметь мнения о сроке, считать работу над контролем осмысленной и одновременно требовать разбирательства с предвзятостью. Ни одно из трёх положений не противоречит остальным. Публичный спор эти вопросы обычно склеивает в один, и оттого выглядит непримиримым.

Спор о сроках начинается со слова

Общим искусственным интеллектом называют гипотетическую систему, справляющуюся с любой интеллектуальной задачей примерно на уровне человека. Определения расходятся, единого признанного теста не существует. Это не придирка: без теста вопрос «когда» наполовину превращается в вопрос «где провести черту».

Отсюда следствие, которое стоит увидеть отчётливо. Два человека могут одинаково оценивать все наблюдаемые способности машин и назвать разные даты. Для одного чертой служит надёжная работа на длинных задачах, для другого успех на широком наборе экзаменов, для третьего способность самостоятельно вести исследование. В этой части спор о дате оказывается спором об определении.

Мешает и эффект ИИ из первого урока. Как только машина начинает надёжно решать задачу, задачу вычёркивают из списка требующих интеллекта. Значит, черта не стоит на месте, а тихо отодвигается вслед за результатом. У прогноза, цель которого движется, шансов сбыться ровно столько же, сколько не сбыться.

Полезно поэтому держать различение первого урока. Узкий ИИ решает свой класс задач, и всё существующее на 2026 год относится сюда. Широта применений не то же самое, что общность: система, обученная на тексте, применима всюду, где дело сводится к тексту. Из широкой горловины общность не следует, и спор идёт как раз о том, следует ли она откуда-нибудь ещё.

Позиция: работать над риском надо сейчас

Первая позиция утверждает: риск утраты контроля над очень способными системами серьёзен и требует работы уже сегодня. Аргумент собирается из трёх кусков, и каждый в курсе уже встречался. Излагать его стоит целиком, потому что в пересказах обычно теряется средний кусок.

Способности росли предсказуемо. Качество языковых моделей улучшалось по гладкой закономерности при росте размера, данных и вычислений. Урок 8 разбирает это подробно. Резкой остановки, рассуждают сторонники, ждать неоткуда.

Системам дают действовать. Модель с инструментами, то есть с почтой, кодом, файлами, платежами, уже не отвечает, а действует. Урок 16 показывает устройство такого цикла. Чем шире права, тем дороже ошибка и тем труднее вмешаться вовремя.

Заглянуть внутрь мы умеем частично. Прошлый урок показал: механика обучения известна точно, а представления конкретной обученной модели открыты лишь отчасти. Проверить заранее, что система сделает в непредусмотренном случае, пока нечем.

Из трёх кусков следует вывод не о дате, а о порядке работ. Средства контроля разрабатывают раньше, чем появится система, к которой они понадобятся, иначе они опаздывают. Требование «сначала покажите доказательство опасности» тут не работает: доказательство, если оно придёт, придёт позже, чем понадобилась защита. Это утверждение о риске, а не предсказание катастрофы, и смешивать их не стоит.

Возражение: вред сегодня измерим, а будущий нет

Вторая позиция принимает не всё и возражает по существу. К её носителям относятся в том числе авторы работы 2021 года о стохастических попугаях, поставившие вопросы предвзятости данных и цены обучения. Довод такой: пока обсуждают гипотетическую сверхмашину, реальный вред остаётся неразобранным.

Вред этот перечисляется конкретно и уже задокументирован. Инструмент отбора резюме в Amazon понижал резюме со словом «женский», потому что учился на решениях прошлых лет. Проект закрыли в 2018 году. Разбор алгоритма оценки риска в судах США показал разницу в структуре ошибок между группами. Оба случая разбирает урок 17, и оба измеримы, в отличие от прогнозов на тридцать лет вперёд.

Дальше идёт довод об ограниченном ресурсе. Внимание регуляторов, деньги на исследования и общественный интерес конечны. Если они уходят на сценарии будущего, их не хватает на предвзятость, дезинформацию, концентрацию власти и влияние на труд. Критики добавляют и неудобное: заявление «наша система так сильна, что опасна» заодно рекламирует систему.

Два пункта из этого списка сторонники второй позиции разворачивают особо. Дезинформация: производить правдоподобный текст и правдоподобные изображения стало дёшево, а проверять их дешевле не стало. Концентрация власти: обучение крупных моделей требует вычислений такого масштаба, что позволить их себе могут немногие. Ни то ни другое не ждёт появления AGI. Оба пункта работают при нынешних системах.

У первой стороны есть ответ и на это. Она отвечает, что вопросы не конкурируют: работой над сегодняшним вредом и работой над контролем заняты разные люди из разных бюджетов. Спор на этом не кончается, потому что дальше речь идёт уже не о фактах, а о распределении усилий. Курс здесь останавливается: распределять усилия не его дело.

Один факт, который приводят обе стороны

В 2023 году Джеффри Хинтон ушёл из Google, чтобы свободно говорить о рисках. Хинтон значится среди авторов работы 1986 года, вернувшей к жизни многослойные сети, и среди трёх авторов AlexNet 2012 года. Человек, сделавший для нынешней волны больше многих, публично сказал, что обеспокоен.

Первая сторона читает это так. Предмет он знает изнутри, коммерческого интереса в предупреждении у него нет, а уход с работы ради права говорить остаётся поступком, а не позой. Если обеспокоен такой человек, отмахиваться от беспокойства странно.

Вторая сторона читает тот же факт иначе. В уходе из компании есть поступок, но нет измерения: он говорит о серьёзности намерений, а не о вероятности события. Мнение эксперта о сроках проверяется ровно так же плохо, как любое другое, а история области полна экспертных промахов в обе стороны.

Заметьте, что оба прочтения законны и друг другу не противоречат. Из того, кто высказал утверждение, не следует, верно ли оно. Эту старую ошибку курс критического мышления разбирает как довод к личности. Здесь довольно правила попроще: репутация говорящего меняет наше внимание к утверждению, но не его истинность. Проверять всё равно придётся само утверждение.

Разброс прогнозов

Опросы исследователей о сроках появления AGI проводятся регулярно, и результат у них устойчивый. Разброс ответов огромен: одни называют ближайшие годы, другие конец века, третьи отвечают «никогда». Ответы заметно менялись от опроса к опросу, причём сдвигались в обе стороны.

Причин у разброса несколько, и первая уже названа. Отвечающие не имеют общего определения и потому отчасти отвечают на разные вопросы. Вторая причина проще: прогноз даты не измерение, а суждение, и ограничено оно только осторожностью говорящего.

Третья причина видна из истории области. Сроки в прогнозах об ИИ систематически назначались не расчётом, а под цикл финансирования и интереса. Так было и с одним летом в Дартмуте, и с национальной программой Японии в восьмидесятых. Промах в таких прогнозах не случаен, он направлен: обещают к тому сроку, к которому удобно обещать.

Практический вывод скромный, но твёрдый. Медиана опроса о сроках служит плохим ориентиром, потому что прячет и разброс, и разнобой в определениях. Смотреть стоит на ширину разброса и на то, как ответы менялись со временем. И то и другое говорит о надёжности прогноза больше, чем среднее по опросу.

Две зимы как школа чтения прогнозов

Здесь и пригодится история из третьего урока, к которой курс обещал вернуться. Область дважды переживала обвал ожиданий: первая зима примерно с 1974 по 1980 год, вторая примерно с 1987 по 1993-й. Оба раза причиной был не отказ техники, а разрыв между обещанным и работающим.

Первое направление чтения идёт против завышенных обещаний. Дартмутская заявка 1956 года утверждала, что существенного продвижения добьётся небольшая группа за одно лето. Пресса 1958 года сообщала о машине, которая вскоре сможет ходить, говорить и осознавать себя. Величина, на которую стоило смотреть тогда и стоит смотреть сейчас, это разрыв между эффектной демонстрацией и надёжной работой.

Второе направление чтения идёт против поспешных похорон, и вспоминают его куда реже. В 1969 году Минский и Пейперт строго доказали, что однослойный перцептрон не может выучить «исключающее или». Доказательство верное, но вывод «нейросети тупиковы» из него не следовал, и всё-таки был сделан. Через семнадцать лет обратное распространение ошибки сняло препятствие, а ещё через четверть века из этого выросла нынешняя волна.

Отсюда правило, ради которого история и рассказана. Применять её надо в обе стороны. Услышав «через два года машины будут делать всё», вспомните одно лето в Дартмуте. Услышав «это тупик, ничего не выйдет», вспомните 1969 год и семнадцать потерянных лет. Злорадства тут не место ни к тем, ни к другим: направления, похороненные зимами, позже дали и AlexNet, и трансформеры.

Стоит оговорить и то, чего история не доказывает. Из двух прошлых обвалов не следует, что будет третий. Это была бы такая же экстраполяция за пределы проверенного, как и обещания. История даёт не предсказание, а перечень мест, где стоит смотреть внимательнее: взятый под цикл финансирования срок, вывод шире доказательства, демонстрация вместо надёжности.

Что проверяемо, а что нет

Разложим заявления об ИИ на три сорта, потому что читаются они по-разному. Сорт первый собирает утверждения о механизме: что система делает с входом, чтобы получить выход. Они проверяемы полностью и не устаревают вместе с моделями.

Сорт второй объединяет утверждения о замерах: система показала столько-то на таком-то наборе задач. Они проверяемы с оговорками, и урок 14 объясняет, с какими именно. Тест мог попасть в обучающие данные, метрика могла стать целью разработки, а измеренное могло разойтись с тем, что хотели измерить.

Сорт третий состоит из утверждений о сроках и о будущих способностях. Сейчас они не проверяемы ни в какую сторону, и это одинаково относится к обещаниям и к приговорам. Требовать от них строгости бессмысленно, а принимать их за знание значит повторять ошибку, за которую область уже дважды платила.

Курс на этом останавливается и исхода не объявляет. Не потому, что вопрос неважен, а потому, что решающего измерения нет, и выдавать мнение за знание значило бы повторить разобранную ошибку. Читателю остаётся более полезное: различать три сорта утверждений и спрашивать у каждого прогноза, что именно обещано, к какому сроку и на каком основании.

Что дальше

Один кусок этого спора всё-таки разбирается на числах, и ему посвящён следующий урок. Речь о влиянии на работу: сколько её исчезнет, сколько изменится и что вообще считать единицей счёта. Там выяснится, что почти весь публичный спор о работе ведётся с неверной единицей.

Правило нынешнего урока сохраняется и там. Прогнозы о занятости расходятся не меньше прогнозов о сроках AGI, и по схожей причине: методики несопоставимы, а горизонты разные. Читать их придётся тем же способом, спрашивая, что именно посчитали и на каком основании.

Вопросы для самопроверки

Что читать

• Публичные выступления и интервью Джеффри Хинтона после ухода из Google, с 2023 года: Слушать полезно, разделяя три вещи: описание механизма, оценку риска и прогноз срока. В живой речи они смешаны и там, и разделять их приходится читателю.
• Урок 3 этого курса, «Две зимы: как за обещания приходят счета»: Перечитать стоит перед любым спором о сроках. Там разобрано, как одно и то же устройство прогноза сработало дважды и во что это обошлось области.