Галлюцинации нейросетей

Свойство механизма, а не поломка, и потому починить его так трудно

Галлюцинации нейросети это уверенно поданные ответы, не соответствующие действительности: выдуманные ссылки, даты, цитаты, судебные дела. Следуют они из устройства, а не из поломки, потому что предобучение требует лишь правдоподобного продолжения текста, сверки с миром внутри предсказания следующего кусочка не происходит, отдельного хранилища фактов нет. Состояния «этого я не знаю» у модели тоже нет: распределение вероятностей существует всегда.

Stanford CS324 / CS336. Dive into Deep Learning. Разбор приёма RAG · 24 мин · обновлено 01.10.2026

Попросите модель назвать три работы по узкой теме, с авторами, названиями и годами. Вы получите аккуратный список: фамилии на месте, названия правдоподобные, годы в разумном диапазоне. Проверьте каждую позицию поиском, и часть из них не найдётся, потому что таких работ не существует.

Список выдуманного при этом устойчивый: ссылки, даты, цитаты, судебные дела. Всё это выглядит настоящим, потому что устроено как настоящее. Уверенно поданный ответ, не соответствующий действительности, называют галлюцинацией.

Слово неудачное и откровенно антропоморфное, но прижилось, и другого общепринятого нет. Никакого восприятия у модели нет, а значит, нечему и обманываться. Дальше в уроке оно используется как принятое имя явления, не более того. Точнее было бы говорить «уверенная выдумка», но менять устоявшиеся названия задним числом бесполезно.

Это не поломка

Первый порыв состоит в том, чтобы счесть выдумку сбоем: что-то не сработало, надо чинить. Порыв понятный и неверный, и весь урок про то, почему. Галлюцинация остаётся свойством механизма, который работает ровно так, как задуман.

Вспомним, чему модель обучена. Предобучение ставит одну задачу: предсказывать следующий токен так, чтобы продолжение было похоже на настоящий текст. Ни на каком шаге не спрашивается, соответствует ли написанное миру, потому что такого вопроса в постановке просто нет. И вставить его туда некуда: сравнивать написанное не с чем.

Значит, у модели остаётся ровно один критерий: правдоподобие. Правдоподобие и истинность не одно и то же, и это главное предложение урока. Текст может быть безупречно правдоподобным и полностью ложным, и никакого противоречия внутри модели при этом не возникает.

Отсюда и правило, по которому урок надо читать. Не «модель иногда ошибается, потому что несовершенна», а «модель делает то, чему обучена, и часть результатов оказывается ложной». Разница кажется словесной, но из неё следует всё остальное, включая ответ на вопрос, почему это трудно исправить.

Почему выдуманная ссылка выглядит как настоящая

Разберём на самом частом случае, потому что он показателен. Ссылка на статью устроена стандартно: фамилия, инициалы, название из нескольких слов по теме, издание, год. Эта структура встречается в текстах тысячи раз, и модель воспроизводит её безошибочно. Форму она выучила надёжно именно потому, что форма повторяется.

Дальше происходит то, что кажется странным, а следует прямо из механизма. Заполнить структуру можно любыми правдоподобными кусками: подходящей фамилией, подходящим названием, подходящим годом. Ничто в предсказании токенов не отличает существующую работу от собранной на ходу.

Получается ссылка, безупречная по форме и пустая по содержанию. Именно поэтому такие выдумки так трудно заметить: у настоящей и выдуманной ссылки нет внешних различий. Отличить их можно единственным способом, для этого надо пойти и проверить.

Заметьте попутно, где ошибка происходит охотнее всего. Чем стандартнее форма и чем реже встречается конкретное содержание, тем выше шанс, что форму заполнят выдумкой. Ссылки, даты, номера, цитаты и имена как раз такие места. Их и стоит проверять в первую очередь, а всё прочее во вторую.

Сверки с миром не происходит

Теперь скажем то же самое строже, потому что здесь легко ошибиться в обе стороны. Внутри предсказания следующего токена нет шага, на котором что-то с чем-то сверяется. Нет обращения к источнику, нет запроса в базу, нет проверки готового ответа. Есть один шаг: посчитать вероятности и выбрать токен.

Нет и самой базы. У модели нет отдельного хранилища фактов, откуда факт можно достать или где его можно не найти. Всё, что в ней отражено, размазано по миллиардам чисел вместе с грамматикой, стилем и всем прочим, по тем самым параметрам, которые подобрал градиентный спуск.

Отсюда следует неприятное. У модели нет состояния «этого я не знаю», отделённого от состояния «знаю»: распределение вероятностей следующего токена существует всегда. И когда продолжать есть чем, и когда нечем, она получает список кандидатов с числами и выбирает.

Вот почему требование «пусть отвечает „не знаю“, когда не знает» сложнее, чем звучит. Внутри нет отдельного сигнала о незнании, который достаточно вывести наружу. Признание незнания приходится прививать обучением, как ещё одну манеру отвечать, и получается оно неровно. Модель учится говорить «не знаю» там, где так говорили в примерах, а не там, где она действительно не знает.

Уверенность не сигнал

Ещё одна причина, по которой галлюцинации опасны, лежит не в них самих, а в подаче. Выдуманное подаётся тем же ровным уверенным тоном, что и верное. Никакой пометки «здесь я не уверена» в тексте не появится, если модель специально не учили её ставить.

Тон при этом берётся не оттуда, откуда кажется. Уверенная формулировка оказывается свойством текстов, на которых модель училась: справочники, учебники и статьи написаны уверенно. Добавьте третью ступень обучения из урока 12, где людям больше нравились ясные и полные ответы, и получится ровно та манера, которую мы видим.

Вывод для читателя простой и жёсткий. Уверенность тона не связана с верностью содержания ни в одну сторону. Она не признак правоты и не признак выдумки. Она вообще не про это, и пользоваться ею как сигналом нельзя. Единственный сигнал, которому здесь можно верить, даёт проверка.

Почему это трудно починить

Теперь главный вопрос урока. Утверждение «галлюцинации скоро решат полностью» стоит в реестре со статусом спор открыт, но ярлык сам по себе ничего не объясняет. Объясняет разбор четырёх причин, по которым задача оказалась трудной.

Первая: нечем отличать. Чтобы отсеивать ложное, нужен критерий истины, а у системы, обученной на текстах, роль единственного критерия играет похожесть на текст. Приставить к модели проверяющую модель можно, и так делают. Но проверяющая устроена так же и ошибается на тех же местах, где ошибается проверяемая.

Вторая: пустоты не бывает. Там, где данных мало или нет вовсе, правдоподобное продолжение всё равно существует. Модель не упирается в стену и не получает сигнала «дальше ничего нет». Она просто продолжает, и продолжение оказывается сочинённым, причём именно в тех редких темах, где проверить его труднее всего.

Третья: обучение тянет в другую сторону. Урок 12 показал, что последняя ступень оптимизирует человеческие предпочтения. Ответ «не знаю» люди оценивают ниже, чем гладкий и полный, если специально не учить обратному. Учить обратному можно, и это помогает, но требует отдельной работы и упирается в меру: слишком осторожная модель становится бесполезной.

Четвёртая: граница размыта. Часть ошибок неотличима от разумной догадки, а догадок мы от модели как раз хотим. Требование «никогда не говори того, чего не проверил» отсекло бы вместе с выдумками половину полезного. Где проходит граница между «сочинил» и «обобщил», общего ответа не имеет.

Сложите четыре причины вместе, и станет видно устройство спора. Одни считают, что задача решается инженерно: больше проверок, больше данных, отдельные механизмы отказа. Другие возражают, что она упирается в саму постановку предсказания текста и потому целиком не решается. Курс вердикта не выносит и просит замечать, на каком из четырёх пунктов стоит собеседник.

Что помогает: подать источники в запрос

Самое действенное из смягчений устроено обходным путём. Раз в момент генерации доступа к источнику нет, надо положить источник прямо в запрос. Сначала поиск по документам, потом генерация ответа с найденным текстом под рукой.

Приём называют поиском с последующей генерацией, в сокращении RAG. Он превращает задачу «вспомнить» в задачу «пересказать лежащее перед глазами». Вторая задача для модели предсказания текста несравнимо легче, потому что нужные слова уже находятся в контексте. Продолжать текст, в котором ответ уже написан, модель умеет хорошо.

Работает это заметно лучше, чем ничего, и потому применяется повсеместно: справочные системы, поиск по внутренним документам, ответы со ссылками. Есть и побочная польза, не менее важная: ссылку можно открыть и проверить, а значит, у читателя появляется рычаг. Проверять при этом всё равно придётся, и вот почему.

Пределы RAG

Первое: качество упирается в поиск. Если нужный документ не найден, модель отвечает по памяти, то есть ровно так же, как раньше. Плохой поиск не делает ответ осторожнее, он просто возвращает нас к исходной задаче со всеми её свойствами.

Второе: найденное можно исказить. Модель пересказывает документ, а пересказ тоже остаётся генерацией, с теми же свойствами, что и всё остальное. Утверждение в ответе может не совпасть с тем, что написано в источнике, при том что источник настоящий и найден правильно.

Третье: при пустом результате склонность досочинить сохраняется. Пустота, как мы уже видели, не превращается в отказ сама собой. Нерелевантный документ ничем не лучше: модель охотно построит ответ и на нём, если больше строить не на чем.

И четвёртое, самое коварное, потому что касается уже не модели, а читателя. Наличие ссылки читается как доказательство и снимает бдительность. Между тем ссылка не доказывает ничего, пока её не открыли и не сверили с утверждением, которое она подпирает.

Что с этим делать читателю

Из механизма следуют привычки, и они скучные, зато работают. Спрашивать надо не «уверена ли модель», а «чем это проверяется»: первый вопрос бессмыслен, у второго есть ответ. Существование источника проверяется поиском по названию, и это дело нескольких секунд.

Числа, даты, имена и цитаты стоит считать черновиком до сверки. Это те места, где выдумка неотличима от правды по виду и обходится дороже всего. Ошибку в связке слов вы заметите сами, а ошибка в годе публикации пройдёт мимо вас. Второе требует сверки, и обойти её нечем.

И общее правило, к которому урок 23 вернётся подробно. Полагаться на модель разумно там, где проверить ответ дешевле, чем составить его самому. Там, где проверка дороже составления, выигрыша нет, а остаётся перенос работы на потом и риск не заметить подмену.

Что дальше

Соберём весь модуль, потому что он был про одно. Языковая модель предсказывает следующий токен: сначала на огромном корпусе, потом с поправкой на инструкции и человеческие предпочтения. Внимание дало ей способ учитывать контекст, а параллельность открыла возможность учиться на несопоставимо больших текстах.

Галлюцинации служат не приложением к этой конструкции, а её тенью. Правдоподобие оптимизируется, истинность нет. Сверки с миром внутри предсказания не происходит. Отдельного хранилища фактов не существует. Смягчить это можно, и смягчают, а убрать целиком пока не вышло, и статус остаётся «спор открыт».

Следующий модуль берётся за вопрос, который встаёт отсюда сам собой. Если модель может уверенно ошибаться, то что означают сообщения о том, что она сдала экзамен или побила рекорд? Урок 14 разбирает, как меряют способности машин и почему цифра в заголовке почти всегда значит меньше, чем кажется.

Вопросы для самопроверки

Что читать

• Stanford CS324 / CS336, курсы о больших языковых моделях: Открытые материалы, каркас этого модуля. Механизм генерации и приёмы смягчения разобраны подробнее, чем помещается в урок.
• Тренажёр «Языковая модель на коленке» в уроке 10: Поставьте n = 2 и прочитайте выданное вслух. Текст гладкий, связный и целиком выдуманный, перед вами тот же механизм, только видимый насквозь.