Можно ли доверять нейросети: правило проверки

Не поисковик, не база фактов, не оракул. И одно правило, которое из этого следует

Доверять нейросетям разумно там, где проверить результат дешевле, чем создать его самому, и это правило дешёвой проверки считает цену проверки, а не качество ответа. Языковая модель не поисковик и не хранилище фактов: в момент порождения текста доступа к источнику у неё нет, и ссылка в ответе не найдена, а собрана по привычной форме. Уверенность тона идёт от гладкости текста и к верности содержания отношения не имеет.

Вейценбаум, ELIZA, 1966. Бендер и соавторы, 2021. Оуян и соавторы, InstructGPT, 2022 · 22 мин · обновлено 01.10.2026

Попросите чат-бота собрать список работ по незнакомой вам теме. Он вернёт аккуратный список: автор, название, журнал, год, иногда страницы. Формат будет безупречным, а часть ссылок окажется несуществующей. Проверка занимает десять минут и часто кончается неприятно.

Соблазн назвать это поломкой велик, но поломки тут нет. Модель обучена продолжать текст правдоподобно, а правдоподобная ссылка выглядит ровно так: знакомый автор, подходящий журнал, разумный год. Механизм разобран в уроке 13, и там же видно, почему это свойство устройства, а не дефект сборки. Здесь нас занимает другое. Что с этим делать в понедельник утром?

Урок собирает практическую сторону курса и намеренно не даёт сборника готовых запросов. Такие сборники устаревают вместе с системами, к которым написаны. Вместо них будет три отрицания и одно правило, которое из них следует. Правило и есть главный подарок урока: оно переживёт любую смену моделей.

Не поисковик

Поисковик устроен просто в главном: он хранит указатель на документы и по запросу возвращает их адреса. Вы получаете не ответ, а место, где ответ лежит. Открыть источник, посмотреть дату и автора, усомниться в нём вы можете сразу. Ответственность за содержание остаётся на документе, и документ можно предъявить.

Языковая модель устроена принципиально иначе, и разница здесь не в качестве поиска. Она порождает текст по кусочку, каждый раз выбирая правдоподобное продолжение к уже написанному. В момент генерации у неё нет доступа ни к какому источнику. Внутри нет ни адреса страницы, ни самой страницы, есть только числа, подобранные при обучении.

Отсюда следует неприятное: ссылка в ответе не найдена, а собрана. Она сделана из того, как обычно выглядят ссылки в текстах. Автор правдоподобен, журнал правдоподобен, год правдоподобен, а работы нет. Просьба «дай ссылку на источник» механизм не меняет, она задаёт только форму ответа.

Потеря здесь не только в проверяемости, и это стоит проговорить отдельно. Читая документ, вы видите, кто его написал, когда и с какой целью, и делаете поправку на всё это. Ответ модели приходит без автора, без даты и без интереса, который за ним стоял. Оценивать его приходится по одному тексту, а гладкий текст остаётся единственным, что модель умеет делать хорошо.

Оговорка здесь обязательна, потому что бывают режимы с поиском. Система сначала ищет документы, кладёт найденное прямо в запрос, и только потом модель пишет ответ. Приём называют поиском с последующей генерацией, и пределы у него свои. Качество ответа упирается в качество поиска, найденное модель может исказить, а при пустом результате склонность досочинить никуда не девается.

Практический признак различения простой, и запомнить его стоит один раз. Если система показывает ссылки, которые открываются, значит поиск действительно был, и проверять есть что. Если ссылок нет или они не открываются, перед вами чистая генерация. Разница в том, есть ли внешний документ, а не в том, насколько уверенно написан ответ.

Не база фактов

В базе данных факт лежит записью: строка, поле, значение. Запрос находит запись и отдаёт её целиком, не изменив ни символа. Можно спросить, откуда запись взялась, и получить ответ. Можно исправить одну запись, не тронув соседние, и убедиться, что исправление подействовало.

В языковой модели такого хранилища нет вовсе, и это не упущение разработчиков. Обучение подобрало параметры так, чтобы предсказание следующего куска текста выходило хорошим. Знание, если это слово здесь уместно, размазано по этим числам. Отдельной полки с фактами, откуда ответ достают, не существует.

Из этого следуют два наблюдения, и оба легко проверить самому. Ответ не извлекается, а строится заново при каждом запросе. Поэтому один и тот же вопрос, заданный дважды, может дать разные ответы, и это не сбой.

Отсюда же вторая особенность, неприятная для тех, кто хочет чинить ошибки. Найдя неверное утверждение в базе данных, вы правите одну запись, и дело сделано. В модели править нечего: неверный ответ не лежит нигде, он получается заново из огромного набора чисел. Поправки поэтому приделывают снаружи, инструкцией в запросе, поданным источником, проверкой на выходе.

Здесь это похоже на человека, который прочитал тысячи книг и помнит суть, но забыл, где что было написано. Ломается аналогия вот где: человек хотя бы знает, что не помнит, и умеет сказать «не уверен». Модель такого сигнала по построению не даёт, признавать незнание её приходится учить отдельно. Поэтому забытое и известное выходят наружу одинаково гладко.

Не оракул

Третье отрицание самое трудное, потому что мешает не знание, а впечатление. Ответ звучит уверенно, и уверенность читается как признак осведомлённости. У людей это правило часто работает: кто знает, тот говорит твёрже. Перенос его на машину оказывается ошибкой, и вот почему.

Уверенность тона это свойство поверхности текста, а не отчёт о состоянии знания. Модель обучена делать текст правдоподобным, а гладкая твёрдая формулировка правдоподобна. Функция потерь при обучении измеряет, насколько плохо предсказан следующий кусок текста. Ничто в этом числе не измеряет истинность сказанного.

Тем же способом устроены и проценты уверенности, если вы их попросите. Фраза «уверен примерно на девяносто процентов» остаётся таким же порождённым текстом, как и всё остальное в ответе. Она не является показанием измерительного прибора и не обязана совпадать с долей случаев, когда такие ответы верны. Попросить её можно, а опираться на неё как на измерение нельзя.

К этому добавляется ещё одна ступень обучения, настройка на человеческие предпочтения. Люди сравнивают пары ответов, на сравнениях учится модель вознаграждения, по ней дообучается основная. Выбирают люди то, что им приятнее читать: ясное, полное, вежливое, уверенное. Работа InstructGPT 2022 года показала силу приёма: модель на 1,3 млрд параметров после такой процедуры предпочиталась людьми модели на 175 млрд без неё.

Вывод из этого почти всегда делают неверный, и обходится он дорого. Процедура делает ответы полезнее и приятнее, а правдивее она их делать не обязана. Приятность и верность настраиваются разными вещами, и совпадать они не обещали. Поэтому уверенный тон нельзя брать как признак качества: признак даёт только проверка.

У впечатления есть и вторая половина, известная с 1966 года. Вейценбаум написал ELIZA, программу на несколько сотен строк, переставлявшую ключевые слова в вопрос. Люди, знавшие устройство, всё равно приписывали ей сочувствие и понимание. Готовность видеть разум там, где его нет, назвали эффектом ELIZA, и вывод из урока 1 стоит повторить: наше ощущение доказательством не является.

Правило дешёвой проверки

Три отрицания похожи на приговор, но приговором не являются. Инструмент полезен, только польза устроена не так, как ждут от оракула. Чтобы увидеть, как именно, достаточно посчитать время на двух задачах. Считать будем грубо, в минутах, и этого вполне хватит.

Задача первая: письмо на пятнадцать строк, которое вам неохота писать. На письмо самому уйдёт двадцать минут, на чтение готового черновика и правку три. Судить о качестве вы можете сразу, потому что знаете, что хотели сказать. Выигрыш очевиден, и повторяется он каждый раз.

Задача вторая: узнать год, когда приняли конкретный закон. Ответ появится за секунду и будет выглядеть уверенно. Но опереться на него можно, лишь открыв источник и посмотрев, то есть проделав ровно ту работу, которую вы делали бы и без модели. Выигрыш нулевой, а при невнимательности и вовсе отрицательный.

Сведём два счёта в одну фразу. Языковая модель выгодна там, где проверить результат дешевле, чем его создать. Назовём это правилом дешёвой проверки. Считается в нём цена проверки, а не качество ответа. Оно не требует знать устройство сети и не устаревает вместе с моделями.

Правило это, если присмотреться, вовсе не про машины. Чужой черновик мы берём охотно, а чужую справку о налогах перепроверяем или не берём вовсе. Разница ровно в цене проверки, и она чувствуется задолго до всякого разбора. Языковая модель просто сделала старую развилку заметной, потому что предлагает и то и другое одинаково гладко.

Правило заодно объясняет то, что обычно списывают на характер спорящих. Один и тот же инструмент кажется одним волшебным, а другим бесполезным, потому что люди приносят ему задачи с разной ценой проверки. Спор о пользе чат-ботов почти всегда идёт мимо: спорящие говорят о разных задачах и оба правы про свои.

У правила есть условие, без которого оно превращается в ловушку. Проверять должен тот, кто способен проверить. Черновик письма проверяет человек, знающий свой замысел. Справку по чужой специальности проверить нечем. Цена проверки в таких случаях взлетает до цены всей работы, и выигрыш исчезает.

Где проверка дёшева

Разложим по правилу знакомые задачи, начиная с тех, где оно работает. Пять случаев ниже объединяет одно: вы в них судья по построению и судите за минуты. Список не полон, зато принцип виден и переносится на ваши собственные дела.

Черновик. Пустая страница дорога, а правка дешева, и разрыв между ними велик. Готовый плохой текст правится быстрее, чем пишется хороший с нуля. Требование к вам при этом одно: не оставлять чужой текст без переписывания.

Переформулировка. У вас есть свой абзац, и вы хотите его короче или проще. Смысл вы знаете, значит потерю смысла заметите сразу. Проверка занимает секунды и почти не ошибается, потому что судите вы по собственному замыслу.

Поиск забытого слова. Вы помните описание понятия, но не помните термин. Двадцать предложенных вариантов вы просматриваете за полминуты и узнаёте нужное слово мгновенно, а вспоминать его можно было полдня.

Разбор структуры текста. Попросите пересказать ваш текст по пунктам, а потом сверьте пересказ с тем, что вы хотели сказать. Если они разошлись, текст читается не так, как задумано. Проверка тут дешёвая и честная, и проверяете вы себя, а не машину.

Двадцать вариантов на выбор. Девятнадцать плохих заголовков из двадцати это нормальный результат, а не провал. Выбор стоит минуту, придумывание двадцати стоило бы вечер. Цена ошибки нулевая: негодный вариант просто не берут.

Общее у пяти случаев стоит проговорить вслух. Вы приносите задачу, где ответ проверяется вашим собственным знанием, а не чужим. Инструмент экономит вам работу рук, а не понимание. Как только он начинает экономить понимание, правило нарушено.

Где проверка стоит как работа

Обратная сторона правила очерчена так же чётко, и знать её стоит наизусть. Опасны задачи, где проверка требует ровно тех знаний, ради которых вы и обратились к машине. Соблазн там сильнее всего: ответ выглядит убедительно, а проверять долго и лень.

Дорогую проверку полезно узнавать заранее, и признаков у неё два. Первый: вы не смогли бы сделать эту работу сами и потому не отличите хорошее от плохого. Второй: ошибку обнаружит не сразу и не вы, а другой человек и позже, читатель, клиент, проверяющий. Оба признака проверяются за несколько секунд, до того как ответ успел понравиться.

Числа это первый по опасности случай и самый частый. Число в ответе выглядит точно так же, как число из источника: те же цифры, тот же вид. Отличить выдуманное от взятого нельзя, не открыв источник. Рабочее правило простое: ни одно число не идёт из чата дальше без сверки.

Ссылки и цитаты образуют второй случай, и проверяют их не так, как кажется. Проверяют не пересказ, а существование документа: ищут по названию, автору и году. Пересказ бывает гладким и правдоподобным при полностью выдуманном источнике. Найдёте документ, тогда и прочтёте, что в нём написано на самом деле.

Третий случай составляют свежие события, и он про дату. Обучение кончается в какой-то момент, после которого модель ничего не видела. Гладкость текста от этого не меняется: о позавчерашнем она напишет так же уверенно, как о прошлом веке. Спрашивать дату стоит и у утверждения, и у самой системы.

Четвёртый случай касается специальности, которой у вас нет. Медицина, право, налоги, техника безопасности: цена ошибки высока, а проверить нечем. Здесь модель уместна как источник вопросов к специалисту, а не как замена ему. Вывод урока не «не пользуйтесь», а «знайте цену проверки заранее».

Привычки, которые стоит завести

Привычки заводят до того, как они понадобятся, иначе не успевают. Первая: прежде чем сослаться, откройте источник и убедитесь, что он есть. Вторая: любое число из ответа сверяйте с местом, где оно опубликовано. Третья: у всякого утверждения о свежем спрашивайте дату и у себя, и у системы.

Проверка дешевеет, если её готовить заранее, а не изобретать каждый раз. Держите под рукой два-три места, где вы сверяете факты своей области: реестр, справочник, официальный сайт. Тогда сверка одного числа занимает минуту, а не вечер, и правило дешёвой проверки начинает работать шире. Инструмент от такой подготовки становится полезнее, а вовсе не опаснее.

Есть и четвёртая привычка, самая трудная, потому что она про внимание. Сто верных ответов подряд усыпляют, и сто первый проходит без проверки. Именно так ошибка попадает в готовый документ, не из-за доверчивости, а из-за привычки. Поэтому проверку полезно назначать обязательной для целого класса дел, а не решать каждый раз заново.

Что уходит в чат

Осталась сторона дела, о которой вспоминают позже всего, а иногда и никогда. Текст, введённый в чат, покидает ваш компьютер и оказывается на чужом сервере. Как он там хранится и кто его видит, определяют правила поставщика, а не ваши намерения. Введённое может пойти и в обучение, если правила это позволяют.

Известно и то, что обученные модели иногда воспроизводят фрагменты обучающих данных. Учились они на текстах, чьи авторы согласия не давали. Правовую сторону этого разбирает урок 19, с явной датой. Практический вывод скромнее любых правовых оценок и надёжнее их: попавшее в обучение может однажды всплыть в чужом ответе.

Особняком стоят данные, которые принадлежат не вам. Чужая переписка, резюме кандидата, документы клиента, история болезни родственника: согласия на такую отправку вам никто не давал. Неудобно тут именно то, что запрет выглядит формальностью, а последствия достаются другому человеку. Проще всего держать короткое правило: чужое не вводить, а своё вводить с открытыми глазами.

Отсюда рабочее правило, которое легко держать в голове. Считайте введённое отправленным третьей стороне по почте, без права отозвать. Персональные данные чужих людей, коммерческие тайны, чужую переписку, медицинские подробности не вводить. Правило не требует ни паники, ни отказа от инструмента: оно требует секунды на вопрос, отправили бы вы это незнакомому подрядчику.

Что дальше

Соберём урок в три строки, которые стоит унести. Модель не ищет, не хранит и не знает, она порождает правдоподобный текст. Пользы от неё много там, где проверка дешевле создания, и мало там, где дороже. Уверенность тона к верности отношения не имеет, а проверка имеет.

Заметьте, чего в уроке не было: списка волшебных запросов и советов про карьеру. Первое устаревает быстрее, чем печатается, второе курс не считает своим делом. Правило дешёвой проверки не устареет: оно про цену проверки, а не про модели.

Последний урок соберёт курс целиком, и собирать его будет реестр. Что доказано, где спор открыт и что оказалось мифом, реестр разложит по полкам, со ссылками на уроки. И отдельно то, чего нет в других курсах школы: как обновлять картину, когда поле движется быстрее учебника.

Вопросы для самопроверки

Что читать

• Ouyang и соавторы, «Training language models to follow instructions with human feedback», 2022: Работа про InstructGPT. Полезна тем, что показывает измеренную разницу между «больше» и «полезнее», и тем, где авторы сами ставят границу своим выводам.
• Dive into Deep Learning (d2l.ai), главы о языковых моделях: Открытый учебник, фактическое ядро курса. Если хочется увидеть, из чего складывается предсказание следующего куска текста, начинать надо отсюда.