Галлюцинация
Hallucination
Галлюцинация — это уверенный ответ модели, который выглядит правдоподобно, но не соответствует действительности: выдуманная ссылка, цифра или пункт регламента.
Зачем это знать
- Понять, за что именно вы платите, когда подрядчик закладывает в смету проверку ответов
- Заранее увидеть, в каких процессах ошибка модели стоит денег, а в каких безобидна
- Уметь спросить с исполнителя измеримую цифру точности вместо слова «работает»
Что такое галлюцинация простыми словами
Представьте официанта, которому запрещено выходить на кухню. Гость спрашивает, есть ли в соусе орехи. Официант обслужил тысячи столов, помнит, из чего такие соусы делают обычно, и отвечает спокойно и по делу. В девяти случаях из десяти он угадывает. В десятом орехи в соусе есть, и голос звучит ровно так же уверенно.
Языковая модель устроена похоже. Она не открывает справочник и не сверяется с базой — она достраивает самое вероятное продолжение текста по тому, как похожие фразы выглядели в обучающих данных. Если факт встречался часто, продолжение совпадёт с правдой. Если факта не было или он редкий, пробел всё равно заполнится: появится несуществующий пункт закона, выдуманная ссылка или правдоподобная цифра.
Отличить одно от другого по виду ответа нельзя. Модель не меняет тон, когда переходит от знания к догадке.
Как это работает
- Модель считает вероятности. На каждом шаге она выбирает следующее слово из тех, что чаще встречались в похожем контексте. Проверки «а так ли это на самом деле» в этой процедуре нет вообще.
- Пробел всегда чем-то заполняется. Модель почти всегда выдаёт ответ: обучение поощряет отвечать, и отказ «не знаю» появляется редко, если его не разрешить прямо в постановке задачи.
- Формат ответа усиливает эффект. Попросите ссылку на нормативный акт — получите её в правильном виде: с номером, датой и статьёй. Оформление сойдётся, содержание может оказаться выдуманным.
- Чем реже тема, тем выше риск. На массовых вопросах, которые тысячи раз описаны в открытых текстах, модель ошибается заметно реже. Ваших регламентов, артикулов и условий конкретных договоров она не видела вообще — на них доля выдуманного и набирается.
- Подсказанные документы меняют картину. Если перед ответом системе положить нужный фрагмент регламента, модель опирается на него, а не на память. Официанту разрешили заглянуть на кухню.
Пример из практики
Сервисная компания, обслуживание промышленного оборудования: 60 сотрудников, около 900 обращений в техподдержку в месяц. Ассистента поставили отвечать клиентам на вопросы о характеристиках изделий. Перед запуском собрали 200 типичных вопросов, ответы на которые были известны из паспортов, и прогнали их через систему.
В 14 ответах из 200 модель назвала параметры, которых в паспортах нет: близкие к правде, но не те. Это семь процентов, и клиент прочитал бы такой ответ как позицию поставщика.
Дальше подключили поиск по паспортам, потребовали приводить пункт документа и разрешили ответ «не нашёл». Повторный прогон тех же 200 вопросов дал 3 расхождения вместо 14. Оставшиеся три показывают, почему проверку из процесса не убрали: ответы про гарантийные условия по-прежнему читает сотрудник, и на это заложено время в его нагрузке.
Что это даёт бизнесу
Понимание механизма меняет три вещи в расчётах.
Смета становится честной. В проекте с ценой ошибки в бюджете появляется строка на проверку: набор контрольных вопросов, замеры после каждой правки, участие человека в цепочке. Эти работы стоят реальных денег, и обнаружить их лучше на этапе сметы, чем после запуска.
Процессы делятся на два типа. Там, где ответ читает сотрудник перед отправкой, риск закрыт самим процессом. Там, где ответ уходит клиенту или попадает в документ автоматически, нужны источники, ограничения и выборочный контроль.
Появляется предмет для договора. Вместо «система отвечает правильно» в приёмку пишут измеримое: доля расхождений на согласованном наборе вопросов не выше стольких-то процентов, замер повторяется ежемесячно. Такую формулировку можно проверить, а спор о качестве превращается в арифметику.
Когда без этого можно обойтись
Если ответ модели в любом случае читает человек и правит перед использованием — отдельная защита от галлюцинаций не нужна. Черновик письма, вариант заголовка, конспект встречи, идеи для брифа: ошибку видно сразу, цена её равна минуте на исправление.
Не стоит городить проверки и там, где точного ответа не существует по условию задачи: переформулировать текст, предложить пять вариантов названия, разложить длинный документ на пункты для быстрого просмотра. Проверка здесь обойдётся дороже самой ошибки.
Граница простая: ответ уходит наружу или ложится в документ без чтения человеком — защита нужна; остаётся внутри как черновик — не нужна.
Что важно проверить
Просите цифру с методикой. «Точность 95%» без указания, на каком наборе вопросов и когда мерили, ничего не значит — на ваших формулировках результат будет другим.
Проверьте три вещи в готовой системе: показывает ли она источник рядом с ответом, умеет ли отвечать «в документах этого нет» вместо выдумки, сохраняются ли логи, по которым можно разобрать конкретную жалобу. Без логов спор с клиентом об ошибке разобрать нечем.
Отдельно договоритесь, у кого остаётся набор контрольных вопросов. Если он живёт только на стороне подрядчика, после сдачи проверить обещанную точность вам будет нечем: набор придётся собирать заново и заодно спорить о методике замера.
Частые вопросы
Галлюцинация простыми словами — это что?
Это ответ, который звучит уверенно и складно, но не совпадает с фактами. Модель не хранит справочник и не сверяется с источником — она достраивает наиболее вероятное продолжение текста. Когда нужного факта в ней нет, пробел всё равно заполняется чем-то правдоподобным, и по тону ответа отличить это невозможно.
Почему нейросеть врёт с уверенным видом
Уверенный тон — свойство стиля, который модель переняла из обучающих текстов: там авторы пишут утвердительно. Поэтому ровный тон держится и когда факт есть, и когда его нет. Попросить модель оценить свою уверенность можно, но эта оценка сама остаётся текстом и часто расходится с реальностью, так что полагаться на неё в спорных случаях не стоит.
Можно ли убрать галлюцинации полностью
Нет. Долю выдумок снижают поиском по вашим документам, требованием приводить источник и разрешением ответить «не нашёл» — на практике это уменьшает число ошибок в разы. Полностью убрать их не удаётся ни одним из известных приёмов: модель по-прежнему достраивает текст. Поэтому там, где ошибка стоит денег, в процессе оставляют проверку человеком или сверку с системой-источником.
Как измерить долю галлюцинаций у себя
Соберите 100–200 типичных вопросов, на которые правильный ответ известен заранее из документов или от эксперта. Прогоните их через систему и вручную посчитайте расхождения — это и есть ваша цифра. Замер повторяют после каждой правки промпта, смены модели или обновления базы документов. Без такого набора обещания подрядчика про точность проверить нечем: цифра из чужого теста на ваших формулировках не воспроизводится.
В каких задачах галлюцинации опаснее всего
Там, где ответ уходит наружу без чтения человеком и где ошибка стоит денег: суммы в счетах, сроки и условия договоров, дозировки, юридические и медицинские формулировки, цифры в отчётности. В таких местах модель ставят на подсказку сотруднику, а решение оставляют за ним.
Нужно применить?
Разберём вашу задачу и скажем, где эта технология даст результат, а где не стоит тратиться.
Смежные термины
Обновлено: 26 июля 2026