Цена галлюцинаций ИИ
Шесть цифр — и видно, во сколько обходится недоверие к модели: часы проверяющих плюс цена ошибок, которые проверку прошли. Рядом считается вариант со сверкой по документам.
Ваши данные
Сколько ответов уходит людям или в документы — черновики и отладка не в счёт.
Ответы, где факт, цифра или ссылка не подтверждаются источником.
Полная стоимость сотрудника — с налогами и взносами.
Сумма из двух частей: оплаченные часы проверяющих и последствия ошибок, которые проверку миновали.
Типичный диапазон, где привязка ответов к источникам возвращает вложения за 6–12 месяцев. Порядок шагов обычный: сначала сверка на одном классе вопросов с самой высокой ценой ошибки, потом расширение по журналу.
- Часов проверки в месяц
- 63 часа
- Ручная проверка в месяц
- 46 000 ₽
- Ошибок уходит дальше за месяц
- 116
- Цена пропущенных ошибок
- 203 000 ₽
- Сверка: эксплуатация
- 58 000 ₽
- Режим со сверкой в месяц
- 151 000 ₽
- Разница в месяц
- 98 000 ₽
- Окупаемость сверки
- 7 месяцев
Это прикидка порядка величины. Доля ошибок и цена одной ошибки сильно зависят от типа задач и качества исходных документов — точные значения даёт замер на своём потоке.
Как устроен расчёт
Цепочка начинается с объёма. Ответы за день умножаются на 21 рабочий день — получается месячный поток. Дальше поток расходится по двум статьям расхода, и обе оплачиваются реальными деньгами.
Первая статья видна в табеле. Минуты на один ответ умножаются на число проверяемых ответов и переводятся в часы. Час считается по зарплате: месячная сумма делится на 164 рабочих часа. Зарплата берётся полная, с налогами и взносами.
Вторая статья прячется в других бюджетах. Доля ошибок даёт число неверных ответов за месяц. Из тех, что попали на проверку, человек находит около 85%. Остальные уходят получателю и всплывают позже — в переписке, в возврате, в правке документа.
Не каждый пропуск оборачивается убытком. Часть ошибок ловит сам получатель, часть остаётся безобидной. В расчёте до последствий доходит 35% пропусков — консервативный ориентир, который проверяется по журналу за квартал.
Что двигает результат сильнее всего
Сильнее всех работает цена одной ошибки. Между внутренней перепиской и документом с обязательствами разница в двадцать раз, и итог года меняется на порядок. Этот выбор стоит сделать честно.
Второй по силе рычаг — доля проверяемых ответов. Сплошной просмотр ловит больше пропусков, но часы растут пропорционально потоку. Выборочная проверка экономит фонд оплаты и оставляет ошибки без присмотра.
Доля ошибок влияет слабее, чем кажется. При переходе с 8% на 12% итог растёт примерно в полтора раза — заметно, но без скачка. Объём потока и цена ошибки перевешивают её почти всегда.
При каких условиях сверка окупается
Сверка с источниками означает, что ответ собирается из найденных фрагментов документов и сопровождается ссылкой на абзац. Проверяющему остаётся сравнить два текста рядом. В расчёте это снижает долю ошибок вчетверо и позволяет перейти к выборочному контролю 15% ответов.
Эксплуатация складывается из двух частей. Около 9 ₽ на ответ уходит на поиск по базе и удлинённый контекст. Ещё 35 000 ₽ в месяц — индекс, хранилище и переиндексация документов при изменениях.
Разовые вложения приняты за 700 000 ₽: подключение источников, разметка, приёмка на живом потоке. Срок окупаемости получается делением этой суммы на месячную разницу между режимами. Значения до 12 месяцев считаются рабочими, до 18 — приемлемыми при высокой цене ошибки.
Условие успеха простое. Документы должны быть свежими, единственными в своём роде и доступными машинному поиску. Когда регламент существует в трёх версиях, сверка честно покажет противоречие — исправлять его придётся людям.
Как замерить свои числа
Доля ошибок берётся из недельного среза. Отбираются 50 ответов подряд, без отбора удобных, каждый сверяется с первоисточником. Отмечается только одно: подтверждается факт или нет.
Минуты на проверку меряются по часам, а не по ощущению. Пять ответов подряд с секундомером дают среднее с достаточной точностью. Опыт показывает разброс — ответ на два абзаца и справка со ссылками на регламент проверяются по-разному.
Цена ошибки собирается из последствий, а не из штрафов. В счёт идут переделка, повторное письмо, задержка сделки, время руководителя на разбор. Достаточно трёх недавних случаев, чтобы получить порядок величины.
Что остаётся за скобками
Расчёт даёт порядок величины и точку для разговора. За скобками остались репутационные потери, которые деньгами не меряются, и время на приведение документов в порядок перед подключением сверки. Вторая статья бывает крупнее счёта за модель, и оценить её можно только по конкретному архиву.
Также не учтён обратный эффект. Ссылка на источник рядом с ответом сокращает время проверки — читать целиком уже не нужно. В формуле этот выигрыш заложен только через долю выборки, поэтому итог со сверкой выходит скорее осторожным.
Частые вопросы
Что такое галлюцинация модели простыми словами
Уверенный ответ с фактом, которого нет в источниках: выдуманный пункт договора, несуществующая скидка, правдоподобная цифра. Тон при этом такой же, как у верного ответа, — на глаз отличить нельзя, нужна сверка с документом.
Почему пропущенные ошибки в расчёте дороже самой проверки
Проверка оплачивается по часам и растёт линейно, а ошибки стоят скачками. Одна неверная цена в письме клиенту перекрывает недельные часы контроля. Поэтому в формуле цена пропусков обычно перевешивает фонд оплаты проверяющих.
Откуда взялись 85% и 35%
Это два консервативных ориентира. Первый: человек находит примерно 85% ошибок среди ответов, которые действительно читает, — часть проскакивает при монотонном просмотре. Второй: до убытка доходит около 35% пропусков, остальное замечает получатель или ошибка остаётся безобидной. Оба стоит уточнить по журналу ошибок за месяц.
Почему сверка с источниками снижает долю ошибок вчетверо
Ответ собирается из найденных фрагментов документов, и рядом остаётся ссылка на абзац. Модель отвечает по тексту, который перед ней, а не по памяти обучения. Коэффициент 0,25 в расчёте — осторожная оценка: результат зависит от того, насколько документы актуальны и непротиворечивы.
Что делать, если доля ошибок неизвестна
Замерить за неделю. Берутся 50 ответов подряд, каждый сверяется с первоисточником, отмечается пометкой «подтверждено» или «нет». Отношение второй колонки к общему числу и есть искомая доля. Заодно видно, какие вопросы дают ошибки чаще остальных.
Проверить на вашей задаче?
Посмотрим ваш процесс и назовём цифры по нему, а не по средним значениям.
Смежные инструменты
Обновлено: 21 августа 2026