[МСК]

Цена галлюцинаций ИИ

Шесть цифр — и видно, во сколько обходится недоверие к модели: часы проверяющих плюс цена ошибок, которые проверку прошли. Рядом считается вариант со сверкой по документам.

Ваши данные

120 шт.

Сколько ответов уходит людям или в документы — черновики и отладка не в счёт.

8 %

Ответы, где факт, цифра или ссылка не подтверждаются источником.

3 мин
120 000

Полная стоимость сотрудника — с налогами и взносами.

Проверка ответов стоит в год
2 990 000 ₽

Сумма из двух частей: оплаченные часы проверяющих и последствия ошибок, которые проверку миновали.

Сверка окупается за год

Типичный диапазон, где привязка ответов к источникам возвращает вложения за 6–12 месяцев. Порядок шагов обычный: сначала сверка на одном классе вопросов с самой высокой ценой ошибки, потом расширение по журналу.

Из чего сложилось
Часов проверки в месяц
63 часа
Ручная проверка в месяц
46 000 ₽
Ошибок уходит дальше за месяц
116
Цена пропущенных ошибок
203 000 ₽
Сверка: эксплуатация
58 000 ₽
Режим со сверкой в месяц
151 000 ₽
Разница в месяц
98 000 ₽
Окупаемость сверки
7 месяцев

Это прикидка порядка величины. Доля ошибок и цена одной ошибки сильно зависят от типа задач и качества исходных документов — точные значения даёт замер на своём потоке.

Как устроен расчёт

Цепочка начинается с объёма. Ответы за день умножаются на 21 рабочий день — получается месячный поток. Дальше поток расходится по двум статьям расхода, и обе оплачиваются реальными деньгами.

Первая статья видна в табеле. Минуты на один ответ умножаются на число проверяемых ответов и переводятся в часы. Час считается по зарплате: месячная сумма делится на 164 рабочих часа. Зарплата берётся полная, с налогами и взносами.

Вторая статья прячется в других бюджетах. Доля ошибок даёт число неверных ответов за месяц. Из тех, что попали на проверку, человек находит около 85%. Остальные уходят получателю и всплывают позже — в переписке, в возврате, в правке документа.

Не каждый пропуск оборачивается убытком. Часть ошибок ловит сам получатель, часть остаётся безобидной. В расчёте до последствий доходит 35% пропусков — консервативный ориентир, который проверяется по журналу за квартал.

Что двигает результат сильнее всего

Сильнее всех работает цена одной ошибки. Между внутренней перепиской и документом с обязательствами разница в двадцать раз, и итог года меняется на порядок. Этот выбор стоит сделать честно.

Второй по силе рычаг — доля проверяемых ответов. Сплошной просмотр ловит больше пропусков, но часы растут пропорционально потоку. Выборочная проверка экономит фонд оплаты и оставляет ошибки без присмотра.

Доля ошибок влияет слабее, чем кажется. При переходе с 8% на 12% итог растёт примерно в полтора раза — заметно, но без скачка. Объём потока и цена ошибки перевешивают её почти всегда.

При каких условиях сверка окупается

Сверка с источниками означает, что ответ собирается из найденных фрагментов документов и сопровождается ссылкой на абзац. Проверяющему остаётся сравнить два текста рядом. В расчёте это снижает долю ошибок вчетверо и позволяет перейти к выборочному контролю 15% ответов.

Эксплуатация складывается из двух частей. Около 9 ₽ на ответ уходит на поиск по базе и удлинённый контекст. Ещё 35 000 ₽ в месяц — индекс, хранилище и переиндексация документов при изменениях.

Разовые вложения приняты за 700 000 ₽: подключение источников, разметка, приёмка на живом потоке. Срок окупаемости получается делением этой суммы на месячную разницу между режимами. Значения до 12 месяцев считаются рабочими, до 18 — приемлемыми при высокой цене ошибки.

Условие успеха простое. Документы должны быть свежими, единственными в своём роде и доступными машинному поиску. Когда регламент существует в трёх версиях, сверка честно покажет противоречие — исправлять его придётся людям.

Как замерить свои числа

Доля ошибок берётся из недельного среза. Отбираются 50 ответов подряд, без отбора удобных, каждый сверяется с первоисточником. Отмечается только одно: подтверждается факт или нет.

Минуты на проверку меряются по часам, а не по ощущению. Пять ответов подряд с секундомером дают среднее с достаточной точностью. Опыт показывает разброс — ответ на два абзаца и справка со ссылками на регламент проверяются по-разному.

Цена ошибки собирается из последствий, а не из штрафов. В счёт идут переделка, повторное письмо, задержка сделки, время руководителя на разбор. Достаточно трёх недавних случаев, чтобы получить порядок величины.

Что остаётся за скобками

Расчёт даёт порядок величины и точку для разговора. За скобками остались репутационные потери, которые деньгами не меряются, и время на приведение документов в порядок перед подключением сверки. Вторая статья бывает крупнее счёта за модель, и оценить её можно только по конкретному архиву.

Также не учтён обратный эффект. Ссылка на источник рядом с ответом сокращает время проверки — читать целиком уже не нужно. В формуле этот выигрыш заложен только через долю выборки, поэтому итог со сверкой выходит скорее осторожным.

Частые вопросы

Что такое галлюцинация модели простыми словами

Уверенный ответ с фактом, которого нет в источниках: выдуманный пункт договора, несуществующая скидка, правдоподобная цифра. Тон при этом такой же, как у верного ответа, — на глаз отличить нельзя, нужна сверка с документом.

Почему пропущенные ошибки в расчёте дороже самой проверки

Проверка оплачивается по часам и растёт линейно, а ошибки стоят скачками. Одна неверная цена в письме клиенту перекрывает недельные часы контроля. Поэтому в формуле цена пропусков обычно перевешивает фонд оплаты проверяющих.

Откуда взялись 85% и 35%

Это два консервативных ориентира. Первый: человек находит примерно 85% ошибок среди ответов, которые действительно читает, — часть проскакивает при монотонном просмотре. Второй: до убытка доходит около 35% пропусков, остальное замечает получатель или ошибка остаётся безобидной. Оба стоит уточнить по журналу ошибок за месяц.

Почему сверка с источниками снижает долю ошибок вчетверо

Ответ собирается из найденных фрагментов документов, и рядом остаётся ссылка на абзац. Модель отвечает по тексту, который перед ней, а не по памяти обучения. Коэффициент 0,25 в расчёте — осторожная оценка: результат зависит от того, насколько документы актуальны и непротиворечивы.

Что делать, если доля ошибок неизвестна

Замерить за неделю. Берутся 50 ответов подряд, каждый сверяется с первоисточником, отмечается пометкой «подтверждено» или «нет». Отношение второй колонки к общему числу и есть искомая доля. Заодно видно, какие вопросы дают ошибки чаще остальных.