Разброс ответов и цена проверки
Шесть цифр — и видно, сколько ответов в месяц потребуют второго взгляда и сколько часов уйдёт на контроль. Дальше решение принимается по сумме, а не по ощущению.
Ваши данные
Весь поток: ответы клиентам, подсказки операторам, черновики документов.
Те, где ошибка стоит денег или репутации: цены, сроки, условия договора.
Полная стоимость часа — с налогами и накладными.
Посчитано время людей на сплошную проверку критичной доли потока. Разработка автопроверок и правка базы знаний считаются отдельно.
Типичная цена для потока среднего размера. На этих цифрах окупается перевод части проверок в автоматические: сверка чисел с базой, обязательные поля ответа, отказ отвечать без источника.
- Разойдутся при повторе
- 540
- С выдуманным фактом
- 240
- Всего под вопросом
- 780
- Доля потока
- 13,0%
- Проходят проверку
- 1 500
- Часов проверки
- 150 часов
- Занятость в ставках
- 0,9
- Спорных вне проверки
- 585
Это прикидка порядка величины. Доли расхождений зависят от конкретных формулировок запросов и состояния базы знаний, поэтому точная цифра получается только на замере вашего потока.
Как устроен расчёт
Поток делится на две группы риска. Первая — ответы, которые разойдутся между собой при повторе того же вопроса. Вторая — ответы с фактом, которого нет ни в базе, ни в реальности.
Доля расхождений берётся от 9% и умножается на коэффициент формата. Шаблон с обязательными полями оставляет модели мало свободы и делит долю вдвое. Свободная формулировка поднимает её почти вдвое: одно и то же знание пересказывается по-разному, и часть пересказов меняет вывод.
Доля выдумки считается от 4% и зависит от опоры ответа. Когда текст собирается из выдержек базы, выдумке негде появиться — коэффициент 0,35. Когда модель отвечает из общих знаний, доля растёт в 2,2 раза.
Дальше считается работа людей. Критичная доля потока проверяется сплошь, время умножается на стоимость часа. Результат — месячная цена контроля в рублях и занятость проверяющего в ставках.
Что влияет на результат сильнее всего
Минуты на проверку. Это множитель при всём объёме: разница между двумя минутами и восемью меняет счёт вчетверо. Сократить их проще, чем кажется, — ответ по шаблону читается быстрее свободного текста.
Доля сплошной проверки. Каждые следующие 10% потока стоят столько же, сколько предыдущие. Поэтому зону сплошного контроля описывают списком случаев, а не долей от балды: сначала перечисляют, где ошибка стоит денег, потом смотрят, какая доля получилась.
Формат и источник ответа — единственные два поля, которые двигают не цену проверки, а сам объём спорных ответов. Строка «спорных вне проверки» показывает вторую половину картины: сколько расхождений уезжает к клиенту без второго взгляда.
При каких условиях контроль окупается
Первое условие — измеримость. Пока журнала расхождений нет, любое улучшение остаётся вопросом веры. Журнал заводят до пилота: вопрос, ответ, вердикт проверяющего, причина. Через месяц видно, какие темы дают разнобой.
Второе — постепенная передача проверок коду. Числа сверяются с базой автоматически, обязательные поля проверяются на наличие, ответ без ссылки на источник помечается. Человек разбирает то, что осталось.
Третье — зона сплошного контроля сужается по факту. Темы, где за три месяца не было ни одного расхождения, переводят на выборку в 10%. Освободившиеся часы уходят на темы, где расхождения были.
Когда хватает одной цифры без расчёта
При потоке до нескольких сотен ответов в месяц вся проверка укладывается в пару часов в неделю. Считать тут нечего — достаточно назначить дежурного и вести журнал.
Обратный край шкалы тоже понятен без калькулятора. Если ошибка в одном ответе стоит дороже годового бюджета на контроль, доля сплошной проверки равна 100%, а разговор идёт про архитектуру: сверку с системой учёта, отказ отвечать при неполных данных, обязательный второй контур.
Промежуточный случай — там, где цифра меняет решение. Поток в тысячи ответов, разная цена ошибки по темам, ограниченное время экспертов. Расчёт показывает порядок величины и подсказывает, какое из шести полей двигать первым.
Что осталось за скобками
Разработка автопроверок. Сверка чисел, контроль формата и отказ от ответа без источника пишутся один раз и работают дальше сами; в месячную цену контроля они не входят.
Приведение базы знаний в порядок. Противоречащие друг другу регламенты дают расхождения, которые не лечатся ни форматом, ни проверкой: модель честно пересказывает то, что нашла. Эта работа оценивается по состоянию документов.
Стоимость пропущенной ошибки. Строка «спорных вне проверки» даёт количество, но не сумму ущерба: она зависит от того, кому и что было сказано. Для этой части расчёта есть отдельный инструмент.
Частые вопросы
Почему ИИ каждый раз отвечает по-разному
Ответ собирается по одному слову, и на каждом шаге выбирается вариант из нескольких близких по вероятности. Отсюда разные формулировки. Опасен не разный текст, а разный вывод: когда на один и тот же вопрос про срок поставки называются пятница и вторник. Жёсткий формат ответа и опора на выдержки из базы снижают долю таких случаев.
Как проверить разброс на своих данных
Берут 50 типичных вопросов и задают каждый по пять раз. Ответы сравнивают по смыслу: совпадает ли число, дата, вывод. Доля вопросов, где хотя бы один прогон разошёлся с остальными, и есть разброс. Замер занимает день и даёт цифру точнее любого коэффициента по умолчанию.
Откуда взяты 9% расхождений и 4% выдумки
Это ориентиры для потока, где инструкция задана словами, а ответ опирается на базу и рассуждение модели. Коэффициенты у вариантов сдвигают их: шаблон с полями делит разброс вдвое, ответ из знаний модели без источников умножает долю выдумки на 2,2. Собственный замер эти ориентиры перебивает.
Обязательно ли проверять всё
Сплошная проверка нужна там, где ошибка стоит денег: цены, сроки, условия договора, медицинские и юридические формулировки. Остальное берут выборкой в 5–10% и следят за трендом. Поле «доля сплошной проверки» как раз показывает, во сколько обходится каждое расширение этой зоны.
Что снижает цену контроля сильнее всего
Формат ответа и источник. Ответ по шаблону с обязательными полями проверяется глазами за минуту вместо шести. Ответ со ссылкой на пункт регламента проверяется сверкой, а часть сверок выполняет код: число в ответе сопоставляется с числом в базе, расхождение уходит человеку.
Проверить на вашей задаче?
Посмотрим ваш процесс и назовём цифры по нему, а не по средним значениям.
Смежные инструменты
Обновлено: 11 сентября 2026