Частота ошибок на объёме

Как устроен расчёт

Точка отсчёта — объём. Число ответов за месяц умножается на долю неверных, замеренную на тесте. Получается поток ошибок при текущем качестве системы.

Дальше поток делится надвое. Часть ответов попадает под проверку, остальные уходят к клиенту напрямую. В непроверенной части ошибки доходят все до единой.

Внутри выборки ловят тоже не всё. Глубина проверки задана коэффициентом: быстрый просмотр — 0,7, чек-лист — 0,85, сверка с источником — 0,95. Это ориентиры для прикидки, а не измеренные на конкретном проекте значения.

Итог — сколько неверных ответов дошло до клиента за месяц. Рядом считается цена контроля: часы проверки, число ставок и их стоимость по ставке сотрудника.

Что двигает результат сильнее всего

Первый рычаг — доля ошибок. Она действует на весь объём сразу и без людей. Снижение с 4% до 2% на потоке в шесть тысяч ответов убирает 120 ошибок из месячного потока, независимо от того, кто и как проверяет.

Второй рычаг — глубина выборки. Переход с 40% на 80% при чек-листе уменьшает число дошедших ошибок примерно вдвое. Платой идут часы: проверка удваивается тоже.

Третий рычаг — объём. Он множитель для обоих предыдущих. Доля в 2% выглядит спокойно на тысяче ответов и превращается в поток на сорока тысячах.

Порядок рычагов не случаен. Выборка стоит денег каждый месяц, а работа над качеством ответов окупается один раз и держится дальше.

При каких условиях ассистента выпускают к людям

Первое условие — обратимость. Ошибку видно и можно поправить до того, как она стала обязательством: неверный срок правит менеджер, неверную цену ловит сверка с прайсом на выходе.

Второе — узость темы. На одном сценарии с понятными источниками доля ошибок падает быстрее всего, потому что правила формулируются коротко и проверяются на выборке за день.

Третье — работающая эскалация. Ассистент должен уметь сказать, что не знает, и передать диалог человеку. Отказ от ответа дешевле уверенной выдумки.

Четвёртое — выборка на постоянной основе. Даже после выхода на низкую долю ошибок несколько процентов ответов смотрят глазами: поток запросов меняется, и вместе с ним меняется картина ошибок.

Как замерить свою долю ошибок

Берутся реальные обращения за последние две недели — 150–200 штук, без отбора удобных. Ассистент отвечает на них отдельно от клиентов. Ответы размечает специалист, который знает предметную область.

Разметка идёт в три корзины: верно, неверно, отказ от ответа. Отказы считаются отдельно и в долю ошибок не входят — они дорого обходятся по удобству, но безопасны по последствиям.

Полученную долю подставляют в калькулятор. На выборке в сто запросов погрешность порядка двух процентных пунктов, поэтому число читается как диапазон.

Что остаётся за скобками

Ошибки в расчёте равны между собой, а в жизни — нет. Перепутанный срок доставки и перепутанное условие гарантии расходятся по цене на порядки. Для оценки ущерба нужен разбор по типам.

Ошибки приходят кластерами. Одна пробелённая тема в базе знаний даёт серию похожих промахов подряд, и ровное среднее по месяцу такую серию не показывает.

Не учтена и задержка контроля. Выборочную проверку часто делают постфактум, а до клиента ответ уходит сразу — число дошедших ошибок от глубины проверки в этом случае не зависит вовсе. Чтобы расчёт был честным, проверка должна стоять до отправки хотя бы на рискованных типах запросов.

Наконец, за скобками сама работа над ошибками. Разбор случаев, правка инструкций и пополнение базы знаний занимают часы сверх проверки. Обычно это от четверти до половины времени, которое уходит на саму выборку.