Переполнение контекста в диалоге
Шесть цифр — и видно, на какой реплике история перестанет помещаться в окно, останется ли запас до конца смены и во сколько обойдётся сжатие переписки.
Ваши данные
Пара «вопрос — ответ» считается за одну реплику.
На русском выходит примерно 1,3 токена на слово. Сюда же входят выдержки из базы, если бот вставляет их в ответ.
Инструкция, правила тона, карточка клиента, описания инструментов — всё, что уходит в модель при каждой реплике.
Сколько таких диалогов доживает до конца смены в один день.
Доля рабочей части окна, занятая системной частью и историей на последней реплике смены. Свыше 100% переписка держится за счёт сжатия.
К концу смены история перерастает окно, и начало разговора держится на конспекте. Работают три хода: окно пошире, сжатие по расписанию и вынос фактов о клиенте в отдельное поле. Строка «сжатие истории в месяц» показывает, во сколько обходится третий вариант против доплаты за окно.
- Реплика, после которой выпадает начало
- 121
- Реплик в запасе
- 0
- Контекст в последней реплике
- 145 000
- Сжатий за смену
- 1
- Одно сжатие
- 189 ₽
- Сжатие истории в месяц
- 48 000 ₽
Это прикидка порядка величины. Вес реплик зависит от языка, разметки и того, сколько выдержек из базы бот подтягивает в ответ.
Как устроен расчёт
Диалог растёт линейно. Каждая пара «вопрос — ответ» ложится в историю и уезжает в модель заново на следующем шаге. Поверх истории при каждом обращении отправляется системная часть: инструкция, правила тона, карточка клиента, описания инструментов.
Из окна модели сначала вычитается резерв под ответ. Следом — системная часть. Остаток и есть место под переписку.
Это место делится на вес одной пары реплик. Получается номер реплики, после которой начало разговора перестаёт помещаться целиком. Головное число показывает другое: какую долю рабочей части окна занимает диалог на последней реплике смены.
Ниже ста процентов смена проходит без потерь. Выше — история доезжает до модели в виде конспекта, и точность ответов начинает зависеть от качества этого конспекта.
Что двигает порог сильнее всего
Вес пары реплик. Он же самая подвижная величина расчёта. Справочный бот на коротких ответах держится в 300 токенах на пару. Тот же бот с тремя выдержками из регламента разгоняется до полутора тысяч.
Пятикратный вес сдвигает порог впятеро ближе. Поэтому замер веса по своим журналам окупается раньше любой другой правки.
Дальше идёт окно модели. Переход с 32 тысяч токенов на 128 отодвигает порог примерно вчетверо: с двух десятков реплик до полутора сотен. Смена оператора редко даёт больше сотни пар, и на этом шаге вопрос переполнения чаще всего закрывается.
Системная часть весит меньше, зато заметна на узких окнах. Инструкция на восемь тысяч токенов при окне в 32 тысячи забирает четверть места ещё до первой реплики. При окне в 200 тысяч тот же текст теряется в общем объёме.
Что показывает разбивка
Первая строка — номер реплики, до которой история помещается вместе с системной частью. Вторая — сколько пар остаётся в запасе к концу смены. Пока запас положительный, разговор доживает до передачи следующему оператору без конспектов.
Третья строка полезна при сверке со счётом. Контекст последней реплики — это объём, который оплачивается на каждом обращении в конце смены. Начало разговора в счёте почти не видно, а концовка видна хорошо.
Последние три строки про сжатие: число сжатий за смену, цена одного и месячная сумма по всем линиям за 21 рабочий день. Нули в этих строках означают запас: сжимать нечего, пока история помещается в окно.
Сжатие истории и его цена
Когда переписка упирается в окно, её сжимают. Почти полное окно отправляется в модель ещё раз, ответом приходит конспект на пару тысяч токенов, разговор продолжается с него. Процедуру называют компакцией или суммаризацией, запускают по порогу заполнения или по расписанию.
Цена одного сжатия — объём отправленного контекста, умноженный на цену ввода. При окне в 128 тысяч токенов и полутора рублях за тысячу выходит около 190 ₽. Число сжатий за смену считается грубо: сколько раз окно успеет наполниться после первого переполнения.
Месячная сумма собирается умножением на количество линий и 21 рабочий день. Дюжина линий и одно сжатие за смену дают порядка 48 тысяч рублей. Эту цифру сравнивают с доплатой за модель с окном пошире — ради такой развилки расчёт и заводят.
Как замерить свои значения
Вес пары реплик берут токенизатором по выгрузке. Отбирают 30–50 завершённых диалогов за неделю, считают токены в каждой паре, берут медиану. Среднее здесь врёт: два длинных разбора поднимают его вдвое при прежнем типичном диалоге.
Длину смены смотрят по журналу обращений. Распределение обычно двугорбое: часть диалогов обрывается на пятой реплике, часть тянется до сотни. В расчёт ставят верхний край — переполнение случается именно в долгих разговорах.
Системную часть измеряют один раз, зато целиком: вместе с описаниями инструментов и примерами ответов. Она разрастается незаметно и к третьему месяцу работы бота нередко удваивается.
При каких условиях окна хватает на смену
Условий три. Пара реплик держится в пределах 600–800 токенов. Системная часть занимает до 5% окна. Факты о клиенте живут в карточке и обновляются коротким вызовом.
Третье условие снимает вопрос надёжнее прочих. Когда имя, тариф и номер заявки лежат отдельным полем, старые реплики отпускаются спокойно: нужное из них уже перенесено. Обновление такой карточки стоит копейки против полного сжатия окна.
Расчёт даёт порядок величины и точку, где стоит посмотреть на архитектуру памяти. Точные цифры приходят из замеров по собственным журналам за пару недель работы.
Частые вопросы
На какой реплике бот начинает забывать начало разговора?
Порог считается так: из окна модели вычитают резерв под ответ и системную часть, остаток делят на вес одной пары «вопрос — ответ». При окне в 128 тысяч токенов, системной части в 5 тысяч и паре в 1000 токенов порог приходится на 121-ю реплику. С окном в 32 тысячи он падает до 25-й.
Чем компакция отличается от суммаризации истории?
Механика одна: почти полное окно уезжает в модель ещё раз, обратно приходит конспект на пару тысяч токенов, диалог продолжается с него. Различается запуск. Компакция срабатывает по достижению порога заполнения, суммаризация идёт по расписанию или по числу реплик.
Почему из окна вычитается резерв в 2000 токенов
Модели нужно место, чтобы дописать ответ. История, растянутая на всё окно, оставляет ответ обрезанным на середине фразы. Две тысячи токенов — запас под развёрнутую реплику с цитатой из документа; справочному боту с короткими ответами хватит и восьмисот.
Сколько стоит одно сжатие истории
Столько же, сколько обычный запрос такого объёма: отправленный контекст умножается на цену ввода. При окне в 128 тысяч токенов и полутора рублях за тысячу выходит около 190 ₽. Дюжина линий и одно сжатие за смену дают порядка 48 тысяч рублей за 21 рабочий день.
Как измерить вес пары реплик по своим диалогам
Берут выгрузку за неделю, отбирают 30–50 завершённых диалогов и прогоняют через токенизатор используемой модели. Считают медиану: пара длинных разборов перекашивает среднее вдвое. Отдельно смотрят долю реплик с подтянутыми документами — обычно именно они дают разброс.
Что даёт больше запаса: окно побольше или короткая системная часть
На узких окнах системная часть решает многое. При окне в 32 тысячи сокращение инструкции с 8 до 3 тысяч токенов добавляет около пяти реплик из двадцати пяти. При окне в 200 тысяч тот же выигрыш теряется в общем объёме, и там сильнее работает вес самой переписки.
Проверить на вашей задаче?
Посмотрим ваш процесс и назовём цифры по нему, а не по средним значениям.
Смежные инструменты
Обновлено: 1 сентября 2026