Раздувание контекста — что это простыми словами

Зачем это знать

• Понять, почему счёт за ИИ-систему растёт быстрее, чем число обращений
• Увидеть причину замедления ответов и потери качества без смены модели
• Спрашивать у подрядчика разбивку запроса по источникам, а не общую цену проекта

Что такое раздувание контекста простыми словами

Сотрудник собирается на встречу с клиентом. Нужных листов три: последний счёт, спорная строка в акте, письмо от юриста. Он берёт всю папку целиком — так спокойнее.

Папка пухнет каждый квартал. Носить тяжелее, искать в ней дольше, а решение по-прежнему принимается по трём листам.

Модель получает такую же папку при каждом обращении. Внутри системная инструкция, описания инструментов, приложенные документы, история диалога, выдача поиска по базе знаний. Всё это вместе называют контекстом, а место под него ограничено контекстным окном.

Раздувание контекста — состояние, когда папка растёт, а число решающих листов остаётся прежним. Объём оплачивается в токенах при каждом запросе.

Как это работает

1. Запрос собирается из кусков. Служебная часть, история, документы и ответы инструментов складываются в один пакет и уходят в модель.
2. Пакет уходит целиком при каждом обращении. Кэширование удешевляет повторную отправку постоянной части, но изменчивые куски отправляются заново по полной цене.
3. Объём растёт по шагам диалога. К концу длинной переписки входной объём одной реплики кратно больше, чем в начале. Счёт и время ответа идут следом.
4. Служебная часть растёт по жалобам. На каждый разобранный сбой в инструкцию дописывают правило. Правила накапливаются, старые не удаляются.
5. Полезная доля падает. Среди лишнего текста нужный фрагмент теряется, и качество ответов снижается раньше, чем закончится место в окне. Этот эффект разбирают отдельно — загнивание контекста.

Отдельно стоит следить за агентами. Агент делает много шагов подряд и после каждого дописывает результат в общий контекст, поэтому объём накапливается внутри одной задачи пользователя.

Пример из практики

Типовая картина в поддержке выглядит так. Система работает, ответы устраивают, но счёт за месяц заметно выше расчётного, а долгие диалоги отвечают медленнее коротких.

Разбираются замером. Берут одну типичную операцию, раскладывают её входной объём по источникам и повторяют замер на первой и на двадцатой реплике диалога. Объём считают счётчиком той модели, с которой работают, — прикинуть порядок помогает калькулятор токенов на задачу.

Дальше видно, что сокращать первым. Обычно на верхних строчках оказываются история переписки и служебная инструкция: они отправляются при каждом обращении и растут без участия человека. Приёмы известны — окно последних реплик, сводка вместо полной истории, кэш постоянной части, отбор фрагментов поиска. Их собирают в один слой сборки запроса, который называют компакцией контекста.

Результат сверяют на одной и той же выборке диалогов до и после. Смотрят два показателя: входной объём на операцию и долю переводов на живого оператора. Экономия засчитывается только там, где второй показатель не ухудшился.

Что это даёт бизнесу

• Счёт возвращается к расчётной величине. Стоимость операции перестаёт зависеть от длины разговора, и месячный бюджет считается умножением на объём.
• Ответы приходят быстрее. Время первого ответа связано с входным объёмом напрямую, поэтому обрезка лишнего ускоряет систему без смены модели и без нового железа.
• Качество растёт вместе с экономией. Короткий и собранный под задачу пакет реже уводит модель к устаревшим кускам диалога.
• Появляется предмет разговора с подрядчиком. Разбивка входного объёма по источникам — проверяемый документ, по которому видно, где деньги, и что сокращать в первую очередь.

Когда без этого можно обойтись

При редких коротких обращениях объём разбирать незачем. Несколько сотен запросов в месяц без длинных диалогов и без приложенных документов дают счёт, на фоне которого работа по сокращению стоит дороже всей экономии.

Тема не про подписки с фиксированной платой за рабочее место: там упираются в лимиты запросов, а объём текста на цену не влияет. Разовые задачи с большими документами тоже отдельный случай — там длинный пакет и есть работа, и её разбирают как длинный контекст, а не как раздувание.

Что важно проверить

Первое: место в окне и деньги — разные ограничения. Запрос помещается в окно и при этом стоит дорого, поэтому «влезает» не заменяет замер объёма.

Второе: сокращение проверяется по качеству, а не только по счёту. Обрезка истории и урезание выдачи поиска снимают часть фактов, и это видно на выборке из живых диалогов до и после.

Третье: разбивку объёма стоит замерять регулярно, хотя бы раз в квартал. Инструкции и наборы инструментов растут сами собой, и объём возвращается к прежнему через несколько месяцев после уборки.