Что такое память агента и что она экономит
Зачем это знать
- Понять, почему помощник переспрашивает то, что уже слышал, и во что это обходится в часах оператора
- Разделить, за что платят в базе знаний, а за что — в памяти: это разные работы и разные сроки
- Задать подрядчику проверяемый вопрос: что попадает в память, на сколько и кто это видит
Что такое память агента простыми словами
В мастерской по ремонту техники на каждого клиента заведена карточка. Приносили ноутбук в марте, меняли клавиатуру, обещали скидку на следующий ремонт. Приёмщик сменился, карточка осталась. Новый человек открывает её за десять секунд и продолжает разговор с того места, где он закончился.
Языковая модель устроена иначе. Каждый вызов для неё первый. Прошлые разговоры нигде сами по себе не оседают: всё, что модель «помнит», ей присылают заново вместе с текущим запросом.
Память агента закрывает этот разрыв. Это хранилище рядом с моделью плюс два правила: что туда записывать после разговора и что доставать перед ответом. Карточка клиента из мастерской — ровно она.
Чем память отличается от контекстного окна
Контекстное окно — рабочий стол. На него кладут вопрос, инструкцию и всё, что нужно для одного ответа. После ответа стол убирают.
Память — картотека в соседней комнате. Она переживает перезапуск, смену модели и вчерашний день. Перед ответом из неё достают две-три подходящие карточки и кладут на тот же стол.
Как это работает
Пятый шаг чаще всего и пропускают. Записывать легко, отменять запись — работа, которую нужно спроектировать заранее.
Что кладут в память, а что оставляют в базе знаний
Разделение простое: общее для всех живёт в базе знаний, частное и меняющееся — в памяти. Тариф на доставку одинаков для тысячи клиентов. Обещание перезвонить в четверг касается одного.
Смешивать их выходит дороже. Общее обновляют редко, централизованно и с проверкой. Частное появляется каждый час, стареет за недели и требует права на удаление по запросу человека.
Отсюда практический признак. Если факт нельзя приписать конкретному клиенту, сделке или задаче, ему место не в памяти.
Как это выглядит на рабочем процессе
Сервисная компания принимает заявки текстом. Клиент пишет второй раз за месяц: «по той же машине, что и в прошлый раз». Без памяти агент начинает с нуля и просит номер, модель и описание проблемы. Оператор потом разгребает раздражение.
С памятью тот же запрос собирает три карточки: техника клиента, прошлое обращение, чем оно закончилось. Ответ становится продолжением, а не новой анкетой.
Полезность здесь измерима, и мерить стоит до внедрения. Берут сто подряд идущих обращений за две недели и размечают вручную по двум признакам: человек повторяет уже сообщённое; агент противоречит прежней договорённости. Через месяц после запуска памяти замер повторяют на такой же выборке того же процесса. Сравнивать имеет смысл только одинаковые по составу выборки — сезон и тип заявок сдвигают цифру сильнее самой памяти.
Что это даёт бизнесу
- Повторное обращение стоит дешевле первого. Часть вводных не собирают заново — ни у клиента, ни у оператора. Экономия считается в минутах на обращение, умноженных на долю повторных.
- Договорённости перестают теряться при передаче. Смена оператора, смена смены, возврат клиента через месяц — карточка остаётся на месте.
- Счёт за модель держится под контролем. Три отобранные записи занимают в запросе меньше места, чем вся история переписки. Прикинуть, сколько окна остаётся под работу, помогает запас контекста на диалог.
- Появляется предмет проверки. Содержимое памяти можно открыть и прочитать глазами. Поведение агента становится объяснимым: видно, из какой записи взялся ответ.
Когда без этого можно обойтись
Одноразовым задачам память не нужна. Разбор входящего счёта, классификация заявки, извлечение полей из скана — всё нужное приходит в самом документе, а следующий документ никак не связан с предыдущим. Такие процессы запускают без памяти и не теряют ничего.
Начинать без памяти дешевле и там, где диалог короткий и заканчивается за один заход. Сначала стоит довести до рабочего состояния сам ответ. Память добавляют вторым шагом — когда замер показал, что повторные обращения занимают заметную долю потока.
Что важно проверить
Первое: срок жизни записи. У каждого типа факта он свой — предпочтение по способу связи живёт год, статус заявки теряет смысл через неделю. Сроки назначают до запуска, иначе через полгода агент уверенно ссылается на отменённую договорённость.
Второе: границы доступа. Память хранит сведения о людях и сделках. Проверяется то же, что у любой базы: где лежит, кто читает, как удаляется запись по запросу человека, попадает ли содержимое во внешний сервис вместе с запросом к модели.
Третье: правило отбора. Попросите показать, что именно агент решил сохранить за прошедшую неделю, списком. Список читается за десять минут, и по нему сразу видно перекос: либо в память падает всё подряд, либо не падает ничего полезного. Без такого просмотра качество памяти проверить нечем.
Частые вопросы
Память агента простыми словами — это что
Это отдельное хранилище рядом с моделью, куда агент записывает важное из прошлых обращений: кто клиент, о чём договорились, чем закончилось. Сама языковая модель между вызовами ничего не хранит. Всё нужное ей присылают заново вместе с очередным запросом.
Чем память отличается от контекстного окна
Контекстное окно — объём одного обращения к модели, оно опустошается после ответа. Память живёт дольше окна и переживает перезапуск. Перед ответом из памяти достают несколько подходящих записей и кладут их в окно. Окно задаёт предел за раз, память задаёт горизонт.
Что кладут в память, а что в базу знаний
В базу знаний кладут общее для всех: регламенты, тарифы, описания услуг. В память — частное и меняющееся: договорённости по конкретной сделке, предпочтения клиента, результат прошлого обращения. Общее обновляют редко и централизованно, частное появляется каждый день и стареет.
Как понять, что памяти не хватает
Считают долю обращений, где человек повторяет то, что уже сообщал. Берут сто подряд идущих диалогов за две недели и размечают их вручную. Вторая метрика — доля ответов, где агент противоречит прежней договорённости. Обе цифры замеряют до внедрения памяти и на той же выборке после.
Что делать с персональными данными в памяти
Память хранит сведения о людях, поэтому её описывают как обычное хранилище: где лежит, кто имеет доступ, сколько живёт запись, как её удалить по запросу. Срок жизни назначают до запуска. Записи без срока копятся годами, и позже разобрать их дороже, чем настроить очистку сразу.
Обсудим задачу?
Расскажите о процессе — предложим, где ИИ окупится быстрее всего.
Ещё по теме
Что такое ИИ-агент и чем он отличается от чат-бота
ИИ-агент — это программа на языковой модели, которая получает цель словами, сама выбирает шаги, вызывает нужные инструменты и доводит задачу до результата.
Что такое контекстное окно и почему модель «забывает»
Контекстное окно — это предел текста, который модель видит за одно обращение: инструкция, документы, вопрос и переписка считаются вместе, лишнее отсекается молча.