Дообучение

Зачем это знать

• Понять, что именно вы получаете, когда подрядчик предлагает «обучить модель под вас»
• Отличать задачу «отвечать в заданном формате» от задачи «знать документы компании»: это разные решения, с разной ценой и разными сроками
• Знать момент, когда дообучение окупается, и момент, когда хватит инструкции в запросе

Что такое дообучение простыми словами

В отдел взяли менеджера с опытом. Писать письма он умеет, оформлять документы тоже. На месте ему дают две вещи: пачку образцов, как принято отвечать в этой компании, и папку с действующим прайсом.

Дообучение — это пачка образцов. Готовой модели показывают несколько сотен ваших примеров «запрос — правильный ответ», и она начинает воспроизводить манеру: структуру ответа, тон, обязательные поля, длину.

Папка с прайсом устроена иначе. Это подстановка нужных документов в запрос, схема RAG. Меняются цены — меняете содержимое папки. Новый прайс закрывается заменой файла в папке, а не переобучением: менеджера ведь тоже не отправляют на курсы из-за смены тарифов.

Отсюда главное: дообучение меняет манеру, а память компании живёт отдельно, в документах.

Как это работает

1. Собирают образцы. Пары «запрос — эталонный ответ» берут из архива переписки, заявок в поддержку, готовых документов. Их вычищают и приводят к одному стандарту: если половина примеров оформлена по-старому, модель усвоит и старое тоже.
2. Часть примеров откладывают. Контрольная выборка, которую модель при обучении не видит. На ней потом сравнивают «до» и «после» — без неё улучшение оценить нечем.
3. Запускают обучение. Модели показывают ваши примеры, и её внутренние настройки слегка сдвигаются в сторону вашей манеры. Занимает это часы, а не недели: базовую модель никто заново не учит, её только подправляют.
4. Сравнивают на контрольной выборке. Проверяют две вещи: стал ли формат стабильнее и не потеряла ли модель общих навыков на соседних задачах.
5. Подключают отдельную версию. У вас появляется своя модель, привязанная к базовой. Дальше её нужно поддерживать.

Важная деталь про шаг первый. Даже если в примерах встречаются конкретные цифры и названия, справочником они не станут. Модель запомнит их как часть манеры и потом уверенно назовёт устаревшую цену, потому что «так было в образцах». Справочные данные внутри модели не хранятся — их подставляют в запрос при каждом обращении.

Пример из практики

Сервисная компания по обслуживанию торгового оборудования, около 1 500 обращений в поддержку в месяц. Ответ должен содержать номер обращения, срок, ссылку на пункт договора и подпись. Инструкция в запросе разрослась до трёх страниц, модель всё равно нарушала формат: по выборке в 200 ответов за две недели ошибки нашли примерно в каждом пятом.

Дообучили на 900 парах «обращение — утверждённый ответ» из архива за год. На такой же выборке в 200 ответов доля нарушений формата упала примерно до трёх процентов. Отдельно посчитали деньги: инструкция сократилась с трёх страниц до четырёх строк, и обработка одного обращения подешевела примерно на треть — длинный текст правил перестал оплачиваться при каждом запросе. Часть выигрыша съела надбавка поставщика: обращения к дообученной версии тарифицируются дороже, чем к базовой.

Сроки и пункты договоров при этом по-прежнему подставлялись из базы. Дообучение их не заменило и не могло.

Что это даёт бизнесу

• Меньше ручной проверки. Стабильный формат означает, что ответы не нужно перечитывать и править перед отправкой. Экономия считается просто: доля правок до и после, умноженная на время правки.
• Дешевле каждая операция. Манера переезжает из инструкции внутрь модели, и длинный текст правил перестаёт отправляться при каждом обращении. Инструкция оплачивается в каждом запросе, поэтому на потоке в тысячи обращений в день разница видна в счёте. Считать её нужно за вычетом надбавки за работу дообученной версии.
• Хватает модели попроще. После дообучения узкую задачу часто закрывает младшая модель там, где раньше требовалась старшая. Разница в цене между младшей и старшей моделью у поставщиков доходит до десяти раз.
• Предсказуемость. Ответ перестаёт зависеть от того, как сформулирован запрос сегодня. Там, где письмо уходит клиенту без вычитки, разброс формата видит клиент, поэтому доля отклонений от шаблона становится измеримым показателем качества.

Когда без этого можно обойтись

В большинстве задач хватает инструкции и трёх-пяти примеров прямо в запросе. Порядок такой: сначала инструкция в запросе, потом RAG, дообучение — последним. Каждый следующий шаг дороже предыдущего, и до третьего доходит меньшая часть задач.

Если запрос звучит как «пусть модель знает документы компании», дообучение его не решает вообще: знания так внутрь не попадают. Какой класс решения закрывает вашу задачу, показывает тест подбора — он разводит ровно эти случаи.

Если документы и правила меняются чаще раза в квартал, дообученная версия будет устаревать быстрее, чем окупаться.

И если у вас нет трёхсот-пятисот вычищенных эталонных ответов, обучать не на чем — проект встанет на сборе данных, а не на технике.

Что важно проверить

Дообученная модель привязана к своей базовой версии. Поставщик выпустил следующую — ваша сама не обновится, обучение придётся повторить. Закладывайте это в бюджет регулярной статьёй, а не разовой.

Второе: узкая специализация даётся ценой общей гибкости. На задачах, которых не было в примерах, модель после дообучения иногда работает хуже прежней. Проверять надо на двух наборах сразу — ваши типовые случаи и соседние, где модель должна работать не хуже прежнего. Оба замера делают на одной и той же выборке до и после, иначе сравнивать нечего.