Дообучение или RAG — что выбрать под задачу

Зачем это знать

• Различать две сметы, которые на словах обещают одно и то же
• Понимать, какой подход обновляется за минуты, а какой требует нового цикла обучения
• Спрашивать подрядчика, что именно меняется: манера модели или её доступ к документам

Что такое дообучение и RAG простыми словами

В отдел приходит новый сотрудник. Первый путь: его учат месяц — как разговаривать с клиентом, как разбирать спорные случаи, каким тоном писать письмо. Второй путь: ему выдают доступ к папке с регламентами и показывают, где что лежит.

Дообучение — первый путь. Модели показывают сотни примеров готовых ответов, её внутренние веса сдвигаются, и манера компании закрепляется внутри.

Поиск по документам — второй путь. Модель остаётся прежней, рядом встаёт индекс с регламентами. К каждому вопросу подкладывают подходящий кусок текста.

Формула короткая. Модель должна отвечать как лучший сотрудник — это дообучение. Модель должна знать то же, что он, — это поиск.

Как это работает

1. Документы режут на куски и складывают в индекс. Кусок — это раздел регламента, карточка товара, страница инструкции. Индекс живёт в векторной базе и обновляется отдельно от модели.
2. На вопрос сначала отвечает поиск. Он достаёт три-пять подходящих кусков и подкладывает их в запрос. Модель пишет ответ по этим кускам и ставит ссылку на пункт.
3. Для дообучения собирают примеры. Пара «вопрос — правильный ответ», написанная так, как должно быть. Порядок для прикидки — несколько сотен пар на одну задачу.
4. Запускают цикл обучения. Веса сдвигаются, манера закрепляется. После каждой правки регламента цикл повторяется заново.
5. Замеряют на одной выборке. Одни и те же вопросы прогоняют до и после, иначе сравнивать нечего.

Порядок обновления и есть главная разница в эксплуатации. Документ попадает в индекс за минуты, а новая версия дообученной модели — за недели.

Пример из практики

Сеть сервисных центров держит базу регламентов примерно на 900 страниц. Мастера пишут в общий чат: какая гарантия на узел, чем заменить снятую деталь, как оформить возврат. Цифры ниже — расчётный ориентир для компании такого профиля, а не отчёт по внедрению. У каждой указана методика замера.

Первый замер делают руками. Берут 200 вопросов из переписки за месяц и отмечают, где лежит ответ. Часть вопросов закрывается пунктом регламента дословно — это работа для поиска. Часть закрывается только опытом мастера — это работа для дообучения.

Регламент в такой сети правят раз в квартал, а прайс — чаще. Пересобрать индекс после правки стоит нескольких часов работы, повторить цикл обучения — заметно дороже. Отсюда обычный порядок: сначала поиск, потом дообучение на остатке ошибок.

Качество считают одинаково в обоих случаях. Ответ засчитывают верным, когда он совпадает с действующим регламентом и ссылается на верный пункт. Замер повторяют на той же выборке из 200 вопросов после каждой правки системы.

Что это даёт бизнесу

• Правка регламента доходит до сотрудников в тот же день. Документ кладут в индекс, и следующий ответ уже по новой версии. Ждать цикла обучения не нужно.
• Ответ можно проверить. Ссылка на пункт снимает спор о том, откуда модель это взяла, и сокращает время на разбор жалоб.
• Длина запроса падает после дообучения. Часть инструкции переезжает внутрь модели, и каждое обращение становится короче — это видно в счёте за токены.
• Смета становится сравнимой. Один подрядчик считает сбор индекса, другой — разметку примеров. Доля вопросов с ответом в документах показывает, за что платить первым.

Когда без этого можно обойтись

Пока документов мало, хватает промпта. Двадцать-тридцать страниц регламента влезают в контекстное окно целиком, и отдельный поиск ничего не добавит. Порог проверяется просто: если весь свод правил помещается в один запрос и ответы верные, строить индекс рано.

Дообучение откладывают, пока формат ответа не устоялся. Модель, обученную на старом шаблоне письма, переучивать дороже, чем поменять пару строк в инструкции. Сначала формат фиксируют на бумаге, потом закрепляют в весах.

Что важно проверить

Первое: качество базы документов. Поиск отвечает ровно тем, что в неё положили. Две версии одного регламента в индексе дают два разных ответа на один вопрос, и виновата тут не модель. Прежде чем считать бюджет, стоит прогнать процесс через чек-лист готовности.

Второе: гибрид считается нормой, а не признаком неудачи. Поиск даёт свежие факты, дообучение — манеру и формат. Порядок важен: дообучение поверх сырой базы документов ошибки не убирает.

Третье: попросите подрядчика показать замер на вашей выборке до подписания. Сколько вопросов взяли, за какой период, что считали верным ответом. Обещание точности без этих трёх цифр проверить нечем.