Что такое экономное дообучение и когда оно окупается

Зачем это знать

• Понимать, за что берут деньги, когда предлагают «обучить модель под вашу компанию»
• Оценить бюджет настройки заранее: часы одной видеокарты вместо суток кластера
• Спрашивать подрядчика, что останется у компании после проекта — файл, выборка и протокол замера

Что такое экономное дообучение простыми словами

Серийный костюм шьют на усреднённую фигуру. В ателье его редко перекраивают целиком: подгоняют рукав, талию, длину. Ткань и крой остаются заводскими, работы — на пару часов.

С готовой моделью похоже. Внутри неё миллиарды числовых настроек — весов. Полное дообучение пересчитывает их все. Экономное замораживает основной массив и трогает порядка процента.

Результат ложится в отдельный файл — адаптер. Базовая модель остаётся нетронутой, адаптер подключают к ней при запуске. Считать нужно малую часть, хранить — тоже.

Как это работает

1. Базовую модель замораживают. Её веса при обучении не меняются, поэтому исходное качество никуда не девается и вернуться к нему можно в любой момент.
2. Рядом пристраивают довесок. Самый распространённый способ — LoRA: к нужным слоям добавляют две небольшие таблицы чисел, и обучение идёт только по ним.
3. Прогоняют размеченную выборку. Каждый пример — пара «вход и правильный ответ» в том виде, в каком ответ нужен в работе.
4. Получают файл адаптера. Десятки мегабайт против десятков гигабайт у полной копии. Хранится в репозитории компании, версионируется как обычный файл.
5. Подключают к базовой модели. Один развёрнутый экземпляр обслуживает несколько адаптеров под разные задачи: разбор актов, ответы поддержки, извлечение полей из накладных.

Запускать это можно только там, где к весам модели есть доступ. Значит, нужна модель с открытыми весами либо сервис поставщика с собственной функцией дообучения.

Пример из практики

Цифры ниже — расчётный ориентир для компании такого профиля, а не отчёт о внедрении. У каждой указано, что мерили и на каком объёме, чтобы расчёт можно было повторить на своих данных.

Профиль: сервисная компания, около 4 000 однотипных актов в месяц, из акта нужно вытащить двенадцать полей в жёстком формате. Первый подход обычно делают промптом: пишут инструкцию на пять-шесть страниц с примерами. Замер на отложенной выборке из 300 актов показывает долю полей, ушедших в учёт без ручной правки.

Дальше готовят выборку под адаптер. Тысяча-полторы проверенных актов — это порядка недели работы двух сотрудников, которые уже делают эту разметку руками каждый день. Прогон адаптера на одной арендованной карте занимает часы; часовой тариф берут из прайса своего облачного провайдера и умножают на число прогонов — их обычно три-четыре, пока подбирают настройки.

Повторный замер идёт по той же выборке и той же метрике. Прирост доли полей без правок на 8–15 пунктов — реалистичный порядок для узкой задачи с чистой разметкой. Проверяется он только собственным замером: на грязной разметке прироста не будет вовсе, и это выясняется за один прогон, а не за квартал.

Экономия появляется и на счёте за запросы. Пятистраничная инструкция уезжает в модель при каждом обращении; после адаптера часть правил живёт в весах, и её из промпта убирают. Порядок суммы для своего объёма прикидывают калькулятором бюджета.

Что это даёт бизнесу

• Настройка становится расходом в часах, а не в месяцах. Прогон на одной карте планируется как обычная задача: известно железо, известна длительность, известно число попыток.
• Одна модель обслуживает несколько отделов. Базовый экземпляр развёрнут один раз, адаптеры под разные процессы подключаются к нему по очереди. Железо не умножается на число задач.
• Откат стоит одну минуту. Адаптер отключают, базовая модель отвечает как прежде. Риск «сломали то, что работало» снимается на уровне устройства.
• Актив остаётся внутри компании. Размеченная выборка переживает и подрядчика, и саму модель: на новой базовой модели обучение повторяют по тем же данным.

Когда без этого можно обойтись

Если нужны свежие факты — прайс, остатки, действующая редакция регламента — задача решается поиском по документам. Веса переучивать под данные, которые меняются каждую неделю, дорого и бессмысленно. Разбор двух подходов есть в отдельном материале: дообучение или поиск по документам.

Не нужен адаптер и там, где объём мал. Несколько десятков документов в месяц дешевле проверять глазами: неделя разметки не окупится никогда.

Третий случай — закрытая модель по API без функции настройки. Тогда сначала выбирают модель с доступом к весам, и только потом планируют обучение.

Что важно проверить

Первое: качество разметки решает исход. Стандартный приём — отдать 5–10% выборки двум разметчикам сразу и посчитать, на какой доле примеров они сошлись. Свой порог задают по этому же замеру: получившаяся доля становится точкой отсчёта, а расхождения разбирают поштучно. Разошлись сильно — правило переписывают и размечают заново. Полдня на пятидесяти документах до старта — главный предохранитель проекта.

Второе: замер до и после делается на одной выборке, одной метрикой, с одинаковым проверяющим. Выборка откладывается заранее и в обучение не попадает. Иначе прирост окажется красивым на бумаге и пропадёт на живом потоке.

Третье: адаптер привязан к конкретной версии базовой модели. Поставщик обновил модель — адаптер прогоняют заново на той же выборке. Заложите эту работу в план на год, вместе с ответом на вопрос, кому принадлежат выборка и файл после сдачи проекта.