Открытые веса — что это и когда они выгоднее закрытой модели
Зачем это знать
- Понять, при каких условиях модель на своём сервере обходится дешевле подписки на чужой API
- Знать, что «открытая модель» и «прозрачная модель» — разные вещи, и какие вопросы задать поставщику
- Держать документы клиентов внутри контура, когда этого требует отрасль
Что такое открытые веса простыми словами
Готовый рецепт и готовое блюдо — разные вещи. Блюдо можно съесть, разогреть, добавить специй по вкусу. Рецепт объясняет, из чего оно сделано и что заменить, если продукта нет.
Открытые веса — это блюдо. Разработчик выкладывает обученные параметры модели: файл с числами, который скачивают и запускают. Модель работает, дообучается, встраивается в свои системы. Как её делали и на каких текстах учили — в комплект не входит.
Отсюда разница с закрытой моделью. Закрытая живёт на сервере поставщика, и обращаются к ней через интернет с оплатой за каждый запрос. Модель с открытыми весами живёт там, где её поставили: на своём сервере, в частном облаке, иногда на ноутбуке.
Как это работает
- Разработчик публикует файл весов. Внутри — параметры, полученные после обучения. Рядом обычно лежит лицензия и код запуска, реже — описание обучающих данных.
- Проверяют лицензию. Apache 2.0 разрешает использовать, изменять и продавать результат. Другие лицензии ограничивают отрасли, размер бизнеса или требуют раскрывать доработки.
- Подбирают железо. Размер модели задаёт объём видеопамяти. Запас нужен ещё на длину контекстного окна и на число одновременных запросов.
- Разворачивают в своём контуре. Дальше это обычный запуск модели на своём оборудовании со своим мониторингом, обновлениями и дежурными.
- Настраивают под задачу. Сначала подключают свои документы поиском — это RAG. Дообучение берут следующим шагом, когда поиска не хватило.
Порядок шагов важнее скорости. Лицензию читают до закупки видеокарт: модель может подойти технически и не подойти юридически.
Пример из практики
Страховая компания разбирает моделью около 8 000 обращений в месяц: заявления, справки, переписка с клиентами. Часть документов содержит персональные данные, служба безопасности запретила отправлять их наружу.
Считали два варианта на одном месячном объёме. Через закрытый API вышло бы порядка 40 000 ₽ в месяц по тарифам моделей среднего уровня — но с запретом на выгрузку персональных данных этот вариант не проходит вовсе. Своя модель на арендованном сервере с видеокартами обошлась бы в 90–150 тысяч ₽ в месяц вместе с обслуживанием.
Считать нужно не только счёт. Каждый месяц добавляется работа команды: обновления, дежурство, разбор сбоев. На объёме в 8 000 операций эти часы весят больше, чем разница в тарифах. Экономика сходится там, где объём даёт хотя бы несколько сотен тысяч операций в месяц или где выгрузка данных запрещена прямо.
Что это даёт бизнесу
- Документы не покидают контур. Для банков, медицины и всех, кто работает с персональными данными, это часто единственный проходящий вариант. Требования к обработке разобраны в приказе ФСТЭК.
- Счёт перестаёт зависеть от объёма. Оборудование стоит одинаково при 10 000 и при 500 000 операций. С ростом нагрузки себестоимость операции падает, а у API растёт линейно. Точку пересечения считают калькулятором бюджета.
- Версия остаётся на месте. Поставщик закрытой модели меняет её, когда сочтёт нужным, и настроенные под неё сценарии приходится проверять заново. Скачанные веса не меняются сами.
- Модель настраивается под свои документы. Отраслевые термины, внутренние форматы, специфика договоров — всё это закладывается дообучением, а не подбором формулировок в запросе.
Когда без этого можно обойтись
Небольшой объём закрывается API дешевле. Несколько тысяч операций в месяц не окупают ни сервера, ни человека, который его ведёт: расходы на эксплуатацию превышают весь счёт за обращения к чужой модели.
Открытые веса не нужны и там, где данные и так не чувствительные: тексты для сайта, черновики писем, разбор публичных документов. Здесь выигрывает скорость запуска — закрытая модель работает через час после регистрации.
Ещё один случай — когда своей службы эксплуатации нет. Модель на сервере требует дежурства, обновлений и разбора сбоев. Без этих людей вариант с открытыми весами превращается в проект, который однажды встанет и некому будет поднять.
Что важно проверить
Первое: слово «открытая» продают шире, чем следует. Иногда выложены только веса, иногда добавлен код запуска, редко — сведения о данных обучения. Определение Open Source AI 1.0 от Open Source Initiative требует всех трёх составляющих: параметров, полного кода обучения и запуска, а также описания данных — достаточно подробного, чтобы специалист собрал эквивалентную систему. Сами обучающие данные раскрывать не нужно. Доступность весов означает возможность развернуть модель, но не понимание того, на чём она училась.
Второе: качество проверяется на своих задачах, а не по таблицам сравнений. Разрыв между открытыми и закрытыми моделями на общих тестах сокращается, но на конкретном потоке документов он может выглядеть иначе. Замер делают на выборке в несколько сотен реальных случаев до закупки оборудования.
Третье: у подрядчика спрашивают полную смету владения на год. Сервер, лицензии, обновления, дежурство, замена модели через год — всё это считается вместе. Сравнение «тариф за миллион токенов против цены видеокарты» ничего не показывает: сопоставимы только годовые суммы на одном объёме операций.
Частые вопросы
Открытые веса простыми словами — это что?
Это выложенные в открытый доступ обученные параметры модели — те самые числа, которые получились после обучения. Файл с ними скачивают, запускают на своём сервере и дорабатывают под свои задачи. Оплата за обращения к чужому API при этом исчезает, вместо неё появляются расходы на оборудование и людей.
Открытые веса и открытый исходный код — одно и то же
Нет. Веса — это результат обучения, а не рецепт. Open Source Initiative в определении Open Source AI 1.0 требует большего: самих параметров, полного исходного кода обучения и запуска, а также сведений о данных — настолько подробных, чтобы специалист мог собрать эквивалентную систему. Сами обучающие данные раскрывать не требуется. Модель с опубликованными весами разворачивается локально, но по ней часто нельзя понять, на чём её учили и какие сценарии применения разработчик считает допустимыми.
Открытая модель безопаснее с точки зрения данных
Она снимает ровно один риск — отправку документов на чужой сервер. Данные остаются в контуре компании, и это главный аргумент для банков, медицины и всех, кто работает с персональными данными. Остальные риски никуда не уходят: модель по-прежнему ошибается, а безопасность контура теперь целиком забота компании, а не поставщика.
Что проверить у модели с открытыми весами перед внедрением
Четыре вещи: текст лицензии и разрешено ли коммерческое применение, наличие кода запуска и документации, требования к видеопамяти, качество на своих задачах. Лицензии различаются сильно — Apache 2.0 разрешает использовать, изменять и продавать результат, другие лицензии вводят ограничения по отраслям и размеру бизнеса. Проверка делается до закупки оборудования.
Сколько стоит запустить такую модель у себя
Цена определяется размером модели: она задаёт нужный объём видеопамяти, а видеопамять — стоимость сервера. Прикидка делается так: берут размер файла весов, добавляют запас на контекст и одновременные запросы, получают конфигурацию. Дальше эта сумма делится на месячное число операций и сравнивается с тем же числом операций через API.
Обсудим задачу?
Расскажите о процессе — предложим, где ИИ окупится быстрее всего.
Ещё по теме
Что такое фундаментальная модель и почему на ней экономят
Фундаментальная модель — это большая универсальная модель, обученная на огромных данных: под свою задачу её настраивают, а не обучают с нуля.
ИИ в своём контуре: когда данные нельзя отдавать наружу
Развёртывание в своём контуре — это запуск языковой модели на оборудовании компании, когда данные не должны покидать её периметр по закону или по внутреннему регламенту.