Что такое большая фундаментальная модель
Зачем это знать
- Понять, за что платят при внедрении: за обучение модели или за её применение
- Отличать задачи, где хватит готовой модели с инструкцией, от тех, где нужно дообучение
- Задавать подрядчику вопрос «какая модель под капотом и сколько стоит одна операция»
Что такое большая фундаментальная модель простыми словами
Раньше программу под каждую задачу писали отдельно. Распознавание паспортов — один проект, сортировка писем — другой, поиск по договорам — третий. Каждый со своим сбором данных, своей разметкой и своим сроком в полгода.
Фундаментальная модель устроена как фундамент здания. Её обучают один раз на огромном массиве текстов, кода и изображений, а дальше на этом основании ставят разные этажи: разбор входящих, черновики документов, ответы клиентам. Основание не переделывают под каждый этаж.
Слово «большая» означает объём: сотни миллиардов настраиваемых значений внутри и годы человеческого текста на входе. Отсюда и главное свойство — модель применима там, где её специально не учили.
Как это работает
- Модель обучают на общих данных. Тексты, код, изображения из открытых источников. Этот этап делает поставщик, он же несёт его стоимость.
- Модель раздают через интерфейс или веса. Первый путь — обращение к облаку поставщика по тарифу за объём. Второй — открытые веса и установка на своё оборудование.
- Задачу задают текстом. Вместо программирования пишется инструкция: что читать, что достать, в каком формате вернуть. Одна и та же модель так закрывает разные процессы.
- Знания компании подкладывают отдельно. Модель не знает внутренних регламентов и прайсов. Нужные фрагменты находят поиском и подают вместе с вопросом.
- Дообучение включают последним. Оно оправдано там, где инструкцией и поиском формат ответа не удержать.
Порядок шагов важнее любого из них по отдельности. Шаг 5 без шагов 3 и 4 — самый частый способ потратить бюджет на то, что решалось текстом инструкции.
Пример из практики
Цифры ниже — расчётные ориентиры для компании такого профиля, а не отчёт по конкретному внедрению. У каждой указана методика замера, чтобы её можно было повторить на своих данных.
Оптовая компания разбирает входящие заявки от розничных точек: почта, мессенджеры, вложенные файлы. Задача одна — вытащить артикулы, количество и адрес, завести заказ. Порядка 3 000 заявок в месяц, на разбор одной у менеджера уходит 6–8 минут.
Отдельную программу под такой разбор писали бы месяцами: форматы у каждой точки свои. Фундаментальная модель закрывает задачу инструкцией на полторы страницы плюс справочник артикулов, который подкладывается поиском.
Замер строят так. Берут 200 заявок за прошлый месяц, прогоняют через модель, сверяют с тем, что менеджеры завели руками. Считают долю заявок, где все поля совпали, и себестоимость одного разбора по счёту за инференс. Тот же замер повторяют через месяц работы — цифра до и после показывает, что дал процесс, а не демонстрация.
Что это даёт бизнесу
- Срок первой версии считается неделями. Обучать нечего: модель уже обучена, настраивается текстовая инструкция и подача документов. Проверить готовность своего процесса можно чек-листом.
- Одна модель закрывает несколько процессов. Разбор заявок, черновики писем, поиск по базе знаний работают на одном основании. Второй процесс обходится дешевле первого — интеграции и правила уже стоят.
- Расходы становятся расчётной величиной. Себестоимость операции умножается на объём, и годовой бюджет считается до старта.
- Поставщика можно менять. Инструкции и документы остаются, меняется модель под ними. Это ограничивает зависимость от одного вендора.
При каких условиях это окупается
Окупается там, где объём операций постоянный, а результат проверяем. Три условия задают порог.
Первое — поток. От нескольких сотен однотипных операций в месяц. Ниже этого экономия часов не превращается в деньги: людей меньше не становится, а работы по настройке столько же.
Второе — измеримость. У процесса есть цифра до старта: минуты на операцию, доля ошибок, стоимость часа. Без неё эффект после запуска не с чем сравнить.
Третье — решённый вопрос, куда уйдут высвобожденные часы. Новые заявки, другой участок, отказ от подрядчика на пиках. Часы, которые никуда не назначены, в отчёт о деньгах не попадают.
Когда хватает более простого решения
Часть задач дешевле закрыть без модели. Строго формализованный процесс с фиксированным форматом документа — работа для обычной интеграции: правила прописываются один раз и стоят дешевле в эксплуатации.
Единичные операции тоже не требуют внедрения. Десять договоров в месяц человек прочитает быстрее, чем настроят проверку качества ответов.
Модели остаётся то, в чём она сильнее: разнобой форматов, свободный текст, задачи без жёстких правил. Там правила из голов достают и записывают месяцами, а инструкцию пишут за день.
Что важно проверить
Первое: спросить у подрядчика конкретную модель и её размещение — облако поставщика или свой контур. От этого зависит и цена, и то, куда уходят данные компании. Класс «фундаментальная модель» в коммерческом предложении цену не определяет.
Второе: попросить показать замер на своих документах, а не на демонстрационных. Доля верных ответов на чужой выборке к своему процессу отношения не имеет, разброс между выборками доходит до десятков процентов.
Третье: зафиксировать порог качества до старта. Какая доля неверных разборов допустима, кто вычитывает остальное, что происходит при отказе модели. Порог задаёт бизнес, и от него считается вся остальная конструкция.
Частые вопросы
Большая фундаментальная модель простыми словами — это что?
Это ИИ-модель, обученную один раз на огромном массиве текстов, кода и изображений, а потом применяемую к разным задачам. Одна и та же модель разбирает письма, пишет черновики договоров и отвечает клиентам. Отдельная модель под каждую задачу не нужна — задача задаётся текстовой инструкцией. Слово «большая» тут про объём обучения и число параметров, а не про размер компании.
Чем фундаментальная модель отличается от языковой
Языковая модель работает с текстом. Фундаментальная — более широкое понятие: под него попадают и модели, читающие картинки, звук, таблицы. Большинство знакомых бизнесу моделей одновременно и языковые, и фундаментальные. Для выбора поставщика важнее не название класса, а список поддерживаемых типов данных и цена за операцию.
Нужно ли обучать её под свою компанию
В большинстве задач — нет. Сначала пробуют подсказать модели инструкцией и подложить нужные документы поиском. Дообучение стоит дороже и оправдано там, где требуется устойчивый формат ответа или узкая терминология, которую инструкцией не задать. Порядок проверки: инструкция, потом поиск по документам, потом дообучение.
Сколько стоит использование
Платят либо за объём обработанного текста по тарифу поставщика, либо за оборудование при своём контуре. Себестоимость одной операции считается до старта: объём запроса и ответа умножается на тариф. Месячный счёт получается умножением на число операций. Разброс между поставщиками на одной и той же задаче доходит до нескольких раз, поэтому сравнивают на своих текстах.
Можно ли развернуть такую модель внутри компании
Можно, если у модели открытые веса. Тогда она ставится на своё оборудование, и данные не покидают контур. Плата меняет природу: вместо счёта за объём — стоимость видеокарт и их обслуживания. Такой вариант выбирают там, где регламент запрещает передавать данные наружу, а объём операций достаточен, чтобы оборудование не простаивало.
Обсудим задачу?
Расскажите о процессе — предложим, где ИИ окупится быстрее всего.
Ещё по теме
Что такое фундаментальная модель и почему на ней экономят
Фундаментальная модель — это большая универсальная модель, обученная на огромных данных: под свою задачу её настраивают, а не обучают с нуля.
Открытые веса — что это и когда они выгоднее закрытой модели
Открытые веса — это опубликованные параметры обученной модели: её можно скачать, запустить на своём оборудовании и настроить под свои документы.