[UTC+3]

API модели — что это простыми словами

Зачем это знать

  • Понимать, за что платит компания, когда подрядчик говорит «работаем через API»
  • Отличать подключение модели от полноценной автоматизации процесса
  • Спрашивать смету по частям: доступ к модели, обвязка вокруг него, поддержка

Что такое API модели простыми словами

Розетка выглядит одинаково в любой квартире. Электростанция стоит далеко, турбины никто дома не держит, а чайник включают в стандартный разъём и платят по счётчику за киловатты.

API модели устроено так же. Модель работает на стороне поставщика, компания к ней подключается по сети и получает ответы через стандартный разъём. Внутрь никто не заглядывает: важно, что подаётся на вход и что приходит на выход.

Разница с привычным чатом одна: в чат заходит человек, к API обращается программа. Учётная система отправляет текст накладной и получает разобранные поля. Почтовый робот отдаёт письмо и получает готовый черновик ответа. Оператор при этом ничего не копирует руками.

Чат в браузере
API модели
Кто обращается
человек руками
программа компании
Куда попадает ответ
на экран, дальше копируют
сразу в поле учётной системы
За что платят
рабочее место в месяц
объём обработанного текста
Объём в час
сколько успевает сотрудник
сколько выдержат лимиты поставщика
Два входа к одной и той же модели

Как это работает

  1. Получают ключ доступа. Поставщик выдаёт строку-пароль, по которой узнаёт отправителя и ведёт учёт расходов. Ключ хранят на сервере, а не в браузере сотрудника.
  2. Собирают запрос. В него кладут промпт с описанием задачи, сам текст на обработку и требования к формату ответа.
  3. Отправляют по сети. Запрос уходит на адрес поставщика, там модель его обрабатывает. Этот шаг называется инференс.
  4. Получают ответ. Приходит текст или заполненная структура — набор полей, который система разбирает без человека.
  5. Считают объём. Поставщик складывает входные и выходные токены и добавляет их к счёту. Оплата привязана к объёму, не к числу пользователей.

Обращение к API занимает секунды. Остальное время уходит на обвязку: проверить ответ, обработать отказ сервиса, положить результат в нужное поле, показать оператору сложный случай.

Step 1
Событие в системе
Пришло письмо, загрузился документ, оператор нажал кнопку
Step 2
Сборка запроса
Инструкция для модели, сам текст, требуемый формат ответа
Step 3
Обращение к API
Запрос уходит поставщику, модель считает ответ
Step 4
Проверка ответа
Формат сверяется с ожидаемым, спорные случаи уходят человеку
Step 5
Запись результата
Поля ложатся в CRM или учётную систему
Путь одного обращения

Пример из практики

Компания разбирает входящие заявки с почты. Менеджер открывает письмо, вытаскивает артикулы, определяет, новая это заявка или дополнение к старой, заводит сделку. Четыре минуты на письмо при спокойном потоке, дольше при пиках.

Подключение к API меняет цепочку. Письмо попадает в обработку автоматически, модель возвращает набор полей, система создаёт черновик сделки. Менеджер проверяет и подтверждает.

Экономия здесь не в самом подключении. Первое обращение к API разработчик делает за один день, а срок проекта задают другие шаги: описать правила разбора, договориться о формате полей, собрать выборку писем для проверки, решить, что делать со спорными случаями. Порядок бюджета для своего процесса прикидывают калькулятором стоимости внедрения.

Замер строят так: берут 200 писем за прошлый месяц, прогоняют через модель, сверяют поля с тем, что менеджер завёл руками. Отсюда получают долю точных разборов и долю случаев, где нужен человек. Эти две цифры и решают, окупается ли автоматизация.

Что это даёт бизнесу

  • Старт без закупки железа. Модель работает на стороне поставщика, видеокарты покупать не нужно. Первый рабочий прототип собирают за недели, а не за квартал.
  • Расход растёт вместе с задачей. Тихий месяц — маленький счёт. Пик продаж — счёт вырастает пропорционально объёму, а не скачком на стоимость нового сервера.
  • Модель меняется без переделки системы. Вышла версия дешевле или точнее — переключают адрес и сверяют качество на своей выборке. Сравнить варианты помогает калькулятор смены модели.
  • Смета становится проверяемой. Расходы делятся на две части: плата поставщику за объём и работа подрядчика над обвязкой. Первая считается заранее по формуле, вторая обсуждается по шагам.

Когда без этого можно обойтись

Часть задач закрывается дешевле обычной интеграцией. Перенести данные из формы в CRM, сверить два справочника, отправить уведомление по расписанию — здесь модель не нужна, правило работает точнее и стоит дешевле. API модели берут там, где текст приходит в свободной форме и правило заранее не напишешь.

Отдельный случай — данные, которым запрещено покидать периметр компании. Тогда смотрят в сторону своего контура, а выбор между двумя вариантами прикидывают калькулятором.

Что важно проверить

Первое: у поставщика есть лимиты на число запросов в минуту. Пилот на десяти документах их не замечает, боевой поток упирается сразу. Предельную нагрузку узнают до запуска и закладывают очередь.

Второе: сервис поставщика бывает недоступен. Заранее решают, что делает система в эти минуты — ставит задачу в очередь, отдаёт человеку или показывает сообщение. Без такого решения простой поставщика становится простоем процесса.

Третье: ответ модели не всегда приходит в ожидаемом формате. Проверка формата на своей стороне стоит недорого и снимает большую часть сбоев. Без неё чужая ошибка попадает прямо в учётную систему.

Frequently asked questions

API модели простыми словами — это что?

Это адрес в сети, куда программа отправляет текст и откуда получает ответ модели. Человек в этой цепочке не участвует: обращается одна программа к другой. Модель остаётся на стороне поставщика, к себе её не устанавливают. Оплата идёт за объём обработанного текста, а не за число сотрудников.

Чем API отличается от чата с моделью

Чат — окно для человека: туда заходят руками, копируют текст, читают ответ. API — вход для другой программы: запрос отправляет CRM, почтовый робот или учётная система, и ответ попадает сразу в нужное поле. Модель за обоими входами обычно одна и та же. Разница в том, кто нажимает кнопку и куда ложится результат.

Что нужно, чтобы подключиться к API модели

Три вещи: доступ у поставщика, ключ доступа и место в своей системе, куда ляжет ответ. Первое обращение разработчик делает за несколько минут, дальше время уходит на другое — описать задачу для модели, договориться о формате ответа, решить, что делать при отказе сервиса. Основная работа лежит вокруг API, а не в самом подключении.

Сколько стоит работа через API

Тариф назначается за миллион [токенов](/ru/blog/token), отдельно за входные и отдельно за выходные. Счёт зависит от объёма текста, а не от числа рабочих мест. Считают так: берут одну типичную операцию, замеряют её объём счётчиком поставщика, умножают на тариф и на месячное количество операций. Получается себестоимость операции и месячный счёт.

Когда вместо API берут модель на своё оборудование

Когда данные по требованиям регулятора или внутреннего режима не должны покидать периметр компании. Тогда модель ставят на свои серверы — это [on-premise](/ru/blog/on-premise). Платят при этом не за объём текста, а за видеокарты, их обслуживание и людей. Порог окупаемости наступает при постоянной высокой нагрузке; при редких обращениях API дешевле.