Большая языковая модель

Зачем это знать

• Понимать, за что вы платите и где проходит граница возможностей — до подписания договора
• Отличать задачи, где модель даёт результат, от задач, где она будет уверенно ошибаться
• Задавать подрядчику вопросы, на которые нельзя ответить общими словами

Что такое большая языковая модель простыми словами

Телефон подсказывает следующее слово, когда вы набираете сообщение. Напечатали «Добрый день, высылаю» — он предлагает «документы». Подсказка берётся из статистики: после таких слов чаще всего идёт такое.

Большая языковая модель устроена так же, с двумя отличиями. Училась она на массиве текстов размером с крупную библиотеку: книги, статьи, переписка, инструкции, код. И удерживает в поле зрения сотни страниц разом. Поэтому продолжение получается связным на длинной дистанции — выходит целое письмо, разбор договора, ответ клиенту.

Внутри при этом ничего сложнее подсказки не происходит. На каждом шаге выбирается самое вероятное следующее слово. Модель никуда не заглядывает и ничего не сверяет. То, что выглядит как знание, — статистика прочитанных текстов, застывшая на день окончания обучения.

Как это работает

1. Обучение. Модели показывают текст за текстом, каждый раз закрывают очередное слово и требуют его угадать. Миллиарды таких попыток настраивают её внутренние коэффициенты — параметры. Занимает недели и стоит миллионы долларов; делает это разработчик модели, компания-заказчик в обучении не участвует.
2. Разбор запроса. Ваш текст режут на токены — кусочки слов; в русском одно слово обычно занимает два-три таких кусочка, по ним же считают стоимость. Инструкция, вопрос, приложенные документы, история переписки идут в один вход.
3. Расчёт вероятностей. Модель прикидывает, чем продолжить, и раскладывает варианты по вероятности: у одного 60 %, у другого 12 %, остальные тысячи — почти нули.
4. Выбор и повтор. Один вариант выбирается, дописывается к тексту, и всё считается заново — уже с учётом дописанного. Так, по кусочку, набирается весь ответ.
5. Остановка. Модель заканчивает, когда сама ставит служебную метку конца или упирается в заданный лимит длины.

Отсюда два свойства, которые обычно удивляют руководителей. Ответ на один и тот же вопрос каждый раз выходит немного другим: выбор из списка вариантов делается с долей случайности, и её уровень настраивается. И модель одинаково устроена в обоих случаях — когда воспроизводит твёрдый факт и когда достраивает правдоподобную догадку. Сама она эти случаи не различает.

Пример из практики

Юридический отдел производственной компании готовил ответы на типовые претензии контрагентов: около 60 писем в месяц, по 40–50 минут на письмо.

Модели давали шаблон ответа, выдержки из договора и текст претензии. Черновик стал готовиться за 4 минуты, юрист тратил ещё 10–12 минут на проверку и правку — порядка 15 минут вместо 45. За месяц это освободило около 30 часов работы юриста.

Обязательным условием оказалась проверка ссылок. В первой партии из 30 черновиков модель трижды сослалась на пункт договора, которого в нём не было: формулировка выглядела уместной, номер пункта был выдуман. После того как в шаблон добавили требование цитировать пункт дословно, такие случаи стало видно с одного взгляда.

Что это даёт бизнесу

• Время на однотипных текстах. Черновики писем, ответов, описаний, протоколов готовятся за минуты. Выгода считается просто: сколько таких документов в месяц и сколько минут уходит на каждый сейчас.
• Затраты считаются от объёма. Платят за токены: короткий запрос стоит доли рубля, разбор многостраничного договора — рубли. Среднюю цену одной операции показывает пилот на 50–100 запусках, дальше она умножается на месячный объём.
• Риск переезжает на проверку. Модель ускоряет черновик, ответственность за итог остаётся на сотруднике. Расчёт выгоды честен только с учётом времени на вычитку: именно оно решает, останется ли экономия.

Когда без этого можно обойтись

Там, где ответ вычисляется по правилам, языковая модель лишняя. Расчёт скидки, проверка ИНН, маршрутизация заявки по коду категории — работа для обычного кода: дешевле, быстрее, с одинаковым результатом при каждом запуске.

Не нужна она и там, где требуется точность до знака: суммы, реквизиты, остатки на складе. Числа берут из учётной системы, а модель в лучшем случае пересказывает их человеческим языком.

Отдельный случай — задачи с одним правильным ответом и высокой ценой ошибки, где проверять результат некому. Выгода от скорости съедается первой же пропущенной ошибкой.

Что важно проверить

Проверять модель нужно на своих задачах и своих текстах. Публичные рейтинги меряют средние способности на общих заданиях; ваша специфика — договоры конкретной отрасли, внутренние сокращения, профессиональный жаргон — в них не попадает.

Рабочая проверка выглядит так: 50–100 реальных примеров с заранее известным правильным ответом, один и тот же набор для всех кандидатов, доля ошибок считается вручную. Порог приёмки заказчик называет до старта: в черновике письма 10 % правок терпимы, в ответе клиенту, который уходит без вычитки, — нет.

Отдельно проговаривают, куда уходят тексты. Публичная модель работает на стороне поставщика, и запрос вместе с приложенными документами покидает контур компании; условия хранения запросов смотрят в договоре поставщика. Если такой обмен недопустим, модель разворачивают на своих серверах: качество обычно ниже, зато данные остаются внутри.

Заодно уточняют дату окончания обучения: событий после неё для модели не существует, и на вопрос о свежей редакции закона она ответит по старой — тем же ровным тоном.