Калькулятор смены модели

Как устроен расчёт

Переезд складывается из двух величин. Разовой — перетестирование промптов на новой модели. И постоянной — разницы в цене токенов, которая возвращается каждый месяц.

Разовая часть начинается с часов. База — четыре часа на промпт: перечитать инструкцию, прогнать примеры, поправить формулировки, проверить крайние случаи. Замер несложный. Секундомер включают на трёх-четырёх сценариях, среднее умножают на число промптов в проде.

Глубина приёмки умножает базу. Сверка на десятке примеров идёт с коэффициентом 1, свой набор проверок с ожидаемыми ответами — 1,8, ручная разметка выдачи — 3. Разброс взят по трудоёмкости самой процедуры: разметка требует эксперта и нескольких итераций правок между прогонами.

К часам добавляются токены. Тестовую выборку прогоняют целиком, и это отдельные деньги — в расчёте 6% месячного счёта, помноженные на глубину приёмки. Третья статья появляется, когда включён параллельный прогон: пока обе модели отвечают на один поток, счёт идёт по обеим.

Постоянная часть считается прямее. Месячный счёт умножается на долю, которую снимает новый прайс, недельная экономия получается делением на 4,33. Разовые вложения делятся на неё — выходит срок в неделях.

Что двигает результат сильнее всего

Размер счёта. Он стоит в обеих частях формулы, но экономия растёт с ним линейно, а часы инженера не дешевеют. Поэтому при счёте в 40 000 ₽ окупаемость растягивается на год, а при счёте в 600 000 ₽ тот же объём работ отбивается за месяц.

Число промптов в проде — вторая по силе величина. Каждый добавленный сценарий стоит фиксированных часов и ничего не добавляет к экономии. Контур из сорока промптов переезжает втрое дольше контура из двенадцати при одинаковом счёте.

Глубина приёмки меняет итог втрое между крайними вариантами. Выбор здесь диктуется ценой ошибки: там, где ответ модели уходит клиенту без проверки человеком, ручная разметка окупается сама по себе.

Параллельный прогон обычно оказывается самой заметной строкой у крупных счетов. Месяц двойной оплаты при счёте в 400 000 ₽ добавляет к переезду сумму, сопоставимую со всеми часами инженера.

При каких условиях переезд окупается быстро

Есть тестовая выборка. Полсотни реальных запросов с ожидаемыми ответами превращают перетестирование из спора о вкусах в измеримую процедуру. Собранная один раз, выборка работает на все следующие смены моделей — а они происходят регулярно.

Промптовая база собрана в одном месте. Когда инструкции лежат в конфигурации и версионируются, замена модели — это правка параметра и прогон проверок. Когда промпты вшиты в код в десятке мест, к часам приёмки добавляются часы поиска.

Разница в цене от половины. Экономия в треть тоже работает, но при ней срок окупаемости заметно чувствителен к точности оценки часов — и переезд разумно совмещать с другими работами по тем же промптам.

Счёт растёт. Если трафик увеличивается месяц к месяцу, недельная экономия на дистанции окажется больше расчётной, и реальный срок выйдет короче того, что показывает калькулятор.

Как уточнить цифры под себя

Коэффициенты в расчёте — средние ориентиры, и два из них проверяются за один вечер. Часы на промпт замеряют на паре сценариев из середины сложности. Долю счёта на тестовый прогон получают прямо: выборку гоняют один раз и смотрят на строку в биллинге провайдера.

Стоимость часа берётся полной. Для штатного сотрудника это оклад с налогами и взносами, делённый на 164 рабочих часа, для подрядчика — ставка из договора.

Дальше цифры подставляют в поля выше. Результат читается как порядок величины: «около трёх недель» или «около квартала». Точность до дня здесь не нужна — решение принимается по масштабу, а не по десятым долям.

Что остаётся за скобками

Отличия в формате выдачи. Новая модель может иначе оформлять структурированный ответ, иначе вызывать инструменты, иначе удерживать длинный контекст. Такие расхождения видны после первого прогона выборки, и правки уходят уже в код обвязки.

Лимиты и доступность провайдера. Квоты на запросы в минуту, регионы обработки данных и условия хранения запросов проверяются до переезда — они способны отменить экономию целиком.

Обучение команды. Там, где промпты правят несколько человек, к переезду добавляется короткий разбор: что изменилось в поведении модели и какие приёмы перестали работать. День на команду обычно достаточен, и в расчёт эта строка не входит.