Цитирование источников: как проверить ответ модели за минуту
Зачем это знать
- Понять, почему один и тот же ответ модели годится для решения или не годится вовсе
- Знать, что спрашивать у подрядчика про проверяемость ответов до подписания
- Получить измеримый порог качества вместо обещания «модель почти не ошибается»
Цитирование источников простыми словами
В магазине спорят о цене. Продавец подходит к полке и показывает ценник. Разговор заканчивается за десять секунд.
Модель без ссылок ведёт себя как продавец, отвечающий по памяти. Ответ звучит уверенно и часто оказывается верным. Проверить его нечем.
Цитирование источников возвращает ценник. Рядом с каждым утверждением стоит адрес: документ, раздел, абзац. Сотрудник открывает и видит, откуда взялась фраза про срок гарантии.
Цифры ниже — расчётные ориентиры для компании такого профиля, а не отчёт по внедрению. У каждой указана методика замера, чтобы её повторили на своих данных.
Как это работает
Пятый шаг решает больше остальных. Молчание проверяется быстро. Уверенный ответ без опоры проверяется долго и дорого.
Отдельно стоит уровень подробности ссылки. Ссылка на 60-страничный регламент экономит модели работу и перекладывает её на сотрудника. Ссылка на пункт 4.2 с подсветкой закрывает вопрос за секунды.
Пример из практики
Ориентир для сервисной компании: юридическая служба на 4 человека, около 600 вопросов в месяц по договорам и регламентам. Первая версия помощника отвечала связным текстом без ссылок.
Замер сделали секундомером на выборке из 30 ответов. Юрист читал ответ, шёл в базу и подтверждал каждое утверждение: 4–8 минут на вопрос. Помощник экономил чтение и не экономил проверку.
Во второй версии адреса фрагментов сохранили до интерфейса, а документы заранее разбили на пункты. Проверка того же типа вопроса заняла 40–90 секунд на той же выборке. Часть ответов вернулась с пометкой «в базе не нашлось» — эти вопросы ушли к человеку сразу, без чтения выдуманных формулировок.
Что это даёт бизнесу
- Ответ становится документом, а не мнением. На него ссылаются в переписке с клиентом и в решении по спорной ситуации. Без ссылки тот же текст остаётся подсказкой, которую всё равно перепроверяют.
- Появляется порог, который можно записать в договор. Доля ответов с рабочей ссылкой и доля ответов, совпавших с процитированным фрагментом, замеряются на выборке в 100 вопросов раз в месяц. Оба числа проверяет человек.
- Цена ошибки падает вместе с временем проверки. Порядок суммы для своего процесса даёт калькулятор цены галлюцинаций, а сам механизм разбирается в статье про галлюцинации.
- Видно, где база дырявая. Вопросы, на которые нечем сослаться, копятся в отдельный список. Это готовое задание на пополнение базы знаний, собранное реальными запросами сотрудников.
Когда без этого можно обойтись
Ссылки не нужны там, где источник и так перед глазами. Присланное письмо просят пересказать, договор на 3 страницы — сократить, текст — перевести. Исходник открыт в соседнем окне, проверка занимает столько же времени, сколько чтение ссылки.
Черновая работа тоже обходится без цитат: наброски формулировок, варианты заголовков, план встречи. Там от модели ждут не фактов, а материала для правки.
Порог простой: цитирование окупается там, где на ответе принимают решение с деньгами или обязательствами. Сумма, срок, условие расторжения, допуск по регламенту — здесь ссылка обязательна.
Что важно проверить
Первое: попросите показать ответ с открытой ссылкой на живых документах компании, а не на демо-базе. Смотрите уровень подробности. Если ссылка открывает файл целиком, проверка вернётся к сотруднику и экономия исчезнет.
Второе: проверьте поведение системы на вопросе, ответа на который в базе нет. Правильная реакция — отказ с объяснением. Уверенный ответ на пустом месте означает, что порог отсечки не настроен, и подходы к нему описаны в разборе RAG.
Третье: закладывайте разметку документов на абзацы в начале проекта. Адрес фрагмента теряется на первом шаге сборки, и достроить цитирование потом выходит дороже, чем сделать сразу.
Частые вопросы
Цитирование источников простыми словами — это что?
Это когда рядом с каждым утверждением в ответе стоит ссылка на кусок документа, откуда утверждение взято: файл, раздел, абзац. Сотрудник открывает ссылку и за несколько секунд видит первоисточник. Без ссылки ответ приходится проверять заново поиском по базе, и время проверки съедает выигрыш от автоматизации.
Ссылка на документ убирает выдумки модели
Полностью — нет, а вот цену выдумки сбивает сильно. Модель способна сослаться на реальный абзац и при этом пересказать его неточно. Зато неточность видна сразу: проверяющий сравнивает предложение с подсвеченным фрагментом. Ошибка ловится на месте, а не всплывает у клиента через неделю.
На каком уровне давать ссылку — файл, страница, абзац
Ссылка на файл почти бесполезна: сотрудник открывает 60 страниц и ищет руками. Рабочий уровень — абзац или пункт регламента с подсветкой. Разница измеряется секундомером: открыть подсвеченный абзац занимает секунды, найти нужное место в целом файле — минуты. Разметку на абзацы закладывают при сборке базы знаний.
Как измерить качество цитирования
Берут выборку в 100 типовых вопросов и считают две доли. Первая — доля ответов, где ссылка открывается и ведёт в нужный фрагмент. Вторая — доля ответов, где текст соответствует процитированному фрагменту. Обе проверяет человек, замер повторяют раз в месяц и после каждого обновления базы. Пороги задаёт бизнес.
Сколько стоит добавить ссылки к готовому ответу
Отдельной цены у ссылок нет: они появляются, когда ответ строится по найденным фрагментам, а адреса этих фрагментов сохраняются до самого конца. Основные работы — разметка документов на абзацы и хранение адреса вместе с текстом. Дороже всего обходится обратный путь: пришивать цитирование к системе, где адреса потеряны на первом шаге.
Обсудим задачу?
Расскажите о процессе — предложим, где ИИ окупится быстрее всего.
Ещё по теме
Что такое RAG: как заставить модель отвечать по вашим документам
RAG — это схема работы с ИИ, при которой система сначала находит нужный фрагмент в ваших документах, а потом составляет ответ по нему.
Галлюцинации ИИ: почему модель выдумывает и как это ловить
Галлюцинация — это уверенный ответ модели, который выглядит правдоподобно, но не соответствует действительности: выдуманная ссылка, цифра или пункт регламента.