Словарь

Большая языковая модель — это программа, которая училась на текстах из книг, статей и интернета и продолжает любой текст самым вероятным словом, поэтому отвечает человеческим языком.

Инференс — это момент, когда обученная модель отвечает на запрос; именно за него выставляют счёт каждый месяц.

Контекстное окно — это максимальный объём текста, который модель учитывает за одно обращение: инструкция, документы, вопрос и вся переписка считаются вместе, лишнее отсекается без предупреждения.

Промпт — это текстовая инструкция для языковой модели: от её точности зависит, получится ли нужный результат с первого раза или придётся переделывать.

Векторная база — это хранилище, где текст и документы лежат в виде числовых координат, и поиск идёт по смыслу, а не по совпадению слов.

Эмбеддинг — это способ записать текст числами так, чтобы близкие по смыслу фразы получили близкие числа.

RAG — это схема работы с ИИ, при которой система сначала находит нужный фрагмент в ваших документах, а потом составляет ответ по нему.

Дообучение — это донастройка готовой модели на ваших примерах, чтобы она отвечала в нужном формате и тоне; знаний о ваших документах это не добавляет.

ИИ-агент — это программа на языковой модели, которая получает цель словами, сама выбирает шаги, вызывает нужные инструменты и доводит задачу до результата.

Токен — это кусочек текста примерно в три четверти слова: модель читает запрос токенами, и поставщик выставляет счёт за их количество.

Галлюцинация — это уверенный ответ модели, который выглядит правдоподобно, но не соответствует действительности: выдуманная ссылка, цифра или пункт регламента.

Развёртывание в своём контуре — это запуск языковой модели на оборудовании компании, когда данные не должны покидать её периметр по закону или по внутреннему регламенту.