Языковые модели для аналитика: минимум понятий

Аналитику не нужно уметь обучать модель. Нужно понимать её свойства настолько, чтобы писать проверяемые требования: почему ответы не повторяются, откуда берутся выдумки, чем помогает RAG и зачем нужен MCP. Ниже — понятия и практические следствия из каждого.

Токены и контекстное окно

Модель работает не со словами, а с токенами: частями слов, знаками, короткими последовательностями. В токенах считают длину запроса, лимиты и стоимость, поэтому «документ на 80 страниц» — это конкретное число токенов, а не абстракция.

Контекстное окно — объём, который модель видит в одном запросе: инструкции, ваши данные и история диалога вместе. Когда места не хватает, ранние сообщения вытесняются, и модель теряет часть условий.

Практическое следствие для требований: если система должна учитывать документ целиком, нужно описать, что происходит при превышении окна — суммирование, поиск по фрагментам или отказ.

• Токены — единица измерения контекста и стоимости.
• В окно попадают инструкции, данные и история одновременно.
• В требовании описать поведение при переполнении контекста.

Почему ответы не повторяются

Модель не хранит готовый ответ: она порождает его токен за токеном по распределению вероятностей. Отсюда два следствия: одинаковый запрос может дать разные формулировки, а «правильный» ответ не гарантирован.

Настройка случайности (температура) влияет на разброс: при низком значении ответы стабильнее, но не становятся детерминированными. Проверять качество одним удачным примером бессмысленно.

Для приёмки это означает набор сценариев и метрики: доля верных результатов, доля обоснованных отказов, число правок человеком.

• Ответ порождается, а не берётся из памяти.
• Низкая температура сужает разброс, но не убирает его.
• Качество проверяют набором кейсов.

Галлюцинации и почему они системны

Модель стремится выдать правдоподобный текст, а не проверенный факт. Поэтому выдуманная метрика, несуществующий раздел документа или перепутанное направление потока данных — не сбой, а следствие устройства.

Хуже всего то, что ошибка подаётся уверенным тоном. Ориентироваться на формулировку нельзя: нужна внешняя проверка — источник, данные, тест.

Работающий приём: ограничить модель своими материалами и требовать ссылку на фрагмент. Если ссылки нет, утверждение считается предположением, а не фактом.

• Правдоподобность не равна достоверности.
• Проверка опирается на внешний источник, а не на тон ответа.
• Требование «ссылайся на фрагмент» снижает число выдумок.

Эмбеддинги и поиск по смыслу

Эмбеддинг — числовое представление текста, в котором близкие по смыслу фрагменты оказываются рядом. На этом строится поиск по базе знаний: вопрос превращается в вектор, и находятся похожие куски документов.

Для аналитика это важно при описании требований к поиску: что считается релевантным, сколько фрагментов подкладывается в контекст, что делать, если ничего похожего не нашлось.

Ошибка, которую стоит предусмотреть: поиск по смыслу может вернуть близкое по формулировке, но неверное по сути. Поэтому в требованиях полезно указывать обязательную проверку источника.

• Эмбеддинги дают поиск по смыслу, а не по словам.
• В требованиях: сколько фрагментов подкладываем и по какому порогу.
• Предусмотреть сценарий «ничего не нашлось».

RAG: свои данные в контексте

RAG — это поиск по своим данным и передача найденных фрагментов модели вместе с вопросом. Модель не переобучается, а опирается на материалы, которые вы ей дали.

Схема решает две задачи: снижает выдумки и позволяет обновлять знания без обучения — достаточно поправить документ. Но гарантии точности не даёт: если в базе противоречие, модель может выбрать неверный фрагмент.

В требованиях описывают источники, правила обновления, приоритет документов и поведение, когда данных нет.

• RAG = поиск плюс передача фрагментов в контекст.
• Знания обновляются правкой документов, без обучения модели.
• Указать приоритет источников и поведение при отсутствии данных.

MCP и агенты: от текста к действиям

Пока модель только отвечает, риски ограничены неверным текстом. Как только она вызывает инструменты, появляются действия: чтение данных, запись, отправка. Здесь и нужен MCP — единый способ подключать инструменты с описанными правами.

Агент отличается тем, что сам выбирает последовательность шагов. Для аналитика это означает новую часть требований: границы полномочий, поведение при отказе, точки подтверждения человеком.

Минимальная рамка: только чтение на старте, лимиты вызовов, журнал шагов, подтверждение перед необратимыми действиями.

• MCP даёт стандартное подключение инструментов с правами.
• Агент сам выбирает шаги — значит нужны границы и отказы.
• Старт с чтения, журнал и подтверждения для записи.

Что из этого попадёт в требования

Из устройства модели следуют конкретные пункты спецификации: как система ведёт себя при нехватке данных, что считается источником истины, какой набор кейсов и метрик используется для приёмки, какие действия запрещены и кто их подтверждает.

Такой перевод с технического языка на язык требований — редкий и ценный навык: разработчики говорят о токенах и температуре, заказчик — о качестве и сроках, а аналитик связывает одно с другим.

Если этот перевод получается, вы перестаёте быть переводчиком требований и становитесь проектировщиком решений — ровно та роль, которую ИИ не забирает.

• Из свойств модели выводим проверяемые требования.
• Связываем язык разработки и язык заказчика.
• Это и есть переход к роли проектировщика решений.

Что сделать: короткий чеклист

• Понимаю, что такое токены и почему контекст ограничен.
• Могу объяснить, почему ответы модели не повторяются.
• Знаю типовые галлюцинации и способы их поймать.
• Понимаю разницу между эмбеддингами, поиском и RAG.
• Могу описать требования к поиску по базе знаний.
• Понимаю, зачем нужен MCP и какие права выдаются серверам.
• Могу перевести свойства модели в проверяемые требования.
• Прошёл тесты курса и разобрал слабые темы.

Где тренировать

Темы из гайда разобраны в тестах портала — каждый вопрос с объяснением ответа:

• Курс «ИИ для аналитика»: 74 вопроса с разбором
• Тема «Как устроены языковые модели»
• MCP: что это и как настроить аналитику
• Как собрать своего агента аналитику: пошагово
• Подписка: доступ ко всем тестам и темам

Аналитику достаточно понимать свойства моделей, а не их внутреннее устройство. Контекст ограничен, ответы не повторяются, факты требуют внешней проверки, знания подкладываются поиском, действия подключаются через MCP. Из этих свойств напрямую выводятся требования: поведение при нехватке данных, источники истины, метрики и границы.

Частые вопросы