Разберите путь от вопроса до ответа

RAG — подход, при котором приложение находит подходящие материалы и передаёт их модели вместе с вопросом. Подготовка документов, поиск и формирование ответа — отдельные этапы, на каждом из которых возможна ошибка. Поэтому полезно последовательно проверить исходный документ, найденные фрагменты и сформулированный ответ. Замена модели не исправит ситуацию, если в поиск попала отменённая инструкция.

Начните с вопроса с проверяемым ответом

Для диагностики выберите одну рабочую ситуацию. Запишите ожидаемый ответ и документ, который его подтверждает. Затем посмотрите, какие фрагменты приложение действительно передало модели. Если нужного условия нет среди найденного, сначала исправляйте загрузку, разбиение или поиск. Если условие передано, но ответ его игнорирует, проверяйте формирование контекста и инструкцию модели.

ДЕМОНСТРАЦИОННЫЙ ПРИМЕР

Учебная база содержит действующий регламент: для оборудования серии А гарантия действует 12 месяцев, а на расходные материалы не распространяется. В архиве лежит версия со сроком 24 месяца. Ассистенту задают вопрос о гарантии на расходник из комплекта. Проверка должна обнаружить исключение и использовать действующую версию, даже если архивный документ чаще повторяет слово «гарантия».

Соберите набор сложных вопросов

Наша рекомендация для первого разбора — собрать небольшой набор вопросов из реальной работы, обезличить его и согласовать ответы с владельцами документов. Например, начать с 30 вопросов: это удобный организационный объём, а не универсальный стандарт достаточного тестирования. Для каждой ошибки сохраняйте вопрос, роль пользователя, версию источника, найденные фрагменты и ответ. Отдельную часть примеров оставьте для проверки после настройки.

  • Прямой вопрос с ответом в одном действующем документе.
  • Вопрос с условием или исключением из другого раздела.
  • Разговорная формулировка, сокращение или артикул.
  • Противоречие между новой и архивной инструкцией.
  • Запрос, для которого в базе нет достаточных сведений.
  • Попытка получить документ, недоступный текущему пользователю.

Оценивайте поиск и ответ отдельно

Одна общая оценка «качество 90%» скрывает причины ошибок. Для приёмки мы предлагаем таблицу наблюдаемых проверок. Порог для каждой из них согласуйте с владельцем процесса: у справки о графике работы и ответа об условиях поставки разная цена ошибки. Не объединяйте нарушение доступа и неудачную формулировку в один средний балл.

Шаблон проверки корпоративного ассистента
Что проверяемКак проверитьПризнак проблемы
ПоискЕсть ли нужный фрагмент среди переданных моделиНайдена похожая тема без нужного условия
ДоказательностьПодтверждает ли источник каждое существенное утверждениеСсылка открывается, но не содержит обещанного факта
ПолнотуСохранены ли ограничения и исключенияНазван срок без условия его применения
Отсутствие ответаЧто происходит при нехватке данныхСистема придумывает правило
ДоступПовторить вопрос от имени разных ролейВ ответ попали сведения закрытого раздела

Проверяйте обновления как изменение продукта

Обновление регламента, поискового индекса или модели может изменить ответы. Сохраняйте версию базы и повторяйте согласованный набор вопросов после таких изменений. Начинайте разбор с конкретного неудачного примера: какой источник использован, какое условие потеряно, кто отвечает за исправление. Для рабочих условий и обещаний клиенту предусмотрите передачу специалисту, если подтверждения в доступных документах нет.

Примените к своей задаче

Выберите один раздел документов и частые вопросы команды. Обсудим источники, актуальность и права доступа для первого сценария.

Обсудить ассистента по знаниям →
← Вернуться к материалам