Разберите путь от вопроса до ответа
RAG — подход, при котором приложение находит подходящие материалы и передаёт их модели вместе с вопросом. Подготовка документов, поиск и формирование ответа — отдельные этапы, на каждом из которых возможна ошибка. Поэтому полезно последовательно проверить исходный документ, найденные фрагменты и сформулированный ответ. Замена модели не исправит ситуацию, если в поиск попала отменённая инструкция.
Начните с вопроса с проверяемым ответом
Для диагностики выберите одну рабочую ситуацию. Запишите ожидаемый ответ и документ, который его подтверждает. Затем посмотрите, какие фрагменты приложение действительно передало модели. Если нужного условия нет среди найденного, сначала исправляйте загрузку, разбиение или поиск. Если условие передано, но ответ его игнорирует, проверяйте формирование контекста и инструкцию модели.
Учебная база содержит действующий регламент: для оборудования серии А гарантия действует 12 месяцев, а на расходные материалы не распространяется. В архиве лежит версия со сроком 24 месяца. Ассистенту задают вопрос о гарантии на расходник из комплекта. Проверка должна обнаружить исключение и использовать действующую версию, даже если архивный документ чаще повторяет слово «гарантия».
Соберите набор сложных вопросов
Наша рекомендация для первого разбора — собрать небольшой набор вопросов из реальной работы, обезличить его и согласовать ответы с владельцами документов. Например, начать с 30 вопросов: это удобный организационный объём, а не универсальный стандарт достаточного тестирования. Для каждой ошибки сохраняйте вопрос, роль пользователя, версию источника, найденные фрагменты и ответ. Отдельную часть примеров оставьте для проверки после настройки.
- Прямой вопрос с ответом в одном действующем документе.
- Вопрос с условием или исключением из другого раздела.
- Разговорная формулировка, сокращение или артикул.
- Противоречие между новой и архивной инструкцией.
- Запрос, для которого в базе нет достаточных сведений.
- Попытка получить документ, недоступный текущему пользователю.
Оценивайте поиск и ответ отдельно
Одна общая оценка «качество 90%» скрывает причины ошибок. Для приёмки мы предлагаем таблицу наблюдаемых проверок. Порог для каждой из них согласуйте с владельцем процесса: у справки о графике работы и ответа об условиях поставки разная цена ошибки. Не объединяйте нарушение доступа и неудачную формулировку в один средний балл.
| Что проверяем | Как проверить | Признак проблемы |
|---|---|---|
| Поиск | Есть ли нужный фрагмент среди переданных модели | Найдена похожая тема без нужного условия |
| Доказательность | Подтверждает ли источник каждое существенное утверждение | Ссылка открывается, но не содержит обещанного факта |
| Полноту | Сохранены ли ограничения и исключения | Назван срок без условия его применения |
| Отсутствие ответа | Что происходит при нехватке данных | Система придумывает правило |
| Доступ | Повторить вопрос от имени разных ролей | В ответ попали сведения закрытого раздела |
Проверяйте обновления как изменение продукта
Обновление регламента, поискового индекса или модели может изменить ответы. Сохраняйте версию базы и повторяйте согласованный набор вопросов после таких изменений. Начинайте разбор с конкретного неудачного примера: какой источник использован, какое условие потеряно, кто отвечает за исправление. Для рабочих условий и обещаний клиенту предусмотрите передачу специалисту, если подтверждения в доступных документах нет.
Примените к своей задаче
Выберите один раздел документов и частые вопросы команды. Обсудим источники, актуальность и права доступа для первого сценария.
Обсудить ассистента по знаниям →