Как измерить качество RAG до показа директору

О материале

Красивый ответ на одном запросе ничего не доказывает.

Директор спросит другое. Или то же — другими словами. И индекс молчит.

До демо собираем 30 золотых запросов от операторов. Не от маркетинга.

Смотрим hit@k: нашёлся ли нужный фрагмент до генерации. Если retrieval мимо — промпт не спасёт. Писали про это в базе знаний за 2 недели.

Задача

• Получить цифры качества поиска до показа руководству.
• Отделить проблемы индекса от «красоты» формулировок модели.
• Понять, готов ли пилот к бою или ещё неделя чистки.

Внедрение

Таблица: запрос → ожидаемый источник → нашлось/нет → ответ ушёл/эскалация.

Порог простой: если hit слабый — демо переносим. Лучше злой оператор, чем злой директор.

Решение

RAG без метрик — шоу. С метриками — инженерия.

Нужен замер под ваш контур — напишите.

Применить в вашей компании

Если документы и знания распределены между несколькими системами, разберём источники, права доступа и критерии проверки результата.