ГлоссарийAI и RAG
Галлюцинация (hallucination)
Что такое галлюцинация модели и как RAG и цитаты защищают от неё.
Галлюцинация (hallucination)
Галлюцинация — ответ модели, не опирающийся на найденный контент. Модель уверенно выдаёт несуществующий факт, цену или характеристику.
Почему это происходит
Языковая модель устроена так, чтобы всегда давать правдоподобный ответ, даже когда она не знает правды. Без опоры на данные она «дорисует» недостающее — и это будет выглядеть убедительно.
Как защититься
Два главных инструмента: RAG и цитаты. RAG ограничивает ответ найденными фрагментами, а цитаты дают пользователю проверить источник. Если ответ нельзя подтвердить фрагментом, его лучше не давать. В коммерческом поиске галлюцинация — прямой риск для доверия.