ГлоссарийAI и RAG
Чанкинг (chunking)
Что такое чанкинг и как разбиение документов влияет на качество RAG.
Чанкинг (chunking)
Чанкинг — разбиение длинного документа на части, чтобы каждую можно было независимо эмбеддировать и находить. Страница инструкции делится на абзацы или разделы.
Зачем нужно
Модель ищет ответ по фрагментам, а не по целым документам. Если отправить модели всю статью целиком, релевантный абзац утонет в шуме. Чанкинг выделяет смысловые куски, которые можно точно находить и цитировать.
От чего зависит качество
Размер чанка — компромисс: слишком мелкие куски теряют контекст, слишком крупные — точность. Идеальный чанк покрывает одну мысль. От чанкинга напрямую зависит, найдёт ли RAG нужный фрагмент и будет ли цитата осмысленной.