Лемматизация (lemmatization)
Что такое лемматизация и почему она важна для русского поиска.
Лемматизация (lemmatization)
Лемматизация — приведение слова к словарной форме с учётом морфологии: «лучший» → «хороший», «бежал» → «бежать». В отличие от стемминга, она опирается на словарь и знает грамматику языка.
Почему важна для русского
Русский язык богат словоизменением: падежи, числа, роды. Одно понятие может иметь десятки форм. Лемматизация сводит их к одной, поэтому запрос «красная» находит «красные» и «красный».
Точность и цена
Лемматизация точнее стемминга, но требует словаря конкретного языка и чуть медленнее. Это разумная цена за правильные результаты в каталоге, где пользователи пишут запросы в разных формах.
В AACSearch лемматизация включается на уровне полей и особенно полезна для названий товаров и поисковых запросов на русском языке.