Токенизация (tokenization)
Как текст превращается в токены и почему от этого зависит результат поиска.
Токенизация (tokenization)
Токенизация — разбиение текста на токены (слова), которые индексируются. Фраза «красные
кроссовки 42» превращается в токены красные, кроссовки, 42.
Зачем это нужно
Поиск сравнивает не строки целиком, а токены. Если запрос и документ содержат общие токены, они совпадают. Поэтому от того, как текст разбивается, зависит, что найдётся.
Нюансы
Токенизация настраивается под язык и тип поля. Для русского важны падежи и окончания, поэтому её часто комбинируют с лемматизацией. Для артикулов и SKU разбиение наоборот должно быть максимально точным — иначе «ABC-123» и «ABC 123» разойдутся.
В AACSearch токенизация работает автоматически на уровне полей, но понимание её основ помогает разбираться, почему что-то не находится.