BM25
Что такое BM25 — формула ранжирования, лежащая в основе большинства поисковиков.
BM25
BM25 — современная вероятностная формула ранжирования. Это то, что превращает совпадение слов в число — оценку релевантности, по которой сортируется выдача.
Что она учитывает
BM25 смотрит на три вещи: как часто слово встречается в документе (частотность), насколько оно редкое в индексе (ценность слова) и какова длина документа (нормализация). Редкое слово, встретившееся в коротком названии, даёт больше очков, чем частое слово в длинном описании.
Параметры k1 и b
Два параметра настраивают поведение формулы: k1 — насколько быстро насыщается вклад
повторяющегося слова, b — насколько сильно наказывается длина. Для большинства задач
значения по умолчанию работают хорошо, но их можно подстроить.
Почему важно
BM25 — «двигатель» ключевого поиска. Понимая его, вы понимаете, почему меняется порядок выдачи при смене весов и настроек.