Метрики и аналитикаCopy Anchor Link

Поиск нельзя улучшать «на глаз». Чтобы понять, помогает ли изменение, нужно измерять: сколько запросов ничего не нашли, кликают ли пользователи по результатам, доходит ли дело до покупки. Этот раздел — про метрики качества поиска и про то, как их читать.

Метрики качестваCopy Anchor Link

• Точность (precision) — доля выданных результатов, которые релевантны. Высокая точность = мало мусора в выдаче.
• Полнота (recall) — доля всех релевантных документов, которую вернул поиск. Высокая полнота = не пропускаем нужное.
• F1 — среднее гармоническое точности и полноты; один общий показатель.
• MRR (mean reciprocal rank) — метрика качества ранжирования: насколько высоко стоит первый релевантный результат.
• nDCG (normalized DCG) — метрика качества ранжирования с градациями релевантности.
• Recall@k — попал ли верный результат в топ-k.

Метрики магазинаCopy Anchor Link

• Доля нулевых выдач (zero-result rate) — доля запросов, вернувших пустую выдачу. Ключевая метрика здоровья каталога: её рост — сигнал, что нужны синонимы или исправление опечаток.
• CTR (click-through rate) — доля поисков с хотя бы одним кликом.
• Доля добавлений в корзину (add-to-cart rate) — доля поисков, ведущих к добавлению в корзину.
• Конверсия (conversion rate) — доля поисков, ведущих к покупке.
• Выручка на поиск (revenue per search) — выручка, делённая на число поисков. Связывает поиск с деньгами.
• Воронка (funnel) — цепочка поиск → клик → корзина → покупка. Показывает, где теряются пользователи.
• Атрибуция (attribution) — приписывание выручки/действий источнику (например, конкретному запросу).

Измерение и экспериментыCopy Anchor Link

• Сессия (session) — непрерывное взаимодействие одного пользователя.
• Журнал запросов (query log) — сохранённые запросы и их исходы; источник всех метрик.
• Поисковая аналитика (search analytics) — метрики из журнала запросов.
• Базовое значение (baseline) — исходная метрика до эксперимента.
• Прирост (uplift) — измеренное улучшение над базовым значением.
• A/B-эксперимент (A/B experiment)* — разделение живого трафика между двумя поисковыми профилями, чтобы измерить, какая конфигурация лучше.
• Контрольная группа (control arm) — неизменённая группа в эксперименте.
• Тестовая группа (treatment arm) — изменённая группа в эксперименте.
• Закрепление посетителя (sticky assignment) — удержание посетителя в одной группе между сессиями.
• Статистическая значимость (statistical significance) — насколько различие вряд ли является шумом.
• Эталонный набор (golden set) — набор запросов с ожидаемыми хорошими результатами, по которому проверяют качество до и после изменений.
• Оценочный набор (evaluation set) — запросы для оценки изменения ранжирования.
• Модель кликов (click model) — модель релевантности, обученная на кликах.

Метрики продукта и эксплуатацииCopy Anchor Link

• Вовлечённость (engagement) — как пользователи взаимодействуют с результатами.
• Отказ (bounce) — уход посетителя после одной страницы/действия.
• Возврат (retention) — возвращаются ли пользователи со временем.
• Когорта (cohort) — группа пользователей с общим стартовым событием.
• AOV (average order value) — средняя выручка на заказ.
• LTV (lifetime value) — суммарная ценность клиента за всё время.
• Отток (churn) — клиенты, переставшие пользоваться продуктом.
• NPS (net promoter score) — метрика удовлетворённости и готовности рекомендовать.
• CSAT — оценка удовлетворённости клиента.
• Задержка (latency) — время выполнения запроса; медленный поиск отпугивает.
• p50 / p95 / p99 latency — процентили задержки: p95 показывает «худший типичный» случай.
• Пропускная способность (throughput) — запросов в секунду.
• Доля ошибок (error rate) — доля неудачных запросов.