ГлоссарийМетрики и аналитика
A/B-эксперимент (A/B experiment)
Как сравнивать два варианта поиска на живом трафике и не утонуть в шуме.
A/B-эксперимент (A/B experiment)
A/B-эксперимент — разделение живого трафика между двумя вариантами поиска, чтобы измерить, какой лучше. Одна часть пользователей видит текущую настройку, другая — новую.
Как устроено
Эксперимент сравнивает два поисковых профиля: контроль (текущий) и лечение (новый). Каждому посетителю закрепляется одна группа, чтобы он не «прыгал» между вариантами, а метрики считаются по журналу запросов.
Почему это важно
Без эксперимента любое изменение ранжирования — гадание. Можно поменять веса и думать, что стало лучше, а на деле — хуже. A/B-тест даёт измеримый ответ: какой вариант даёт меньше нулевых выдач, выше CTR и конверсию, и стоит ли его оставить.
Термин специфичен для AACSearch и помечен звёздочкой.