Эталонный набор (golden set)
Что такое golden set и почему без него нельзя оценивать качество поиска.
Эталонный набор (golden set)
Эталонный набор — набор запросов, для которых заранее известно, какие результаты правильные. Это «экзаменационный билет» поиска: прогоняешь набор и видишь, насколько хорошо поиск отвечает.
Зачем нужен
Метрики вроде precision и recall невозможно посчитать без эталона: нужно знать, что является правильным ответом. Golden set задаёт эту истину. Собрать его — значит выписать типичные запросы магазина и пометить, какие товары по каждому ожидаются.
Как использовать
Перед любым изменением ранжирования прогоняйте golden set и фиксируйте качество. После изменения — снова. Если метрика упала, изменение нужно откатить, даже если «визуально стало лучше». Эталонный набор превращает настройку поиска из искусства в измеряемый процесс.