Тюнинг гиперпараметров ML моделей на основе подхода оптимизации Байеса. Офлайн 2021

Оптимизация гиперпараметров в машинном обучении - это один из главнейших шагов, выполняемых исследователями и аналитиками для повышения и стабилизации качества выбранной модели. Основная проблема в том, что гиперпараметры не могут быть непосредственно рассчитаны алгоритмически в ходе обучения модели и должны быть заданы до того, как начнется "тренировка". От того, насколько верно будут подобраны гиперпараметры, зависит то, сможет ли ,в конечном счете, модель обнаружить закономерности в исследуемых данных и спрогнозировать максимально близкий к истинному результат в соответствии с бизнес потребностями.
Поставленная задача осложняется тем, что набор гиперпараметров может быть достаточно велик (от десятков до сотен). Простой перебор значений вряд ли будет эффективен с точки зрения временных и ресурсных затрат на обучение. Более того, этот процесс должен быть итеративным, так как в модель поступают новые данные, а старые могут терять актуальность.
В докладе будет рассмотрен подход, который мы использовали для решения этой проблемы, на основе оптимизации Байеса с использованием Гауссовских случайных процессов. Будет описана наша реализация алгоритма (использованы python библиотеки Keras и TensorFlow), включая архитектуру сервисов, обеспечивающих постоянную фоновую работу по поиску потенциально новых, еще более оптимальных, наборов гиперпараметров (использован фреймворк MLFlow). Мы сравним полученные результаты с теми, что были получены ранее при использовании алгоритма традиционного случайного перебора параметров. Сделаем выводы и кратко опишем дальнейшее развитие решений поставленной проблемы (на примере black-box подхода с Google Vizier).