Конференция завершена. Ждем вас на Moscow Python Conf ++ в следующий раз!

Жизнь с Celery и ML или без?Сеть, бэкенд и web-разработка

Доклад отклонён
Александр Боргардт

Автор библиотеки actor-zeta: https://github.com/smart-cloud/actor-zeta. https://github.com/smart-cloud/

aa.borgardt@yandex.ru
Тезисы

В существующем уже давно проекте было решено использовать Celery для запуска периодических ML-задач взамен crontab. В связи с этим возникла необходимость организации отдела sre/ аналитики/ специалистов, которые занимаются исключительно Celery и периодических ML-задач .

В процессе применения Celery возникают проблемы из-за плохой масштабируемости:
* не умеет асинхронно работать (asyncio) с сетью, и с базой, и …;
* отсутствует умное управление задачами между всеми celery worker;
* нет разделения на cpu и io bound задачи;
* необходим штат сотрудников для поддержки и развития инфраструктуры.

Для устранения проблем меня пригласили в данный проект. Нами был придуман ряд интересных решений, построенный на С++, pybind11 и python. Хочу поделится результатами нашей работы и выводами, которые сделали в ходе внедрения наших решений.

Другие доклады секции Сеть, бэкенд и web-разработка