Beyond jupyter. Системы построения пайплайнов обработки данныхСеть, бэкенд и web-разработка

Доклад принят в программу конференции
Андрей Попов
Positive Technologies

Teamlead в группе анализа и аудита безопасности информационных систем в Positive Technologies. В свободное время с друзьями разрабатывают системы телеоперации автомобилей. https://stackoverflow.com/users/364374/singer https://github.com/singer

Тезисы

* ETL-системы и дата-пайпланы.
* Когда уместно использовать celery/rabbit, а когда лучше построить дата-пайплайн.
* Сравнение Airflow и Luigi.
* Luigi 101 - основные концепции и примеры их использования.
* Как это выглядит в коде? Сравнение двух простых пайплайнов, сделанных с помощью Airflow и Luigi.

Другие доклады секции Сеть, бэкенд и web-разработка