Beyond jupyter. Системы построения пайплайнов обработки данныхСеть, бэкенд и web-разработка
Доклад принят в программу конференции
Андрей Попов
Positive Technologies
Teamlead в группе анализа и аудита безопасности информационных систем в Positive Technologies. https://stackoverflow.com/users/364374/singer https://github.com/singer
Тезисы
* ETL-системы и дата-пайпланы.
* Когда уместно использовать celery/rabbit, а когда лучше построить дата-пайплайн.
* Сравнение Airflow и Luigi.
* Luigi 101 - основные концепции и примеры их использования.
* Как это выглядит в коде? Сравнение двух простых пайплайнов, сделанных с помощью Airflow и Luigi.
Другие доклады секции Сеть, бэкенд и web-разработка
Make Python fast again
Ефрем Матосян
Positive Technologies
High Performance Data Processing in Python
Donald Whyte
Engineers Gate
Django under microscope
Артем Малышев
Self-Employed