Прагматичный подход к трансформации данных: dbt и Python

Резерв

ETL
Хранилища
Обработка данных

Доклад принят в программу конференции

Целевая аудитория

Широкий круг Python-специалистов — разработчики, дата-аналитики, дата-сайентисты и дата-инженеры.

Тезисы

Все мы знаем, что существует множество способов преобразования данных — от простых скриптов на коленке и длинных SQL-запросов до сложных платформ, таких как Airflow. Однако часто эти методы имеют свои недостатки и не удовлетворяют нашим потребностям.

В этом докладе мы рассмотрим, как dbt и Python могут решить многие проблемы в области преобразования и подготовки данных для аналитики. Разберем, как сделать пайплайн для обработки наших данных с тестированием и версионированием. Добавим в скучный SQL шаблонизатор Jinja и функции на Python.

Ярослав Телишевский

Независимый эксперт

Более 10 лет опыта разработки на Python. Работал в различных компаниях от e-commerce до беспилотных автомобилей.

Независимый эксперт

Сейчас работает над большим финтех-проектом.

Видео