Создание дата-пайплайнов с помощью KubelessDevOps, контейнеры и развертывание

Доклад отклонён
Дмитрий Шепелев
Habidatum

Data engineer в компании Habidatum.
Дмитрий занимается разработкой системы для поиска аномалий в пространственно-временных данных и разработкой автоматизированных решений для обработки данных.

Тезисы

Serverless-архитектура становится эталоном развертывания легковесных приложений. Она позволяет снизить стоимостные издержки на инфраструктуры и упростить процесс масштабирования.

Однако, serverless-подход ещё не так широко распространён для анализа данных и для построения дата-пайплайнов из-за существующих ограничений: времени выполнения задачи и доступа к данным.

В докладе будет рассказано, как обойти эти ограничения с помощью использования Kubeless - инструмента развертывания функций поверх Kubernetes. Будет рассмотрен пример дата-пайплайна для сервиса рекомендаций.

Фреймворки
,
Python
,
Big Data и Highload в Enterprise

Другие доклады секции DevOps, контейнеры и развертывание