Место разработчика Python в экосистеме больших данных Офлайн 2021

1. Детство
1) Дирекция больших данных – новое подразделение в X5, построено за 2 года с нуля.
2) Изначально создавалось как аналитическое подразделение и не предполагало разработки (или минимальное использование)
3) В процессе работы стало понятно, что разработка не только будет, но её будет много, так как есть потребность со стороны бизнеса
4) Так как мы создавали дирекцию с нуля, не имея бэкграунда, то выбрали самый популярный и мощный язык разработки для backend - Java https://www.jetbrains.com/research/devecosystem-2018/ и React для frontend
5) Разработали прототипы продуктов

2. Отрочество
1) В процессе работы поняли, что разработчики думают алгоритмами, а Data Scientists думают как математики. Т.е. есть незакрытый сегмент работы: есть backend, есть DS, нет промежуточного слоя.
а) Не всем задачам нужна тяжелая артиллерия (Java)
б) Артиллерия — это дорого
2) Вывод - нужно развивать разработку на Python

3. Юность
1) Развиваем направление Python
а) Набрали Data Engineer и разработчиков на Python
б) Data Engineer - новое направление между разработкой и БД
в) Начали делать небольшие продукты на Python
2) Проблемы, с которыми мы столкнулись
а) нет Python-сеньоров

4. Зрелость
Что впереди: примерные пути развития
1) Определить границы ролей
2) Вырастить лидов разработчиков на Python либо комплексную команду с разработкой на нескольких языках