Мы строим новую low-code платформу для аналитических сервисов Блока финансов Сбербанка класса Enterprise Performance Management (EPM) для перевода функционала систем с платформы SAP BI/BW/BPC для более чем 5000 пользователей Сбербанка и дочерних компаний. В единой платформе будут интегрированы данные 7 существующих систем общим объемом от 15 Тб с более чем 500 внешними потоками интеграций.

При построении платформы будут использованы как Opensource решения (c значительными доработками), так и готовые технологические сервисы собственной платформы Сбербанка Platform V, а также значительный объем сервисов собственной разработки (для которых не найдено подходящих готовых решений) – для OLAP, планирования, прогнозирования, отчетности, dashbording, инструментов для аналитиков и продвинутых пользователей, ETL/DWH и другой смежной функциональности. В целевом состоянии предполагается расширение функционала прогнозирования/ планирования с помощью ML моделей.

Для работы платформы предполагается использовать пул различных СУБД и решений для хранения и обеспечения оперативного отклика как по операциям чтения, так и по операциям сложных расчетов и массовой записи данных.

Анализ рынка отечественных платформ не выявил подходящих решений, удовлетворяющих требованиям и обладающих необходимым функционалом. Новая EPM-платформа не только закроет внутренние потребности Сбербанка и дочерних компаний, но также может быть востребована на российском рынке аналитических и EPM-решений.

Планируемый технологический стек всей платформы: Greenplum, PostgreSQL, Clickhouse, Hadoop, Spark, другие продукты Apache, openshift/k8s, Java, Spring, Python, React.

У вас будет возможность влиять на используемый стек технологий.

Обязанности

техническое лидерство по компетенции DWH – определение единых правил и подходов к разработке, помощь в разработке и оптимизации сложных кейсов
проектирование DWH, как в части классических функций, так и в части вспомогательных функций для сервисов ядра платформы
определение производственного процесса в части DWH разработки, подходов к DevOps, тестированию и т.д.
участие в подборе новых сотрудников и развитие компетенций команды

Требования

опыт построения DWH на базе MPP от 5 лет (от 5 проектов в роли не ниже разработчика, от 2 в роли архитектора)
опыт разработки и оптимизации сложной обработки значительных объемов данных в СУБД
опыт работы с большими объемами данных в PostgreSQL / Greenplum в параллельном режиме
опыт построения консистентной конкурентной производительной обработки данных
понимание особенностей и возможностей PostgreSQL / Greenplum / Hadoop / Clickhouse.

Будет плюсом:

опыт DBA Greenplum /Hadoop, понимание настроек, организации кластеров.
опыт использования банковских решений СМД, CФД, HDFSGW|waggledance
опыт использования PXF и Greenplum Parallel file distribution program
опыт проектирования и разработки надежных управляемых ETL/ELT потоков со сложными преобразованиями
опыт проектирования и разработки решений с OLAP задачами
опыт использования Spark
опыт организация ABAC security на уровне СУБД
опыт организации работы команды разработчиков, формирования подходов к разработке больших решений, code-review.

Условия

конкурентная заработная плата: оклад + бонусы
масштабные и интересные задачи в agile команде
социальный пакет: ДМС, страхование от несчастных случаев, льготное кредитование
бесплатный тренажерный зал и спортивные групповые занятия
дисконт-программы от компаний партнеров: фитнес, страхование, туризм
обучение и тренинги
профессиональный и позитивный коллектив.

DB / DWH Teamlead