Data Engineer

Команда данных по инвестиционным продуктам. Мы развиваем DWH по инвестиционным продуктам для аналитических сервисов мобильного приложения Сбербанк Онлайн секции Всего средств и участвуем в развитии единого DWH банка. Моделируем и развиваем базовые витрины по инвест продуктам и спецвитрины расчета доходности портфеля клиента.

Кто нам нужен:

Мы ищем разработчика хранилищ данных/ETL инженера, способного принять активное участие в развитии базового аналитического слоя хранилища данных, а также в построении витрин и контролей качества данных по портфелю клиента в инвестиционных продуктах (Доверительное управление, Брокеридж, ПИФ, ивест. Страхование). Данная роль предусматривает: создание витрин и вывод их в пром в соответствии с банковским релизным процессом, развитие модели хранения данных, реализация реконсиляции с эталонными данными, работу с качеством данных – как методология (что такое «качество»), так и техническая реализация процессов проверки качества данных.

Обязанности

• Участие в разработке витрин данных с использованием инструментов Hadoop.
• Разработка интеграционных решений между хранилищем данных и мобильными сервисами
• Разработка решений потоковой обработки данных в режиме near real time
• Оптимизация существующих разработок
• Подготовка и сборка дистрибутивов, сопровождение по стендам разработки и тестирования
• Quality Assurance решений промышленного контура: разрабатываемых и уже внедренных.

Требования

• опыт работы с инструментами Hadoop (Hive, Spark, Oozie, HDFS, YARN), понимание внутренней архитектуры
• опыт работы с ведущими СУБД (Teradata, Oracle, MS SQL)
• знание SQL на уровне оптимизации сложных запросов
• опыт разработки и оптимизации расчетов на больших объемах данных в Hadoop, знание Scala
• знания принципов построения распределенных систем хранения и обработки данных
• знание классических алгоритмов и структур данных
• понимание архитектуры хранилищ данных
• уверенная работа с git, bitbucket, jenkins
• умение тестировать и документировать собственный код, а также работать с существующим кодом

Будет плюсом, если ты имеешь:

• уверенное знание и опыт программирования на Scala/Java
• опыт работы с NoSQL базами данных (HBase, Cassandra)
• опыт работы с Kafka и разработки NRT решений
• опыт работы со Spark Streaming, Kafka, будет плюсом Flink
• опыт создания высоконагруженных распределенных систем, знакомство с существующими практиками в области
• участие в проектах с открытым исходным кодом.

Условия

• стабильная и конкурентная заработная плата: оклад + премии
• профессиональный и карьерный рост
• возможность профильного обучения
• регулярное корпоративное обучение за счет компании.
• полис ДМС в лучших клиниках города для сотрудников и льготная медицинская страховка для близких, включая стоматологию
• скидки на продукты компаний Экосистемы
• яркая и разнообразная корпоративная жизнь: КВН, спортивные соревнования, тимбилдинги и тренинги, тематические праздники, благотворительные кампании и волонтерство
• льготные условия по кредитам Сбербанка и ипотеке.