Сбер сегодня обладает одним из крупнейших в стране хранилищ данных - объем данных банка превысил 250 ПБ. За секунду с нашими данными совершается около 500 тысяч транзакций. Управляет данными Сбера департамент SberData: нашими решениями пользуются свыше 22 тысяч сотрудников банка и экосистемы.

Ключевые функции SberData - управление данными, создание и развитие технологического стека SberDataPlatform, а также предоставление сервисов по работе с данными: Супермаркет данных, Лаборатория данных, SberDataExchange и еще около сотни решений.

Мы обеспечиваем рабочее место D-People "под ключ", чтобы дата-инженер или дата-сайентист могли за считанные часы получить необходимую инфраструктуру, инструменты и данные для проведения экспериментов и запуска промышленных решений.

Проект: Создание реплик систем Банка в КАП, используя собственную сборку Hadoop и собственные инструменты загрузки данных (как в пакетном, так и в потоковом режиме).

Обязанности

Участие в Agile команде работающей со сложными интеграционными продуктами по развитию Корпоративной аналитической платформы Сбербанка на базе экосистемы Hadoop
Разработка, внедрение трактов репликации данных и решение задач в рамках 3-й линии сопровождения.
Оптимизация и настройка производительности ETL-процессов, в т.ч. запросов к РСУБД Источников
Анализ и тестирование существующих решений в технологическом стеке Hadoop

Требования

Приветствуется опыт работы с экосистемой Hadoop (HDFS, Hive, Spark, YARN)
Опыт работы с DevOps-инструментами (Jenkins, Ansible, Nexus, Git и пр.)
Навыки работы с Unix shell
Свободное владение SQL

Условия

Профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека
ДМС, страхование жизни
Самые инновационные, амбициозные проекты и задачи
Свободный дресс-код
Гибкий график для оптимального баланса работы и личной жизни
Льготные кредиты и корпоративные скидки
Конкурентная компенсация (оклад и премии по результатам деятельности)

Data Engineer (Hadoop)