Команда «Гео и графы» развивает несколько направлений: витрины данных о связанности ЮЛ, клиентские данные ЮЛ, транзакционные витрины данных, графы связей ЮЛ, геовитрины по данным ЮЛ. Все витрины используются для построения моделей в различных бизнес-блоках Банка.

Обязанности

разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных
подготовка датасетов из больших массивов сырых данных, первичный анализ данных
выявление артефактов в данных
инженерная часть разработки наукоемких технологий в части инжиниринга данных
взаимодействие с прикладными командами банка по внедрению технологий, разработанных лабораторией, а также мультимодальных моделей в процессы банка
организация инфраструктуры хранения данных для исследований
участие в сложных интеграционных проектах по развитию гибридного DWH Сбербанка (Hadoop, GreenPlum)
участие во внедрении моделей на основе алгоритмов ML

Требования

высшее техническое образование
наличие практического опыта работы с Apache Spark обязательно
хорошее знание Python (в том числе опыт работы с фреймворками Python по подготовке данных (Pandas, NumPy, SciPy, PySpark)
опыт разработки от 1 года
знание SQL
умение анализировать научную литературу, разбираться в незнакомой теме
желание заниматься инженерной и инфраструктурной стороной проблемы
scripting (bash/powershell) обязателен, поднимать и настраивать сервера в облачных средах часто приходится самостоятельно
опыт разработки под Linux среды (Ubuntu, RedHat)
знание систем контроля версий, опыт коллективной разработки. У нас Git (BitBucket внутри сети банка и GitHub/GitLab в остальных случаях)
фундаментальные знания принципов построения распределенных систем хранения и обработки данных

Будет плюсом:

навыки программирования на Scala/Java или C++
опыт работы с реляционными СУБД (Oracle, MS/SQL), навыки оптимизации запросов
опыт работы с МРР GreenPlum
опыт работы с системами версионирования данных типа DVC
опыт работы с ETL-инструментами
знания предметной области «Банки и финансы»

Условия

высококвалифицированный коллектив
конкурентный уровень заработной платы, а также годовые премии по результатам работы
ДМС, страхование от несчастных случаев, социальные гарантии, корпоративные мероприятия
сниженные ставки по кредитованию, программы лояльности для сотрудников
возможность профильного обучения (обучение, сертификация, конференции)
интересные, сложные, амбициозные задачи
адрес офиса: пр-кт Старо-Петергофский, 30 к1 литерА

Data Engineer