Команда «Гео и графы» развивает несколько направлений: витрины данных о связанности ЮЛ, клиентские данные ЮЛ, транзакционные витрины данных, графы связей ЮЛ, геовитрины по данным ЮЛ. Все витрины используются для построения моделей в различных бизнес-блоках Банка.
Обязанности
- разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных
- подготовка датасетов из больших массивов сырых данных, первичный анализ данных
- выявление артефактов в данных
- инженерная часть разработки наукоемких технологий в части инжиниринга данных
- взаимодействие с прикладными командами банка по внедрению технологий, разработанных лабораторией, а также мультимодальных моделей в процессы банка
- организация инфраструктуры хранения данных для исследований
- участие в сложных интеграционных проектах по развитию гибридного DWH Сбербанка (Hadoop, GreenPlum)
- участие во внедрении моделей на основе алгоритмов ML
Требования
- высшее техническое образование
- наличие практического опыта работы с Apache Spark обязательно
- хорошее знание Python (в том числе опыт работы с фреймворками Python по подготовке данных (Pandas, NumPy, SciPy, PySpark)
- опыт разработки от 1 года
- знание SQL
- умение анализировать научную литературу, разбираться в незнакомой теме
- желание заниматься инженерной и инфраструктурной стороной проблемы
- scripting (bash/powershell) обязателен, поднимать и настраивать сервера в облачных средах часто приходится самостоятельно
- опыт разработки под Linux среды (Ubuntu, RedHat)
- знание систем контроля версий, опыт коллективной разработки. У нас Git (BitBucket внутри сети банка и GitHub/GitLab в остальных случаях)
- фундаментальные знания принципов построения распределенных систем хранения и обработки данных
Будет плюсом:
- навыки программирования на Scala/Java или C++
- опыт работы с реляционными СУБД (Oracle, MS/SQL), навыки оптимизации запросов
- опыт работы с МРР GreenPlum
- опыт работы с системами версионирования данных типа DVC
- опыт работы с ETL-инструментами
- знания предметной области «Банки и финансы»
Условия
- высококвалифицированный коллектив
- конкурентный уровень заработной платы, а также годовые премии по результатам работы
- ДМС, страхование от несчастных случаев, социальные гарантии, корпоративные мероприятия
- сниженные ставки по кредитованию, программы лояльности для сотрудников
- возможность профильного обучения (обучение, сертификация, конференции)
- интересные, сложные, амбициозные задачи
- адрес офиса: пр-кт Старо-Петергофский, 30 к1 литерА