Data engineer (SBI)

Мы интернациональная команда, занимающаяся адаптацией, локализацией и созданием новых сервисов экосистемы для дочерних банков экосистемы Сбер.

Описание проекта:

Построение международного аналитической платформы. Цель создания продукта - построение международного стратегического проводника для компании, который будет обладать способностью анализировать и оценивать для компании важность международных событий, проводить оценку влияния на международную стратегию и анализировать потенциальные ниши на международных рынках для компании, с учетом знаний в области геополитики, геоэкономики, международной стратегии, стратегии компании и его ДЗО.

Для реализации платформы создается модуль для автоматического сбора данных из различных источников: новостные сайты, агрегаторы данных, неструктурированные источники и подготовка данных для последующей обработки с использованием ИИ технологий.

Обязанности

• участие в разработке архитектуры решения в части хранения и обработки данных (структурированных/ неструктурированных)
• предстоит заниматься выбором технологий и полным циклом разработки хранилища данных
• участие в проектировании платформы, решать сложные исследовательские задачи по реализации никем ранее не реализованного функционала
• проработка и реализация интеграций потоков данных со смежными системами
• разработка и проектирование модели данных, потоков данных, алгоритмов загрузки и обработки данных
• разработка и оптимизация ETL, обеспечение производительности и стабильности, при необходимости участие в анализе инцидентов
• участие в приемке системы.

Требования

• опыт работы в области Data engineer от 1,5 лет
• уверенное знание python и работы с библиотеками работы с данными
• знание SQL – сложные запросы, Join`ы, агрегаты, группировки, вложенные запросы, рекурсивные запросы
• уверенное владение PostgreSQL – проектирование, оптимизация, нормализация данных. Понимание структуры реляционной БД: ключи, индексы, связи, масштабирование нагрузки
• опыт парсинга информации с сайтов
• опыт построения автоматизированных процедур загрузки данных и работы с ETL инструментами
• опыт работы с Hadoop (Hive, Spark, HBase, HDFS), векторными и графовыми БД является плюсом
• опыт работы с инструментами для организации и автоматизации работы: Jira, Confluence, Bitbucket
• понимание методологии Agile и DevOps
• владение английским языком на уровне чтения технической документации

Условия

• оклад + годовая премия
• ДМС
• льготные условия по ипотеке
• бесплатный фитнес-зал
• работа в команде профессионалов, возможность разрабатывать уникальные и крупные проекты масштаба нашей страны
• можно работать в офисе или в смешанном графике
• конференции и обучение на корпоративных или вендорских курсах за наш счёт
• корпоративная пенсионная программа
• гибридный формат работы
• офис в бизнес-центре Поклонка (м. Кутузовская)