Data Engineer (УФД КИБ)

Наши основные задачи:

• Разработка функционала загрузки в хранилище данных, расчета витрин с целью предоставления данных пользователям в виде экспортных представлений, отчетных форм, средств визуализации BI Форсайт.

• Организация процессов поставки данных, настройка интеграции и создания витрин данных.Разработка новых и доработка уже существующих интеграционных процессов в части: расширения атрибутивного состава интеграционного процесса; повышения детализации данных; изменения инструмента реализации интеграционного процесса; изменения системы источника.
• Выстраивание pipeline по сбору и обработки данных.
• Проектирование и разработка ETL-потоков данных, обработка и хранение информационных массивов.
• Участие в подготовке технической документации (S2T, сайзинг и т.д.).
• Формирование и согласование отчетности в процессе управления технологическими задачами.

Для нас важно:

• Опыт работы в роли Data Engineer не менее 2 лет.

• Опыт работы от 2х лет в финансовом секторе: Банки, страховые компании, финансовые организации (биржа, депозитарии, управляющие компании, брокеры).

• Опыт реализации ИТ задач от 2 лет (автоматизация процессов, доработка и развитие хранилищ данных).

• Понимание принципов и знание методологии построения хранилищ данных.

• Опыт проектирования витрин данных и хранилищ данных.

• Знание типовой инфраструктуры DWH.

• Опыт работы с реляционными базами данных.

• Понимание ETL/ELT процессов.

• Чтение плана выполнения запросов.

• Опыт работы с Apache Airflow, знание Python.

• Опыт работы c CI/CD.

• Опыт работы с ArenadataDB, PostgreSQL.

• Понимание принципов CDC.

• Отличное знание SQL, опыт оптимизации запросов.

• Умение читать и разбираться в реализации чужого кода.

• Готовность работать на территории.

• Оконченное высшее либо среднее специальное образование.