Data Engineer (Единый профиль клиента)

Создаем витрины для улучшения клиентского опыта, поиска и устранения проблем в персональных данных клиентов и многого другого.

Единый профиль клиента создан для того, чтобы агрегировать, систематизировать и распространять информацию по клиентам внутри Банка и Экосистемы, чтобы иметь возможность быстро строить гибкие, удобные и востребованные для клиента решения.

Наша цель – предоставить пользователям надежные, высокодоступные и масштабируемые сервисы, используя самый современный технологический стек.

Кроме получения опыта разработки и экспертизы в используемом стеке, вы сможете поучаствовать в развитии сложной и требовательной к показателям производительности и доступности системы, в том числе, в таких масштабных мероприятиях, как обеспечение горизонтального масштабирование, перевод в облачную инфраструктуру, усовершенствовать свои навыки в оптимизации производительности и проработке архитектуры разных калибров.

Стек: SQL, Spark, Jupyter notebook, Hadoop , Hive, GreenPlum, Intellij Idea, GIT, Jira

Мы ищем в нашу команду дата-инженера, который будет помогать нам:

· анализировать требования бизнеса по получению новых данных, оценивать наличие данных, сложности, риски;

· проектировать и разрабатывать аналитические витрины данных в рамках корпоративной аналитической платформы на базе современных решений по хранению данных, таких как Hadoop и Greenplum;

· оптимизировать SQL запросы в рамках разрабатываемых прототипов;

· тестировать ETL и выявлять баги при построении дата-продуктов;

· участвовать совместно с владельцем продукта в процессе приемки витрин данных заказчиками;

· развивать экспертизу по вопросам работы с данными внутри команды;

· обеспечивать доступность, контроль качества и целостность данных.

Мы ожидаем от кандидата:

· опыт работы в роли DE/DA от 1 года

· отличное знания SQL (вложенные запросы, оконные функции, регулярные выражения, CTE) и опыт работы с MPP СУБД

· как плюс опыт работы с альтернативными хранилищами и инструментами работы с данными (Spark + Hadoop и пр.).

· знание основных понятий и концепций из области DWH

· знание инструментов DevOps (Git, Nexus, Jenkins, SonarQube), любые IDE;

· как плюс опыт работы с языками программирования (Scala, Java, Python);

· умение работать с большим количеством источников данных