Ищем Data Engineer в команду разработки хранилища данных.
Зона ответственности команды DWH - качественные и своевременные данные, решающие потребности бизнеса. За платформу данных и подключение источников к озеру данных отвечает отдельная платформенная команда.

Чем предстоит заниматься:

Развивать домены DWH. Основной потребитель и заказчик - продуктовые аналитики.
Осуществлять проектирование и разработку витрин, которые позволят повысить оперативность и качество анализируемых данных
Разрабатывать ETL для витрин на Spark (PySpark), выполнять их оркестрацию в Airflow.
Выполнять оптимизацию производительности ETL
Разрабатывать проверки качества данных, помогать в разборе в разборе инцидентов с данными.

Мы ожидаем от Вас:

Глубокое знание SQL (включая оконные аналитические функции);
Уверенное владение Python;
Опыт написания пайплайнов на Spark и опыт работы с Hadoop-стеком (HDFS, YARN, Hive);
Опыт работы с большими объемами данных и оптимизации производительности;
Ответственность, самостоятельность, коммуникативность.

Будет плюсом:

Опыт проектирования DWH

Опыт Test-driven development (TDD)

Условия:

Работу в одной из крупнейших в России компаний в сфере e-commerce.
Комфортабельный офис в Москва-Сити/удаленный формат.
Конкурентоспособную заработную плату.
MacBook Pro 16" или 13" на M1 на ваш выбор.
ДМС и страхование от несчастных случаев (со 100% страхованием детей).

Data Engineer (DWH)