Работа в Правительстве Москвы — это возможность делать наш город современнее и удобнее. Если ты тоже неравнодушен к Москве, хочешь развивать ее и развиваться сам, присоединяйся к нашей команде!
Присоединяйся к команде профессионалов в области больших данных, нацеленных на социально значимые проекты Москвы

Обязанности:

Разрабатывать надежные pipeline обработки данных
Создавать витрины данных
Анализировать новые источники данных, настраивать процесс загрузки данных в Data Lake
Оптимизировать текущие процессы обработки данных
Развивать платформу данных, в т.ч. Data Quality

Требования:

Высшее образование
Опыт работы с Hadoop (HDFS, Yarn), понимание структур данных (Parquet).
Опыт разработки высокопроизводительных ETL-процессов на pySpark
Глубокое знание SQL, основных принципов работы реляционных и nosql СУБД, в т.ч. MPP. Умение писать оптимальные запросы
Знание основных методологий построения хранилищ данных
Уверенное знание Python
Навыки реализации оркестрации в Airflow

Условия:

Работа в динамично развивающейся организации
Интересные и амбициозные задачи
Профессиональный коллектив, возможность развития и карьерного роста
Стабильная заработная плата
Офис в пешей доступности от метро Тропарёво
Аккредитованная IT компания
График работы 5/2 с 09:00 до 18:00

Data Engineer