Обязанности:

Настройка интеграций с источниками данных;
Организация и поддержка работы каталога данных;
Поддержка и помощь в работе с хранилищем данных;
Взаимодействие с командами разработки и аналитики.

Требования:

Опыт работы с Apache Airflow в корпоративной среде:
- настройка и управление пайплайнами данных;
- опыт разработки DAG на Python для автоматизации ETL процессов;
- оптимизация и мониторинг выполнения DAG-ов.
Опыт самостоятельной разработка ETL/ELT процессов на основании бизнес-требований. Понимание основных принципов решения задач трансформации данных и интеграции источников данных;
Понимание принципов и опыт работы с каталогами данных;
Навыки работы с DBT (Data Build Tool):
- разработка и поддержка моделей данных с использованием DBT.
- интеграция DBT в пайплайны данных для трансформации данных.
- понимание процессов версионирования моделей данных.
Понимание принципов построения и работы с потоковыми данными (Kafka, Spark Streaming);
Опыт использования SQL при написании сложных запросов и оптимизация производительности существующих;
Опыт работы с реляционными базами данных (PostgreSQL, MSSQL);
Опыт работы с облачными платформами (Yandex.Cloud);
Навыки работы с системами контроля версий (Git).

Условия:

Гибридный формат работы;
Конкурентная заработная плата;
Профессиональное обучение и развитие;
Добровольное медицинское страхование сотрудника и несовершеннолетних членов семьи, страхование жизни и здоровья.

Lead Data Engineer / Ведущий Инженер данных