Lead Data Engineer / Ведущий Инженер данных

Оплата не указана

Требуемый опыт работы

От 3 до 6 лет

Тип занятости

Полная занятость

График работы

Полный день

Обязанности:
  • Настройка интеграций с источниками данных;
  • Организация и поддержка работы каталога данных;
  • Поддержка и помощь в работе с хранилищем данных;
  • Взаимодействие с командами разработки и аналитики.
Требования:
  • Опыт работы с Apache Airflow в корпоративной среде:
    • настройка и управление пайплайнами данных;
    • опыт разработки DAG на Python для автоматизации ETL процессов;
    • оптимизация и мониторинг выполнения DAG-ов.
  • Опыт самостоятельной разработка ETL/ELT процессов на основании бизнес-требований. Понимание основных принципов решения задач трансформации данных и интеграции источников данных;
  • Понимание принципов и опыт работы с каталогами данных;
  • Навыки работы с DBT (Data Build Tool):
    • разработка и поддержка моделей данных с использованием DBT.
    • интеграция DBT в пайплайны данных для трансформации данных.
    • понимание процессов версионирования моделей данных.
  • Понимание принципов построения и работы с потоковыми данными (Kafka, Spark Streaming);
  • Опыт использования SQL при написании сложных запросов и оптимизация производительности существующих;
  • Опыт работы с реляционными базами данных (PostgreSQL, MSSQL);
  • Опыт работы с облачными платформами (Yandex.Cloud);
  • Навыки работы с системами контроля версий (Git).
Условия:
  • Гибридный формат работы;
  • Конкурентная заработная плата;
  • Профессиональное обучение и развитие;
  • Добровольное медицинское страхование сотрудника и несовершеннолетних членов семьи, страхование жизни и здоровья.

Ключевые навыки

Apache airflow
Dbt
Spark streaming
Apache kafka
Sqlite

Адрес

Москва, Пресненская набережная, 12

Контактная информация

АКБ Национальный Резервный Банк

Сайт: nrb.ru

Почта: не указана

Вакансия опубликована 21.10.2024 в г. Москва.

Похожие вакансии

#

Москва

Полный день

Подробное описание

22 февраля

#

Москва

Рижская

Полный день

Подробное описание

8 июля

#

от 85 000 до 110 000 ₽

Москва

Полный день

Подробное описание

17 июля