Senior data engineer

Оплата не указана

Вакансия находится в архиве

Требуемый опыт работы

От 3 до 6 лет

Тип занятости

Полная занятость

График работы

Удаленная работа

Основная задача проекта F&R- оптимизировать действующие бизнес-процессы в компании для прогноза и пополнения товаров, разработать и внедрить новую систему F&R, которая будет удовлетворять потребностям измененных бизнес-процессов, и обеспечит выполнение сквозного процесса расчета заказов прогноза и пополнения.

Чем ты будешь заниматься

  • создавать потоки для пакетной транспортировки данных (ETL/ELT) посредством ПInformaticaPowerCenter и технологий Apache Spark и Apache Airflow
  • реализовывать код для решения бизнес-задач в виде проектов Python и SQL на платформе Apache Hadoop с помощью технологий Apache Spark, Apache Livy, Apache Hive
  • поддерживать и развивать существующие процессы в системе управления задачами и балансировке нагрузки с помощью Python и Apache Airflow
  • работать с версионным хранилищем кода и простыми процессами непрерывной интеграции и доставки кода на прод (CI/CD GitLab)
  • работать с существующими процессами в различных СУБД (Teradata, Postgres, Oracle)
  • поддерживать в актуальном состоянии документацию проекта - работать с serverless сервисами в облаке (Yandex Cloud, Microsoft Azure) и системами упаковки ПО (Docker)

Стек: Apache Spark, Apache Airflow, Apache Kafka, Apache Flink, Apache Airflow, Yandex Cloud, Python, SQL, Linux, Docker, K8S

Мы ожидаем

  • опыт работы от 3х лет
  • опыт работы с Apache (Spark, Hive, Airflow)

  • опыт работы Python и SQL

  • опыт работы с Linux, Streaming, Docker, Yandex Cloud

Мы предлагаем

  • трудоустройство в аккредитованную ИТ-компанию
  • возможность работать удаленно/гибридно/в офисном режиме, у нас есть офисы в Москве, Краснодаре, Иннополисе
  • прозрачные цели, четкие ожидания, здравый смысл в процессах и управленческих подходах
  • возможность профессиональной реализации мы не только берем экспертизу, но и помогаем развивать потенциал в интересных и многоплановых проектах, через оплачиваемое внешнее обучение, корпоративные курсы и участие в конференциях
  • возможность миграции между проектами- мы быстро растем как вертикально, так и горизонтально
  • ДМС со стоматологией и льготными условиями для членов семьи
  • корпоративные скидки от компаний-партнеров

Ключевые навыки

Sqlite
Python
Linux
Spark framework
Hive

Контактная информация

МАГНИТ, Розничная сеть

Сайт: не указан

Почта: не указана

Вакансия опубликована 13.07.2024 в г. Москва.

Похожие вакансии

#

Москва

Полный день

Подробное описание

13 июня

#

Москва

Полный день

Подробное описание

16 мая

#

Новосибирск

Полный день

Подробное описание

28 марта