Digital Spirit - мы занимаемся заказной разработкой высоконагруженных ИТ-решений для наших клиентов (финансовый сектор, производство, ритейл), проектируем и поддерживаем их инфраструктуру уровня Enterprise, а также развиваем собственное продуктовое направление.

Мы развиваем новую платформу обработки данных. Вся инфраструктура уже развернута: Apache Airflow (развернут через Astronomer Cosmos), Apache Spark, DBT и т.д. Мы ищем опытного ETL-инженера, который сосредоточится на разработке и сопровождении бизнес-критичных пайплайнов. Данные — транзакционные, регламентные, клиентские. Работаем с большими объёмами, сложной логикой и высокими требованиями к надёжности.

Предстоящие задачи:

Разработка DAG-ов в Apache Airflow (с использованием Astronomer Cosmos).
Реализация ETL-скриптов на Python.
Обработка данных через PySpark (в рамках пайплайнов).
Моделирование и трансформации в DBT.
Интеграция с банковскими источниками (хранилища, API, брокеры).
Сопровождение пайплайнов: от загрузки данных до финальной витрины.

Что для нас важно:

Python: от 3 лет в проде в data/ETL проектах.
Уверенная работа с Apache Airflow (DAG-и, кастомные операторы, сенсоры).
Знание или уверенное понимание Astronomer Cosmos (или желание быстро освоить).
Понимание концепций Spark (и/или опыт с PySpark).
SQL, опыт работы с DBT.
Умение писать поддерживаемый ETL-код.
Опыт интеграции с БД, API, файловыми источниками.
Понимание DevOps процессов.
Приветствуются знания в банковской предметке: продукты, транзакции, отчётность.

Мы предлагаем:

Работу в аккредитованной Минцифры России ИТ-компании;
Официальное оформление, стабильный конкурентный доход;
График работы 5/2, удаленный формат работы;
ДМС (стоматология включена);
Работу в команде профессионалов, которые всегда готовы поделиться опытом и поддержать ваши инициативы;
Современную технику, на которой удобно и приятно работать.

Python ETL Developer