Привет) Мы АЭРО — провайдер e-commerce и data-решений. Делаем онлайн-шопинг простым и приятным, а магазины – надежными и безопасными. Нам доверяют М.Видео, Мегафон, Глория Джинс, Лента, Hoff и др.

В команду к молодым и дружным разыскивается молодой и дружный))))

С нами тебе предстоит:

Автоматизировать дата-пайплайны;
Участвовать в построении хранилищ данных: проектирование, определение сущностей, моделирование данных, формирование витрин данных;
Разрабатывать и оптимизировать процессы выгрузки данных из различных источников (БД, GCS, S3, Kafka, API's);
Разрабатывать процессы обработки данных (batch, stream, near real-time);
Проводить оркестрацию ETL/ELT процессов в Airflow, Nifi;
Поддерживать аналитическую инфраструктуру;
И много другого дико интересного)).

Наш стек:

ClickHouse, GreenPlum, PostgreSQL, Vertica;
Yandex.Cloud, Arenadata, Google Cloud;
Python;
Spark;
SQL;
Airflow, Nifi, dbt;
Git (Gitlab);
data vault / business data vault;
Kafka, K8s, debezium;
*здесь может быть прикольная технология, которую ты предложишь внедрить*.

Что реально крутого делаем (это точно прокачает твои hard skills!!!):

Много экспериментируем с разными технологиями и связками технологий;
Разворачиваем и настраиваем потоки данных в Airflow (в том числе с KubernetesPodOperator);
Тестируем и настраиваем выгрузку данных в Greenplum через gpfdist, pxf, s3 механизмы, а также через Greenplum Connector for Apache Spark;
Проводим качественные исследования по новым методам забора данных из различных БД;
Разрабатываем и тестируем способы укладывания дельты изменений между слоями данных в Greenplum;
Пишем и тестируем кастомные Airflow Operator-ы;
Исследуем подходы к оптимизации БД и реализуем их (Clickhouse, Greenplum).

Что предлагаем:

Мы готовы гибко обсуждать любые условия. Будем исходить из ожиданий успешного кандидата. Базовый пакет включает:

Команда, открытая твоим идеям, свобода действий и доступ к ресурсам;
Клиенты, чей опыт и продукт драйвит;
Гибридный или удаленный формат работы, свободное начало дня (м. Достоевская). Старательно создаем из офиса — третье место, культурное пространство, куда стягиваются люди (вечеринки, настольные игры, кинопросмотры, винный клуб и всё такое)))
ДМС, компенсация на изучения английского языка, занятия спортом и внешнего обучения.

Data Engineer