Middle Data Engineer в команду CRM

О команде:

Data Platform - часть отдела Machine Learning которая имеет 2 направления работы: разработка платформы данных и продуктовая разработка. Продуктовое направление предполагает работу Data Engineer в смешанных командах разработки (Python/C# Dev, Analytics/BI, Data Scientist, Data Engineer и др.) и помогает находить эффективное решение актуальных задач бизнеса.

Команда CRM занимается прямыми коммуникациями с пользователями: пуши, чаты, email и многие другие каналы. Наша цель научиться понимать сколько, что и в какой момент нужно пользователю, чтобы сделать ему своевременное предложение. Более того мы являемся сердцем знаний о пользователе и накапливаем разные данные (batch / streaming) для всего Циана, от near-realtime предсказаний ML моделей до витрин с метриками.

Новому Middle/Middle+ Data Engineer в направлении придется заниматься запуском streaming коммуникаций с пользователями, ETL процессами, а также развитием универсального инструмента для streaming/batch флоу для унификации контрактов взаимодействия с ними для других команд в Циан.

Основной стек технологий: Python 3.9/3.10, Spark 3, Airflow 2.+, Kafka. Основное хранилище - Yandex S3.

Мы видим на этой позиции человека, который:

• имеет опыт работы с Hadoop стеком от 2 лет и потоковыми вычислениями (Spark Streaming в приоритете);

• есть верхнеуровневое понимание Hadoop экосистемы: HDFS, Yarn, Hive, Spark;

• имеет опыт работы со Spark: может объяснить что такое драйвер и экзекьюторы, в чём сила ленивых вычислений и как заставить их работать, как связаны RDD и Dataframe;

• кодит на Python: основные типы и структуры данных, понимание концепций работы async кода и его отличий от классической модели, OOP, декораторы/генераторы/итераторы/context manager;

• работал с Kafka, Airflow.

Что мы предлагаем:

• Удаленную работу в аккредитованной IT компании и возможность приходить в офис в Москве, Санкт-Петербурге и Новосибирске. В офисе — кухня, оборудованная всем необходимым, где всегда доступно много разнообразной еды, снеки, фрукты, кофе и чай. Тихие комнаты, где можно сосредоточиться над задачей или просто отдохнуть в тишине, массажное кресло и массажный шлем, «мягкая зона» с Play Station. Бесплатная авто- и велопарковки.
• Рост и развитие: в первые месяцы у каждого сотрудника есть наставник, после появляется личный план развития и возможность прокачивать soft/ hard skills на практике, обучении, конференциях;
• Плюшки: ДМС с первого дня (стоматология, госпитализация, полис туриста), ежегодная компенсация спорта, 5 day off в год, помимо основного отпуска.