Мы в Rubbles занимаемся разработкой и внедрением DS-продуктов в крупные бизнесы. Например, системами предсказания спроса на товары в ритейле и fmcg, рекомендательными системами, системами предсказания поломок оборудования, поисковыми системами для онлайн-магазинов, системами оптимизации производства в промышленности, цифровыми двойниками и многим другим. Алгоритмы Rubbles ежедневно улучшают работу крупнейших банков, ритейл-сетей, нефтегазовых компаний и других предприятий.

Мы ищем Data Engineer'ов для участия во внутренних проектах на стадии presale. Основные обязанности будут включать в себя переосмысление и оптимизацию текущих витрин данных, генерацию данных, разработку новых ETL-процессов, а также сбор и анализ требований от различных команд внутри компании.

Обязанности:

Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark с использованием популярных фреймворков (Airflow);
Разработка коннекторов к системам-источникам данных и системам-потребителям;
Организация потоков данных в рамках микросервисной архитектуры платформы;
Разработка схемы данных компонентов платформы в едином информационном поле;
Работа c различными системами хранения (Clickhouse, PostgreSQL, Redis);
Разработка пайплайнов с Kafka;
Написание генераторов тестовых данных;

Минимальные требования:

Опыт промышленной разработки на Python от 2х лет;
Сильные софт скиллы и умение коммуницировать между командами;
Знакомство с основным big data стэком – Spark, Hadoop.
Опыт работы с Airflow;
Опыт работы с k8s;
Уверенное знание SQL;
Умение работать с командной строкой Linux/MacOS;
Умение вести проекты в Git;

На что ещё смотрим:

Опыт работы с MPP – системами и с колоночными хранилищами данных.
Английский язык – уровень B1.

У нас

Работа в одной из самых сильных ML команд в России;
Участие в росте компании, работающей на перспективном AI рынке;
Гибкий график работы;
Гибкий формат работы: полная удаленка (в том числе вне РФ)/гибрид/офис в Мск.
Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг, корпоративные скидки на курсы английского;
Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами;
ДМС со стоматологией после испытательного срока (3 месяца) по всей России;

Особенно актуальное:

Мы аккредитованная ИТ-компания со всеми вытекающими льготами.

Data Engineer (Middle)