Data Engineer

до 350 000 ₽ до вычета налогов

Rubbles

г. Москва

Требуемый опыт работы

От 3 до 6 лет

Тип занятости

Полная занятость

График работы

Полный день

Мы в Rubbles занимаемся разработкой и внедрением DS-продуктов в крупные бизнесы. Например, системами предсказания спроса на товары в ритейле и fmcg, рекомендательными системами, системами предсказания поломок оборудования, поисковыми системами для онлайн-магазинов, системами оптимизации производства в промышленности, цифровыми двойниками и многим другим. Алгоритмы Rubbles ежедневно улучшают работу крупнейших банков, ритейл-сетей, нефтегазовых компаний и других предприятий.

Мы ищем Data Engineer'ов для участия во внутренних проектах на стадии presale. Основные обязанности будут включать в себя переосмысление и оптимизацию текущих витрин данных, генерацию данных, разработку новых ETL-процессов, а также сбор и анализ требований от различных команд внутри компании.

Обязанности:

  • Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark с использованием популярных фреймворков (Airflow);
  • Разработка коннекторов к системам-источникам данных и системам-потребителям;
  • Организация потоков данных в рамках микросервисной архитектуры платформы;
  • Разработка схемы данных компонентов платформы в едином информационном поле;
  • Работа c различными системами хранения (Clickhouse, PostgreSQL, Redis);
  • Разработка пайплайнов с Kafka;
  • Написание генераторов тестовых данных;

Минимальные требования:

  • Опыт промышленной разработки на Python от 2х лет;
  • Сильные софт скиллы и умение коммуницировать между командами;
  • Знакомство с основным big data стэком – Spark, Hadoop.
  • Опыт работы с Airflow;
  • Опыт работы с k8s;
  • Уверенное знание SQL;
  • Умение работать с командной строкой Linux/MacOS;
  • Умение вести проекты в Git;

На что ещё смотрим:

  • Опыт работы с MPP – системами и с колоночными хранилищами данных.
  • Английский язык – уровень B1.

У нас

  • Работа в одной из самых сильных ML команд в России;

  • Участие в росте компании, работающей на перспективном AI рынке;

  • Гибкий график работы;

  • Гибкий формат работы: полная удаленка (в том числе вне РФ)/гибрид/офис в Мск.

  • Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг, корпоративные скидки на курсы английского;

  • Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами;

  • ДМС со стоматологией после испытательного срока (3 месяца) по всей России;

Особенно актуальное:

  • Мы аккредитованная ИТ-компания со всеми вытекающими льготами.

Ключевые навыки

Python
Cpp-netlib
Postgresql
Version control/git
Sqlite
Sql/mongodb/postgressql,clickhouse
Airflow
Linux
Data engineering
Apache kafka
Kubernetes(k8s) - start learn
Spark framework
Apache hadoop

Контактная информация

Rubbles

Сайт: не указан

Почта: не указана

Вакансия опубликована 22.10.2024 в г. Москва.

Похожие вакансии

#

от 200 000 ₽

Москва

Павелецкая

Полный день

Подробное описание

21 октября

#

Москва

Удаленная работа

Подробное описание

13 июля

#

Не указана

Москва

Полный день

Подробное описание

21 октября