Data engineer

до 400 000 ₽ на руки

Вакансия находится в архиве

Hi, Rockits!

г. Москва

Требуемый опыт работы

От 3 до 6 лет

Тип занятости

Полная занятость

График работы

Удаленная работа

Мы в поиске Ведущего Data инженера в IT-компанию, которая развивает собственный продукт - агрегатор кэшбеков и сервисов подписки. Клиентами являются физ. лица, а в мультисервисной подписке представлены более чем 45 b2b партнеров.

Внутри компании: гибкие процессы, отсутствие бюрократии и своя продуктовая команда, которая в поиске того, кто готов развивать сервис и внедрять новые технологии. Вся инфраструктура в облаке, реализована как код и три распределенных дата центра.

Стек технологий в проекте:

· Linux (CentOS/Ubuntu)

· GitLab + GitLab Registry + GitLabCI

· ClickHouse,PostgreSQL + Patroni + WAL-G + миграция на Greenplum

· Kafka, Temporal

· Airflow

· Python, Golang

✔️ Что делать?

  • Проектировать и разрабатывать ETL-процессы для batch и streaming загрузки данных
  • Участвовать в проектировании DWH слоев и озера данных (data lake)
  • Выстраивать систему автоматической кодогенерации для сборки данных на детальном слое согласно модели Data Vault
  • Разрабатывать средства мониторинга и проверки качества данных
  • Автоматизация процессов построения моделей и витрин данных
  • Оптимизация существующих процессов обработки и преобразования данных

⠀⭐️ Мы ожидаем, что вы:

  • Понимаете концепции хранилищ данных (DWH, Data Lake): модели данных, слои, витрины, агрегаты, Data Quality, полная-инкрементальная загрузка
  • Имеете опыт работы с PostgreSQL, GreenPlum
  • Понимаете принципы работы БД: оптимизация запросов, планы выполнения, индексы, join
  • Имеете опыт продуктовой разработки на Python, PySpark и Scala от года
  • Писали data pipelines, batch, streaming jobs
  • Работали с Kafka / Spark / Airflow / NiFi

⠀ Мы предлагаем:

  • Компания в реестре аккредитованных ИТ компаний Минцифры со всеми преференциями от государства, включая освобождение от мобилизации
  • Проект с финансовой поддержкой крупных инвесторов
  • Инновационные сложные продукты
  • В команде: разработчики, продуктовые аналитики, бизнес-аналитики, системные аналитики, тестировщики - обеспечивают высокий уровень результата и профессионализм команды
  • Белую заработную плату + годовые бонусы
  • Поддержку рыночного уровня заработных плат за счет регулярного пересмотра компенсации
  • Удаленный формат работы
  • ДМС расширенный
  • Любая форма трудоустройства в рамках законодательства РФ
  • Гибкий график работы 5/2 с 10:00 до 19:00, по Мск или удобному времени для вас

Откликайтесь и мы свяжемся с вами

Ключевые навыки

Sqlite
Postgresql
Python
Базы данных
Linux
Работа с базами данных
Greenplum
Dwh
Airflow

Контактная информация

Hi, Rockits!

Сайт: rockits.ru

Почта: hi@rockits.ru

Вакансия опубликована 18.06.2024 в г. Москва.

Похожие вакансии

#

Москва

Полный день

VK Реклама — одно из ключевых подразделений в VK. Ежедневно наши сервисы охватывают более 140 млн пользователей в России и странах СНГ. Более 100 тыс. рекламодателей каждый день запускают рекламные кампании у нас и находят своих клиентов. Мы — команда ML внутри...

18 мая

#

Не указана

Санкт-Петербург

Беговая

Удаленная работа

  • «Петрович-Тех» строит и развивает цифровую экосистему для крупного ретейла в области строительства и DIY (коротко о «Петровиче»: 28 лет на рынке, №1 среди DIY-магазинов в России (по версии DIY&Household awards 2019), а наш интернет-магазин ­входит в...

21 мая

#

Не указана

Кострома

Полный день

В рамках перехода на новое хранилище данных формируются команды для обеспечения взаимодействия с БКИ и реализации отчетности бэк-офиса.

Обязанности:

  • Анализ новых требований от БКИ и регулятора по взаимодействия с БКИ...

27 марта