Дата инженер (Data engineer)

Привет, наш будущий Коллега!

Мы в поиске Инженера данных.

Наша команда занимается разработкой моделей машинного обучения, аналитикой и визуализацией данных. В настоящий момент данные разрознены между отделами, подразделениями и многочисленными контрагентами и предстоит объединить, структурировать их и создать единое хранилище, которое станет основой для работы аналитиков и Data Scientist. Мы стремимся к тому, чтобы все данные были легко доступны для анализа и визуализации, создавая функциональные дашборды для принятия обоснованных решений.

Сейчас команда состоит из трех человек.

У нас ты будешь:

• Разрабатывать, обслуживать и развивать DWH Clickhouse.
• Наполнять хранилища данных актуальной информацией из различных источников.
• Реализовывать, автоматизировать и поддерживать ETL процессы.
• Обеспечивать надёжное хранение, обработку и передачу данных между системами.
• Вести техническую документацию.

Для нас важно:

• Законченное высшее физико-математическое или IT образование.
• Опыт работы от 3 лет.
• Уверенные знания SQL, Python.
• Знание моделей и структур проектирования баз данных.
• Понимание процессов загрузки и обработки данных ETL и ELT.
• Опыт работы с базами данных PostgreSQL, Oracle, GBQ.
• Знание основных принципов и технологий: GitLab, Spark, Kubernetes, ArgoCD, Prefect (Airflow).
• Аналитические способности и умение решать сложные задачи.

Будет преимуществом:

• Знание Java или Scala.
• Опыт разработки DWH хранилищ с нуля.

Стэк:

Spark on Kubernetes в инфраструктуре Yandex Cloud. В качестве оркестратора процессов используется Prefect. Используем Yandex Object Storage как Data Lake.

У нас тебя ждет:

• Команда, которая поможет влиться в коллектив и процессы: составим onboarding-план, ознакомим с документацией, расскажем о проектах.
• Оформление ТК РФ и белая ЗП.
• Конкурентоспособный уровень дохода (отталкиваемся от ожиданий и твоей квалификации).
• График работы 5/2. Гибкое начало рабочего дня с 8:00 до 10:00.
• Формат работы офис/гибрид.
• Лояльное руководство, возможность влиять на принятие решений.
• Комфортные условия труда: современный, светлый офис, мягкие зоны отдыха на каждом этаже.
• Корпоративные мероприятия, благотворительные проекты, подарки к праздникам и значимым датам.