Разработчик Data Linage (Java, Scala)

Наша команда создает и развивает продукт для построения Data Lineage на различных технологических стеках хранения и преобразовании информации ( от традиционных РСУБД : PostgreSQL, GreenPlum, … до Hadoop: Hive, Spark, … ). Перед командой стоит задача по созданию продукта не только в рамках платформы Фабрики, но и выхода в экосистему Сбербанка, а далее и на внешний рынок.

Data lineage – информация, которая описывает движение данных от источника их происхождения по точкам обработки и применения.

В мире Big Data, когда информации становится все больше, Data lineage позволяет управлять данными, реализуя следующие задачи:

· Обеспечение качества данных за счет однозначной идентификации их источников;

· Повышение доверия к данным через прозрачность всех процессов работы с ними;

· Предоставление метаданных и сведений об их изменении в точках трансформации данных.

Обязанности:

• Активное участие в развитие направления Data Lineage

• Разработка агентов сбора Data Lineage

• Разработка на Java, Scala, Spark

Требования:

• Уверенные знания Java Core(от 3 лет)/Spring Boot
• Знание Hadoop (Spark, Hive)
• Знание CI/CDP инструментов
  
  Плюсом будет:
• Знание Scala, Python, Groovy, Spark
• Опыт разработки ETL
• Знание Hadoop (Spark, Hive)
• Опыт работы в High Load
• Опыт работы с графовыми БД (у нас JanusGraph, Gremlin)
• Опыт работы с ElasticSearch, HBase, Kafka, Apache Atlas, Nginx

• Интересные задачи (современный стек технологий, нет легаси кода и нет задач "в стол")

• Гибкий график работы

• Возможность работать из дома

• Дружный и отзывчивый коллектив, организованный по принципам Agile

• Оплату профессиональных конференций и обучений

• Широкие возможности карьерного и профессионального роста

• Оформление по ТК РФ

• Соц. Пакет (ДМС, мобильная связь и многое другое)

• Скидки от партнеров Экосистемы Сбера