Разработчик ETL

Мы в поиске разработчика ETL в команду Data Cloud, обеспечивающую функциональность централизованного аналитического хранилища данных Почты России.

Наш стек - БД: Hadoop, ETL: ApacheAirflow, конвертация: Spark(Scala)/Java, Flink, Flum.

Чем предстоит заниматься:

• Разрабатывать и проектировать алгоритмы и процессы загрузки данных в единую модель данных в Hadoop на Apache Airflow
• Оптимизировать и настраивать производительность ETL-процессов
• Производить рефакторинг существующих решений и переводить их на единую модель данных как источник
• Дорабатывать процессы загрузки в DWH (при знании Scala/Java)

Наш кандидат:

• Владеет фундаментальными знаниями принципов построения распределенных систем хранения и обработки данных
• Имеет опыт работы с экосистемой Hadoop (HDFS, Hive, Spark)
• Имеет опыт работы с реляционными СУБД
• Имеет опыт работы со Scala/Java от 1.5 лет (+ опыт работы с Kafka или хотя бы теоретическое понимание, что это такое) ИЛИ опыт работы с Python от 1.5 лет

Будет плюсом:

• Опыт работы с Unix shell
• Опыт работы с Apache Airflow
• Опыт работы с Hadoop Oozi

Условия:

• Официальное трудоустройство по ТК РФ
• Гибридный либо удаленный формат работы
• Конкурентную зарплату и премию
• Льготную ИТ- ипотеку и другие преимущества для сотрудников аккредитованных ИТ-компаний
• ДМС со стоматологией, страхование на время выезда за рубеж
• Корпоративные скидки у компаний-партнеров: фитнес, ДМС для родственников
• Современный стек и продуктовый подход к разработке
• Поддержку со стороны внутренних комьюнити: Java, Frontend, iOS, Android, DevOps, Design, QA, .NET, Analytics, Agile, Python, 1C, Solution Architecture, Support, Project management