Программист-разработчик Scala (Spark)

Вместе с нами ты будешь:

• Участвовать в проектах связанных с хранением, обработкой и анализом данных в роли разработчика
• Разрабатывать приложения для построения витрин данных с использованием фреймворка Apache Spark
• Оптимизировать и дорабатывать текущие приложения, написанные на Apache Spark
• Взаимодействовать с заказчиками и аналитиками в процессе проектирования и реализации задач
• Разрабатывать пайплайны загрузки данных в Airflow

Какие знания и навыки для нас важны:

• Высшее образование (Техническое/ИТ)
• Опыт работы с Apache Spark
• Опыт разработки на Scala
• Опыт работы с Hive, Hadoop, Airflow
• Опыт работы с реляционными базами данных (Mysql/Oracle/Postgres/DB2)
• знание SQL

Будет преимуществом:

• Понимание подходов ETL/ELT
• Опыт работы с NiFi, Informatica
• Опыт работы очередями ActiveMQ, RabbitMQ, etc
• Опыт работы с Apache Kafka
• Опыт работы с потоковой обработкой данных (Kafka Streaming, Spark Streaming, Flink)
• Опыт работы c инструментами CDC (IBM CDC, Debezium)
• Опыт интеграции систем