Программист-разработчик Spark, Scala, PySpark

Вместе с нами ты будешь:

• участие в проектах связанных с хранением, обработкой и анализом данных в роли разработчика
• разработка приложения для построения витрин данных с использование фреймворка Apache Spark
• оптимизация и доработка текущих приложений написаных на Apache Spark
• взаимодействие с заказчиками и аналитиками в процессе проектирования и реализации задач
• разработка пайплайнов загрузки данных в Airflow

Какие знания и навыки для нас важны:

• высшее образование (Техническое/ИТ)
• опыт работы с Apache Spark
• опыт разработки на Scala
• опыт работы с Hive, Hadoop, Airflow
• опыт работы с реляционными базами данных (Mysql/Oracle/Postgres/DB2)
• знание SQL

Будет преимуществом:

• понимание подходов ETL/ELT
• опыт работы с NiFi, Informatica
• опыт работы очередями ActiveMQ, RabbitMQ, etc
• опыт работы с Apache Kafka
• опыт работы с потоковой обработкой данных (Kafka Streaming, Spark Streaming, Flink)
• опыт работы c инструментами CDC (IBM CDC, Debezium)
• опыт интеграции систем