Разработчик Spark/Hadoop (витрины и сервисы озера данных)

Вместе с нами тебе предстоит:

• Участие в проектах хранения, обработки и анализа данных в роли разработчика;
• Разработка нового функционала (витрины данных), рефакторинг, code review;
• Участие в разработке архитектуры витрин;
• Настройка оркестрации витрин данных;
• Участие в разработке технической документации;
• Сбор поставок для вывода на препрод и прод;
• Взаимодействие с заказчиками, аналитиками, архитекторами в процессе проектирования и реализации задач;
• Проведение совместного тестирования с командой аналитиков;
• Соблюдение принципов командной разработки.

Какие знания и навыки для нас важны:

• Опыт работы с одной из указанных СУБД: Mysql/Oracle/Postgres/DB2;
• Опыт разработки витрин данных DWH на стеке Spark+Scala (обязательно);
• Понимание ETL-процессов (обязательно);
• Опыт разработки с использованием инструментария экосистемы Hadoop (Spark SQL, Hive - обязательно; Airflow, Kafka, Hue и Arenadata Hadoop – приветствуется);
• Уверенное знание алгоритмов, структур данных и SQL;
• Умение обращаться с терминалом Linux;
• Понимание подходов к организации разработки (CI/CD, DEVops) приветствуется;
• Понимание процессов непрерывной интеграции и мониторинга.