Требуемый опыт работы
От 1 года до 3 лет
Тип занятости
Полная занятость
График работы
Полный день
Вместе с нами тебе предстоит: - Полный цикл разработки всех слоёв хранилища данных (Hadoop), начиная с ядра;
- Участие в составлении плана проекта, детализации, оценка проектных сроков и рисков;
- Участие в проектировании системы, решение исследовательских задач по реализации функционала;
- Разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в Hadoop с использование Apache Spark;
- Разработка и оптимизация ETL процессов, обеспечение производительности и стабильности, при необходимости участие в анализе инцидентов;
- Организация оптимального процесса разработки;
- Участие в процессе передачи системы (пром).
Какие знания и навыки необходимы: - Высшее ИТ-образование;
- Знания принципов построения систем хранения и обработки данных;
- Опыт работы с экосистемой Hadoop (Hive, Spark);
- Опыт работы с реляционными СУБД (Oracle, PostgreSQL);
- Опыт программирования на Python;
- Опыт промышленной разработки ETL на Apache AirFlow;
- Опыт работы с аналитическими хранилищами, знание теории БД, хорошее знание SQL;
- Опыт написания тестов(pytest);
- Понимание методологий Agile и DevOps;
- Опыт работы с ALM-системами будет большим плюсом.
Ключевые навыки
Apache hadoop
Python
Spark framework
Hive
Cpp-netlib
Вакансия опубликована 05.04.2024 в г. Москва.