Data Engineer (экосистема Hadoop)

Нашему Партнёру, российскому проекту, специализирующемуся на разработке масштабируемых решений для распределенных систем в энтерпрайзе, в связи с ростом команды требуется:

Data Engineer

Мы ищем опытного Data Engineer, который обладает глубокими знаниями и навыками в области обработки данных с использованием экосистемы Hadoop и смежных технологий. Кандидат будет отвечать за разработку, миграцию и поддержку приложений, а также обеспечивать безопасную и эффективную работы с большими объемами данных.

О проекте: организация экспертов по данным, специализирующаяся на разработке масштабируемых решений для распределенных систем. Мы сотрудничаем с клиентами из различных отраслей, в том числе:

• компании-разработчики программного обеспечения,
• банки и финансовые организации,
• телекоммуникации,
• розничная торговля и
• дистрибьюторы.

Чем Вы будете заниматься:

• Разработка и поддержка приложений для пакетной и потоковой обработки данных с использованием технологий Hadoop, Spark, Impala, Trino, Flink, Airflow и Ozone.

• Миграция и адаптация приложений для работы с различными версиями и компонентами, например, между Impala и Trino, между разными версиями Spark

• Работа с DWH и Data Lake, включая проектирование схем данных, оптимизацию запросов и обеспечение высокой производительности.

• Понимание принципов безопасной работы с данными, включая аутентификацию и авторизацию с использованием Kerberos и Ranger, обеспечение конфиденциальности и целостности информации.

• Проведение анализа производительности системы и оптимизация процессов обработки данных для обеспечения высокой скорости и эффективности работы.

Что мы хотим в Вас видеть:

• Опыт работы на позиции Data Engineer от 3-х лет.

• Опыт работы с экосистемой Hadoop и связанными технологиями, такими как Spark, Impala, Trino, Flink, Airflow и Ozone.

• Глубокое понимание принципов пакетной и потоковой обработки данных.

• Знание основных концепций Data Warehouse, Data Lake и Lake House.

• Понимание принципов безопасной работы с данными, включая использование Kerberos и Ranger.

• Умение мигрировать и адаптировать приложения для работы с различными версиями и компонентами.

• Отличные аналитические и проблемно-ориентированные навыки.

• Коммуникабельность и способность работать в команде.

Что мы предлагаем:

• Оформление в аккредитованную IT-компанию по ТК РФ.
• Удалённый формат работы.
• Возможность при желании работать из офиса в Санкт-Петербурге (район метро "Московские ворота")