Data Engineer (Batching)

Мы находимся в поиске middle/senior DE в команду, которая активно развивает направление Data Platform.

Задачи:

• Оптимизировать PySpark джобы.
• Создавать пайплайны NRT обработки данных для аналитики и рекомендаций.
• Подключать источники новые источники событий.
• Внедрять Data Quality Gates и лучшие практики работы с данными.
• Интегрировать платформу данных Звука в большую экосистему Сбера.

Требования:

• Релевантный опыт работы на Python/Scala: от 2-х лет.
• Практический опыт работы с Spark, Hadoop, Airflow, Kafka.
• Знакомство с Kubernetes и опыт его использования в работе.