Обязанности:

Spark:
Развертывание, настройка кластеров Spark и управление им.
Оптимизация производительности кластера и использования ресурсов.
Общение с командой разработки ML.
Внедрение решений для мониторинга и ведения логов для кластера Spark.
Оптимизации Spark и настройки производительности.
API Gateway:
Установка и настройка API Gateway (например, NGINX, Kong, Apigee).
Настройка маршрутизации, балансировки нагрузки и управления API.
Развертывание БД:
Развертывание и настройка реляционных (например, PostgreSQL, MySQL) или NoSQL баз данных (например, MongoDB, Cassandra).
Обеспечение резервного копирования, восстановления и репликации данных.
Kafka:
Установка и настройка Apache Kafka.
Настройка кластеров Kafka, брокеров, тем и клиентов.
Обеспечение отказоустойчивости и мониторинга Kafka.
Модули мониторинга и логирования:
Внедрение и настройка инструментов мониторинга (например, Prometheus, Grafana, ELK Stack).

Требования:

Опыт развертывания и управления кластерами Spark.
Уверенные знания одного из менеджеров кластеров Spark (YARN, Mesos).
Автоматизация процесса развертывания и оптимизация CI/CD.
Знание одного из инструментов создания сценариев и автоматизации (Ansible, Terraform, Jenkins).
Опыт работы с технологиями контейнеризации (Docker, Kubernetes).
Ваши преимуществом будет:
Опыт работы с PySpark, Scala.
Понимание принципов сетевой безопасности и лучших практик.
Опыт работы в Agile/Scrum командах.

Инженер DevOps