Data Engineer, Платформа, Хранение и обработка данных

Команда DE-infra занимается разработкой инструмента управления главного двигателя автоматизации в компании Ozon – Airflow, по модели Airflow as a Service, а также разработкой инструмента интеграции данных.

Мы помогаем нашим пользователям разрабатывать пайплайны движения данных и предосталяем им окружение для работы. В процессе работы мы используем практики DevOps, разнообразные инструменты и технологии: Python, Kubernetes, Airflow, Hadoop, Spark, MySQL, PostgreSql, Vertica, ClickHouse, Prometheus, Hive, Kafka, Grafana, Git, Helm.

Наш стек:

• Python
• Vertica, PostgreSQL, ClickHouse, Hive, MS SQL
• PySpark, HDFS
• Airflow (Celery Executor, k8s)
• Gitlab CI/CD, Kubernetes, Helm
• Prometheus, Grafana, S3
• FastApi

Вам предстоит:

• Разработка сервиса интеграции данных
• Реализация новых и поддержка существующих интеграций данных
• Развитие Data Quality
• Развитие Observability
• Документирование разрабатываемых решений
• Проведение code review

Мы ожидаем:

• Уверенное владение Python
• Опыт работы с FastApi (или другим web фреймворком)
• Опыт работы с Hadoop экосистемой (HDFS, PySpark, Hive)
• Опыт работы с MPP (Vertica)
• Опыт работы с СУБД (Postgre SQL/MS SQL)
• Опыт работы с Airflow

Мы предлагаем:

• Динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе сделать лучший продукт на рынке e-commerce
• Свободу действий в принятии решений
• Достойный уровень заработной платы
• Профессиональную команду, которой мы гордимся
• Возможность развиваться вместе с нашим бизнесом