Data Engineer / Дата инженер KION 2024

Группа комплексного анализа в продукте KION занимается разработкой системы моделей прогнозирования потребления контента на сервисе: от прогноза популярности конкретных фильмов и сериалов на платформе, до оценки объема зрителей и поиска оптимального графика релизов и прогноза абонентской базы.

Кого мы ищем: Data Engineer, который поможет нам реализовать быструю и точную систему поставки данных от источников в витрины, чтобы команда аналитиков могла строить пайплайны моделей на качественных и прозрачно формирующихся данных.

Идеальный кандидат не боится углубиться в backend-разработку и концептуально понимать аналитиков, интересуется не только технической реализацией ETL, но и тем, зачем, кому, куда и откуда идут данные, а также имеет представление о них с точки зрения бизнес-задач. Особенно ценным для нас будет опыт работы аналитиком данных и/или системным аналитиком. Умение структурировать потоки информации и вычленять наиболее важную и приоритетную часть также будет большим плюсом.

Основной стек продукта: Python, SQL, Apache Spark, Airflow, Hadoop, Hive, Greenplum, Jira, Confluence

Задачи:

• Поиск и исследование новых источников данных, способных помочь в выстраивании пользовательской аналитики
• Интеграция источников данных в контур KION, в том числе настройка обмена данными с BigData МТС
• Разработка и поддержание устойчивых ETL-процессов
• Настройка инструментов контроля качества данных
• Решение ad-hoc задач по сборке витрин на базе таблиц BigData

Требования:

• Знание Python (pandas, numpy)
• Опыт работы с большими данными (Hadoop, Hive, Spark)
• Опыт работы с Apache Airflow или ПО для оркестрации процессов
• SQL (джойны, оконные функции)
• Знание git
• Знание основ bash будет плюсом
• Опыт работы с Apache Kafka будет плюсом

Мы предлагаем:

• Интересный проект, сильную команду и дружескую атмосферу

• Гибкое начало рабочего дня

• Стабильность - оформление в штат по ТК РФ, оклад и годовые премии

• ДМС со стоматологией через 3 месяца после начала работы, корпоративная мобильная связь

• Обучение, развивающие программы и мероприятия

• Скидки и мероприятия от компаний партнеров

• Команда в Москве, также можно обсудить удаленный или гибридный формат.