Data Engineer на RecSys Platform (Big Data)

Big Data МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist.

Кого мы ищем?

Команда центра Big Data в поиске Data Engineer на RecSys Platform

Мы уже поставляем рекомендации в онлайн-кинотеатр КИОН, в читалку «Строки», в МТС Банк и сервисы по продаже билетов. Сейчас решаем задачи объединения рекомендательных движков в единую платформу и масштабирования на все сервисы компании, в том числе на приложение Мой МТС. Это самое крупное приложение экосистемы с несколькими десятками млн. пользователей, являющееся основным рычагом для развития экосистемы. Команде рекомендаций предстоит решить задачу персонализации наполнения главной страницы.

Стек: Python, SQL, Spark, Hadoop, Airflow, Greenplum, Postgres, Redis, Kafka

Обязательно:

• Коммерческий опыт работы Data Engineer от 2 лет
• Хорошее знание Python
• Отличное знание SQL
• Коммерческий опыт со Spark (работа с большими объемами данных)
• Опыт работы с любым оркестратором (желательно Airflow)
• Опыт работы с экосистемой Hadoop
• Опыт работы с реляционными Базами Данных (например Postgres, Oracle, MySQL)
• Понимание ML, опыт работы в команде с DS
• Желателен опыт работы с MPP-базами данных (Teradata/Greenplum)

Что предстоит делать?

• Строить витрины данных
• Оптимизировать пайплайны формирования витрин данных
• Развивать процессы мониторинга и проверки качества данных (DQ)
• Строить интеграции с внешними источниками данных

Условия: каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16 MacBook Pro или Dell на выбор.

Есть ли обучение?

• Локальные конференции, митапы
• Корпоративный университет МТС и масштабная виртуальная библиотека
• А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы

Какой график?

Гибкое начало рабочего дня в промежутке с 8 до 11. Есть возможность работать несколько дней вне офиса по договоренности с командой.

Сколько этапов при отборе?

Не более трех:

1. HR + первое тех. интервью с лидом направления
2. Тестовое задание/второе интервью - по необходимости
3. Собеседование с PO и командой, выбор кандидатом проекта