Middle Data Engineer на продукт Защитник (Big Data)

Big Data МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist.

Кого мы ищем?

Команда центра Big Data в поиске Data Engineer на продукт Защитник

Защитник – это умная система защиты от нежелательных звонков и повышения информированности пользователя о входящих вызовах. C помощью технологий Machine Learning и Deep Learning мы делаем жизнь наших клиентов безопаснее - система примет за вас нецелевые вызовы и пришлёт расшифровку разговора в Мой МТС и SMS-уведомление, сообщит о мошеннике во время звонка, подскажет, кто звонит. База пользователей услуг на основе данных Big Data превысила 40 млн, блокируется более 300 млн вызовов в месяц.

Стек: Python, Hadoop, Spark, SQL, PostgreSQL, Greenplum, Airflow, Kubernetes

Обязательно:

• Понимание моделей данных и принципов устройства хранилищ данных
• Хорошее знание SQL
• Опыт работы хотя бы с одной промышленной БД
• Знание стека Hadoop/Hive/Spark и опыт работы с большими объемами данных
• Знание Python, написание API
• Знакомство с CI/CD и Docker
• Умение вести проекты в GIT

Что предстоит делать?

• Заниматься разработкой сервисов продуктов группы Защитник - REST/GRPC сервисы, Kafka/RabbitMQ consumers
• Разрабатывать пайплайны обработки данных и машинного обучения на Python и Spark с использованием Airflow, MLflow, а также собственных разработок
• Делать интеграцию с внешними системами (S3, Kafka, API , FTP)
• Поддерживать разработанные решения и обеспечивать качество данных

Условия: каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16 MacBook Pro или Dell на выбор.

Есть ли обучение?

• Локальные конференции, митапы
• Корпоративный университет МТС и масштабная виртуальная библиотека
• А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы

Какой график?

Гибкое начало рабочего дня в промежутке с 8 до 11. Есть возможность работать несколько дней вне офиса по договоренности с командой.

Сколько этапов при отборе?

Не более трех:

1. HR + первое тех. интервью с лидом направления
2. Тестовое задание/второе интервью - по необходимости
3. Собеседование с PO и командой, выбор кандидатом проекта