Наша команда решаем крупные задачи продаж розничного бизнеса на базе платформы Hadoop, такие как построение единого хранилища фичей для моделей прогнозирования и оптимизация скорингов продуктовых предложений. Мы работаем над проектом по созданию инструментов, позволяющих унифицировать процесс сбора и опромышлевания данных, а так же обеспечить масштабируемость и надежность решения. Проект предполагает создание витрин как в Batch, так и в NRT (near real time) режиме.

Обязанности

Проводить анализ источников данных в Hadoop, GreenPlum для реализации задач
Разрабатывать алгоритмы, создавать инструментарий и пайплайны сбора и обработки больших данных
Проектирование и разработка аналитических витрин
Проводить системное, функциональное и интеграционное тестирование
Мониторинг и контроль качества загружаемых данных
Развитие и опромышлевание инструментов юнита

Требования

Отличное знание SQL (вложенные запросы, оконные функции, оптимизация запросов)
Уверенное владение и опыт разработки на Python и/или Java/Scala
Опыт работы с большими объемами данных с использованием стека технологий Big Data (Hadoop, Spark, Hive) и/или MPP систем (GreenPlum/Teradata/Vertica)
Желание развиваться в этой профессиональной области, работать в команде, проявлять инициативу и предлагать решения

Технический стек:

Hadoop (Hive, Spark, Kafka, Hbase, Oozie)
языки программирования (Scala, Pyton)
инструменты DevOps (Git, Nexus, Jenkins)

Условия

удобное расположение офиса и гибкий график удаленной работы
стабильный оклад и социальная поддержка сотрудников
расширенный ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких
бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
корпоративная пенсионная программа
корпоративное обучение за счет компании
реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение до 100 тыс. рублей
официальное оформление с первого дня
корпоративный спортзал и скидки в спортзалы-партнеры
мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы

Data engineer