Ведущий Data Engineer / Lead / Architect (Java)

В связи с развитием нового направления в компанию АО «Позитив Технолоджиз» требуется Ведущий Data Engineer (Architect, в перспективе TeamLead)

Positive Technologies более 20 лет на рынке, более 2100 + человек. Positive Technologies — первая и единственная компания из сферы кибербезопасности на Московской бирже (MOEX: POSI). Большинство сотрудников – акционеры и совладельцы компании.

Positive Technologies создает продукты в области информационной безопасности, кибербезопасности, занимается разработкой высоконагруженных систем. Есть офисы и представительства по всей России, из которых шесть — R&D центры. Компания развивает более десяти продуктов в области противодействия киберугрозам и успешно продвигаемся на мировой рынок. Мы разрабатываем сложные высоконагруженные системы, используем различные алгоритмы машинного обучения, обработки и анализа данных. Используем опенсорс-решения и дорабатываем их под наши задачи и нагрузки. Часть наших наработок публикуем на github. Прежде чем отдавать продукты заказчикам, проверяем их на себе

Проект предполагает решение сложных и интересных задач которые мало кто решал в РФ. Мы делаем платформу уровня databricks, в первую очередь для себя, но этим дело не ограничится. В дальнейшем предстоит расширение команды проекта до 10 человек. Те кто хочет тимлидить, получат эту возможность.

Никакого легаси, развязанные руки с точки зрения архитектуры, выбора технологий и даже создания новых технологий/инструментов.

Обязанности:

• Проектировать, строить и потом развивать компоненты платформы данных с нуля. Это полностью greenfield проект без легаси, пока только с очертаниями архитектуры, и поэтому — отличная возможность сделать очень круто;
• Предлагать, отстаивать и реализовывать архитектурные решения. Предполагается Участие в формировании стратегии развития платформы, создание и дальнейший контроль метрик управления платформой как единым продуктом;
• Разрабатывать компоненты для хранения и обработки данных на java / golang / python
• Оптимизировать/настраивать/дорабатывать kafka/spark/flink/trino
• Участие в развитии сообщества дата-инженеров.

Требования:

• ​​​​​​​Нужен человек, который способен спроектировать и разработать распределенную файловую систему;
• Опыт - 5+ лет в роли Data Engineer и Опыт 3+ года в роли Software Engineer (разработчик Java/Scala, Golang или Python);
• Или альтернативно 7+ лет Java Software Engineer (Scala, Python, Go в качестве большого плюса);
• Требования по стэку:

- обязательно JVM (Java/Scala),

- желательно, но совсем не критично Python,

- Golang — очень большой плюс

• Хорошее понимание DewOps: практический опыт с Docker и k8s, Terraform, Ansible, контейнеры (больше — лучше) и тд.
• Много практики и понимания чего-то из Greenplum / Clickhouse / Vertica / любая другая MPP БД;
• Опыт разработки высоконагруженных распределенных систем;
• Желательны знания и практический опыт по нескольким пунктам из списка (больше — лучше): Apache Spark / Flink, Apache Kafka, Airflow или аналогичные решения, Great Expectations *или* другие DQ либы; форматы хранения iceberg/hudi/deltalake
• Уверенный SQL

Условия:​​​​​​​

• Уровень заработной платы по итогам собеседования обсуждается;
• Годовая премия —по результатам труда и пропорционально отработанному времени;
• Гибкий график работы – можно выбрать начало рабочего дня, гибридный график или УДАЛЕННАЯ работа;
• Ежегодный отпуск — 28 календарных дней плюс 10 дополнительных оплачиваемых выходных;
• Заботу о твоем здоровье: ДМС со стоматологией с первого месяца работы, а также частичная компенсация занятий спортом;
• Возможность учиться и расти вместе с лучшими экспертами;
• Возможность участвовать как в профессиональных мероприятиях компании, так и разделить свои увлечения в клубах по интересам (спорт, настольные игры, онлайн-мафия, книжный клуб и т.д.) - можно присоединиться к уже имеющимся или предложить что-то своё :);
• Работа в аккредитованной ИТ-компании и возможность использования льгот Министерства цифрового развития.