В связи с развитием нового направления в компанию АО «Позитив Технолоджиз» требуется Ведущий Data Engineer

О компании Positive Technologies:

В КАЧЕСТВЕ IT КОМПАНИИ АККРЕДИТОВАНА В МИНИСТЕРСТВЕ ЦИФРОВОГО РАЗВИТИЯ.

Positive Technologies более 20 лет на рынке, более 2100 + человек. Positive Technologies — первая и единственная компания из сферы кибербезопасности на Московской бирже (MOEX: POSI). Большинство сотрудников – акционеры и совладельцы компании.

Positive Technologies создает продукты в области информационной безопасности, кибербезопасности, занимается разработкой высоконагруженных систем. Есть офисы и представительства по всей России, из которых шесть — R&D центры. Компания развивает более десяти продуктов в области противодействия киберугрозам и успешно продвигаемся на мировой рынок. Мы разрабатываем сложные высоконагруженные системы, используем различные алгоритмы машинного обучения, обработки и анализа данных. Используем опенсорс-решения и дорабатываем их под наши задачи и нагрузки. Часть наших наработок публикуем на github. Прежде чем отдавать продукты заказчикам, проверяем их на себе

Проект предполагает решение сложных и интересных задач которые мало кто решал в РФ. Мы делаем платформу уровня databricks, в первую очередь для себя, но этим дело не ограничится. В дальнейшем предстоит расширение команды проекта до 10 человек. Те кто хочет тимлидить, получат эту возможность.

Обязанности:

Проектировать, строить и потом развивать компоненты платформы данных с нуля. Это полностью greenfield проект без легаси, пока только с очертаниями архитектуры, и поэтому — отличная возможность сделать очень круто. Предстоит выбор технологий и создание новых технологий/инструментов;
Предполагается Участие в формировании стратегии развития платформы, создание и дальнейший контроль метрик управления платформой как единым продуктом;
Внедрение новых технологий и инструментов для обработки и анализа данных: Изучение новых технологий и инструментов для обработки и анализа данных; Оценка их эффективности и применимости; Внедрение выбранных технологий и инструментов;
Участие в развитии сообщества дата-инженеров.

Требования:

Нужен человек, который способен спроектировать и разработать распределенную файловую систему;
Опыт - 5+ лет в роли Data Engineer и Опыт 3+ года в роли Software Engineer (разработчик Java/Scala, Golang или Python);
Или 7+ лет Software Engineer (разработчик Java/Scala, Golang или Python);
Уверенно уметь в Java (Scala, Python, Go в качестве большого плюса);
Много практики и понимания чего-то из Greenplum / Clickhouse / Vertica / любая другая MPP БД;
Практический опыт с докером и k8s;
Опыт разработки высоконагруженных распределенных систем;
Желательны знания и практический опыт по нескольким пунктам из списка (больше — лучше): Apache Spark / Flink, Apache Kafka, Airflow или аналогичные решения, Great Expectations *или* другие DQ либы;
Уверенный SQL

Условия:

Уровень заработной платы высокий по итогам собеседования обсуждается (100 % белая);
Гибкий график работы – можно выбрать начало рабочего дня, гибридный график или УДАЛЕННАЯ работа;
У каждого из нас шесть недель оплачиваемого отпуска в год;
ДМС со стоматологией – после первого месяца работы. Плюс страховка для путешествий;
Частичная компенсация спорта (50%);
Участие в форумах, семинарах, конференциях; обучение за счёт компании;
Возможность присоединиться к футбольной и волейбольным сборным, для которых мы арендуем спортивные площадки;
Возможность участвовать как в профессиональных мероприятиях компании, так и разделить свои увлечения в клубах по интересам (спорт, настольные игры, онлайн-мафия, книжный клуб и т.д.) - можно присоединиться к уже имеющимся или предложить что-то своё :)

Ведущий Data Engineer / Lead / Architect