Компания Profiscope ищет в команду Data инженера. Компания занимается разработкой решений для автоматизированного анализа исходных кодов в сфере кибербезопасности и оценки качества программных продуктов.

Ключевой продукт компании — CodeScoring, платформа анализа программного обеспечения для безопасной работы с open source, проверки совместимости лицензий и оценки качества кода в разрезе команды.

Мы стартап, который нашёл свою нишу, стал её лидером на российском рынке, активно продолжает расти и вкладываться в развитие продукта, исследования и проверку гипотез новых решений. У нас несколько десятков крупных клиентов, включая крупные банки, известных ритейлеров, сотовых провайдеров, страховых фирм и университетов.

Офис компании находится в Петербурге на Петроградской стороне, часть сотрудников работает удаленно. В штате компании три десятка человек, а также около десяти специалистов работающих с нами на сдельной основе.

Наши ожидания

Мы ищем человека уровня junior+/middle, который поможет усилить нашу дата-инженерную команду. Основная бизнес-область данных - security, уязвимости, пакеты, библиотеки и все с ними связанное. Главный стек технологий: Apache Airflow 2.7+, Python 3.11, Pydantic 2.x, SQL, PostgreSQL, Clickhouse, Kafka, Grafana.

Основные задачи/обязанности

Разработка data-пайплайнов (DAG) для забора новых источников данных (много сериалайзеров, кастомного кода на Python).
Модификация/рефакторинг существующих пайплайнов.
Создание утилитных инструментов, DAGs для работы с данными.
Написание SQL-миграций, SQL-запросов для трансформации данных (PostgreSQL, Clickhouse), оптимизация запросов.
Работа над задачами, связанными с качеством данных - валидация, обогащение, очистка, преобразования и пр.
Работа над задачами, связанными с мониторингом пайплайнов - алерты, SLA и пр.

Требования

Опыт 1-3 года.
Желание работать с данными, развиваться в направлении Data Engineering.
Знание Python 3.X на middle-уровне, SQL (на уровне простых выборок, фильтров, оффсетов и главное желание дальше работать со SQL).
Опыт работы с PostgreSQL (или другой аналогичной SQL базой) на уровне пользователя.