Senior Data Engineer

В CodeScoring (https://codescoring.ru) мы строим продукт на стыке анализа исходного кода и данных об уязвимостях.

У команды Data — ключевая роль: мы забираем, храним, обрабатываем и превращаем сырые открытые данные в то, на чём держится продукт. Сейчас ищем опытного инженера — с самостоятельностью уровня Senior, техническим мышлением и интересом к информационной безопасности.

Мы не ищем замену — мы растём. Задач становится больше, пайплайнов тоже. Руководит командой https://github.com/xnuinside.

Что внутри:

• Погружение в предметную область — open source, уязвимости, библиотеки, пакеты, CVE, CPE и всё, что рядом.

• Ведение задач end-to-end: от уточнения требований и проектирования архитектуры до внедрения и поддержки.

• Код-ревью, стандарты, инженерная культура — участвуем, развиваем, не отмахиваемся.

• Разработка сервисов на Python (возможно, иногда на Go).

• Создание и поддержка DAG-ов в Airflow.

• Работа с SQL (PostgreSQL, Clickhouse): трансформация данных, написание миграций и оптимизация запросов.

• Модификация пайплайнов, рефакторинг, профилирование.

• Улучшение качества данных: валидация, очистка, обогащение.

• Мониторинг пайплайнов, настройка SLA и алертов.

• Пишем тесты. Всегда.

Наш стек:

• Python 3.11 / 3.12, Pydantic 2.x

• Apache Airflow 2.10+

• PostgreSQL, Clickhouse, Cassandra

• Kafka, Grafana

• Встречаются Go и Rust, но нечасто

Команда:

• 3 Data-инженера

• Аналитик (ручной, по спецификам предметной области)

• Техлид
  Поддерживаем ~10 сервисов, 3 хранилища и около 90 пайплайнов.

Что ждём от тебя:

• Отличное знание Python на уровне Senior (в том числе асинхронность, память, типы данных, GIL).

• Уверенное владение SQL: знаешь, как устроены индексы, что такое оконные функции, триггеры, домены.

• Опыт работы с PostgreSQL или аналогичной базой.

• Умение обосновывать решения, сравнивать подходы и видеть архитектуру.
  

Плюсом будет:

• Теория: CAP, ACID, разница между SQL и NoSQL.

• Опыт с Kafka, Cassandra, Clickhouse.

• Знакомство с Apache Airflow (если не работал — посмотри, что это и как устроено).

Условия:

• Удалёнка, гибрид или офис — по желанию.
  Техлид работает удалённо, остальная команда чаще в офисе.
  Адрес: м. Петроградская, Санкт-Петербург.

• Оформление по ТК РФ.

• ЗП от 280 000 ₽ после налогов. Верхний потолок обсуждается.

• 28 дней отпуска, через год добавляется ещё неделя (или участие в ИТ-регате, по желанию).

• ДМС (СПб и Москва; по другим городам — обсуждаем).

• Оплата больничного 100% после испытательного срока.

• Компания оплачивает участие в профильных конференциях: PyCon, PiterPy, SmartData и т.д.

• Без ежедневных созвонов. Формат — текстовые статусы в чате.
  Регулярно — только ретро и грумминг раз в 2 недели.