Data Engineer

Сравни.ру – финансовый супермаркет, мы создаем удобные сервисы и рекомендации для того чтобы помочь людям принимать правильные решения при выборе банковских и страховых продуктов - ОСАГО, страховок путешественника, страхования недвижимости, Каско, вкладов, кредитов, кредитных карт или подобрать лучший вариант ипотеки. Мы первыми в Рунете придумали и запустили сервисы оформления электронного ОСАГО и подбора кредита.

Сейчас у нас:

• 18 млн уникальных пользователей в месяц

• 8 000 предложений от банков и страховых компаний

• 140 000 отзывов о банках и страховых компаниях

• более 3000 оформленных страховок в день

В чем ценность вакансии:

• Построение нового DWH с нуля с полноценным R&D и использованием лучших инструментов и лучших архитектурных подходов

• Возможность самостоятельно реализовать сервисы “под ключ” от r&d до выпуска в прод

• Горизонтальная команда, где мнение и опыта каждого участника влияет на реализацию всего проекта.

• При необходимости, нас будут консультировать лучшие специалисты и архитекторы на рынке

Основной стек технологий на наших проектах:

• ELT фреймворк на Python

• Оркестратор - argo workflows;

• Kubernetes, Team City, OpenSearch, Grafana, Victoria Metrics, Amixr, Github actions, Terraform, Argo CD;

• Хранилище на базе Snowflake с 11 ТБ поколоночно сжатых данных;

• Более 150 активных пользователей DWH и динамические окружения для разработки;

• 50+ источников данных в виде MSSQL, MySql, Postgres, MongoDB, разнообразными сторонними API и тд;

• Streaming через kafka, с помощью source/sink kafka коннекторов;

• На mvp нового dwh: Greenplum, ClickHouse, Spark, Data lake на базе yandex cloud object storage, dbt для формирования витрин данных

Ищем middle/senior data engineer на проект по разработке новой платформы данных.

Что предстоит делать:

• Проведение R&D по различным направлениям проектирования платформы данных: data quality, real-time, data marts, data lake, etc.;

• Разработка elt пайплайнов;

• Интеграция с системами источниками, настройка kafka коннекторов;

• Разработка spark заданий для непрерывной поставки данных в dwh/data lake;

• Разработка python фреймворка для управления всеми аспектами работы платформы данных;

• Разработка/внедрение фреймворка моделирования данных dds слоя в dwh;

• Реализация архитектуры обработки данных lambda/kappa;

• Разработка ci/cd пайплайнов, автотестов;

• Развитие процессов обработки данных в компании;

Требования:

• Уже работал на позиции Data Engineer не менее 3-х лет;

• Уверенный опыт программирования на Python;

• Опыт работы с Greenplum, СlickHouse, Spark, Kafka;

• Уверенные знания SQL, оптимизация запросов;

• Понимание концепций построения DWH/Data lake;

• Понимание процессов Data Governance: data quality, data lineage, etc.;

• Понимание контейнеризации и CI/CD;

Будет плюсом:

• Понимание ключевых принципов архитектуры высоконагруженных приложений;

• K8s, helm;

• Опыт работы с java/scala.

Что мы предлагаем:

• Конкурентную зарплату;

• Развитую бонусную систему;

• ДМС, включая стоматологию (в лучших клиниках Москвы) и страхование жизни,

• Оплату посещения профильных конференций;

• Оплату профильных курсов;

• Холодильник с едой в офисе;

• Пицца/пироги/суши каждую пятницу, вечера национальных кухонь;

• Компенсацию спортзала;

• Современную технику;

• Покупку профильной литературы;

• Социальная ответственность: материальная помощь, при рождении ребёнка;

• Корпоративные мероприятия и тимбилдинги (картинг, пейнтбол, лазертег и др.);

• Помощь с переездом для кандидатов из других городов (оплата билетов и первого месяц квартиры);

• Современный офис с видом на всю Москву (прямо у метро Римская/Площадь Ильича); (2 минуты пешком от метро).