Сравни — финансовый маркетплейс, мы создаем удобные сервисы и рекомендации для того чтобы помочь людям принимать правильные решения при выборе банковских и страховых продуктов - ОСАГО, страховок путешественника, страхования недвижимости, Каско, вкладов, кредитов, кредитных карт или подобрать лучший вариант ипотеки. Мы первыми в Рунете придумали и запустили сервисы оформления электронного ОСАГО и подбора кредита.

Сейчас у нас:

18 млн уникальных пользователей в месяц
8 000 предложений от банков и страховых компании
140 000 отзывов о банках и страховых компаниях
более 7000 оформленных страховок в день
каждый 10 полис ОСАГО в России куплен на Сравни

В чем ценность вакансии:

Участие в развитии высоконагруженного DWH на современной и высокотехнологичной платформе;
Возможность дать простор своим идеям, команда всегда приветствует инициативу и прислушивается к идеям;
Возможность выбирать наиболее интересный для тебя стек задач;
Результат работы будет влиять на процесс принятия решений в компании.

Основной стек технологий на наших проектах:

ELT фреймворк на Python
Оркестратор - argo workflows;
Kubernetes, Team City, OpenSearch, Grafana, Victoria Metrics, Amixr, Github actions, Terraform, Argo CD;
Хранилище на базе Snowflake с 11 ТБ поколоночно сжатых данных;
Более 150 активных пользователей DWH и динамические окружения для разработки;
50+ источников данных в виде MSSQL, MySql, Postgres, MongoDB, разнообразными сторонними API и тд;
Streaming через kafka, с помощью source/sink kafka коннекторов;

Что предстоит делать:

Оптимизация процессов загрузки, преобразования данных, мониторинг сборки витрин;
Выстраивание и развитие процессов обработки данных в компании.
Интеграция проекта с новыми источниками данных;
Стандартизация Python кода и отлаживание CI/CD;
Организация и реализация процесса совершенствования Data Quality;
Покрытие кода автотестами, ci/cd разработка;
Построение наглядной системы мониторинга за сборками;

Требования:

Опыт на позиции Python разработчика/ Data Engineer или аналогичной не менее 3 лет;
Понимание обработки больших объемов данных (млрд+ записей);
Экспертные знания Python;
SQL.

Будет плюсом:

Понимание устройства инфраструктуры DWH проектов;
Опыт работы со Snowflake
Глубокое знание SQL

Что мы предлагаем:

Конкурентную зарплату;
Развитую бонусную систему;
ДМС, включая стоматологию (в лучших клиниках Москвы) и страхование жизни,
Оплату посещения профильных конференций;
Оплату профильных курсов;
Холодильник с едой в офисе;
Пицца/пироги/суши каждую пятницу, вечера национальных кухонь;
Компенсацию спортзала;
Современную технику;
Покупку профильной литературы;
Социальная ответственность: материальная помощь, при рождении ребёнка;
Корпоративные мероприятия и тимбилдинги (картинг, пейнтбол, лазертег и др.);
Помощь с переездом для кандидатов из других городов (оплата билетов и первого месяц квартиры);
Современный офис с видом на всю Москву (прямо у метро Римская/Площадь Ильича); (2 минуты пешком от метро).

Data Engineer DWH