Data Engineer DWH

Сравни — финансовый маркетплейс, мы создаем удобные сервисы и рекомендации для того чтобы помочь людям принимать правильные решения при выборе банковских и страховых продуктов - ОСАГО, страховок путешественника, страхования недвижимости, Каско, вкладов, кредитов, кредитных карт или подобрать лучший вариант ипотеки. Мы первыми в Рунете придумали и запустили сервисы оформления электронного ОСАГО и подбора кредита.

Сейчас у нас:

• 18 млн уникальных пользователей в месяц
• 8 000 предложений от банков и страховых компании
• 140 000 отзывов о банках и страховых компаниях
• более 7000 оформленных страховок в день
• каждый 10 полис ОСАГО в России куплен на Сравни

В чем ценность вакансии:

• Участие в развитии высоконагруженного DWH на современной и высокотехнологичной платформе;

• Возможность дать простор своим идеям, команда всегда приветствует инициативу и прислушивается к идеям;

• Возможность выбирать наиболее интересный для тебя стек задач;

• Результат работы будет влиять на процесс принятия решений в компании.

Основной стек технологий на наших проектах:

• ELT фреймворк на Python

• Оркестратор - argo workflows;

• Kubernetes, Team City, OpenSearch, Grafana, Victoria Metrics, Amixr, Github actions, Terraform, Argo CD;

• Хранилище на базе Snowflake с 11 ТБ поколоночно сжатых данных;

• Более 150 активных пользователей DWH и динамические окружения для разработки;

• 50+ источников данных в виде MSSQL, MySql, Postgres, MongoDB, разнообразными сторонними API и тд;

• Streaming через kafka, с помощью source/sink kafka коннекторов;

Что предстоит делать:

• Оптимизация процессов загрузки, преобразования данных, мониторинг сборки витрин;

• Выстраивание и развитие процессов обработки данных в компании.

• Интеграция проекта с новыми источниками данных;

• Стандартизация Python кода и отлаживание CI/CD;

• Организация и реализация процесса совершенствования Data Quality;

• Покрытие кода автотестами, ci/cd разработка;

• Построение наглядной системы мониторинга за сборками;

Требования:

• Опыт на позиции Python разработчика/ Data Engineer или аналогичной не менее 3 лет;

• Понимание обработки больших объемов данных (млрд+ записей);

• Экспертные знания Python;

• SQL.

Будет плюсом:

• Понимание устройства инфраструктуры DWH проектов;

• Опыт работы со Snowflake

• Глубокое знание SQL

Что мы предлагаем:

• Конкурентную зарплату;

• Развитую бонусную систему;

• ДМС, включая стоматологию (в лучших клиниках Москвы) и страхование жизни,

• Оплату посещения профильных конференций;

• Оплату профильных курсов;

• Холодильник с едой в офисе;

• Пицца/пироги/суши каждую пятницу, вечера национальных кухонь;

• Компенсацию спортзала;

• Современную технику;

• Покупку профильной литературы;

• Социальная ответственность: материальная помощь, при рождении ребёнка;

• Корпоративные мероприятия и тимбилдинги (картинг, пейнтбол, лазертег и др.);

• Помощь с переездом для кандидатов из других городов (оплата билетов и первого месяц квартиры);

• Современный офис с видом на всю Москву (прямо у метро Римская/Площадь Ильича); (2 минуты пешком от метро).