Мы ищем в команду группу Дата инженеров - в направление аналитики Летуаль (оформление в аккредитованную ИТ компанию Летуаль)
Чем предстоит заниматься:
- Участвовать в проектировании, создании, развертывании и управлении общей архитектуры платформы данных
- Выстраивать процессы взаимодействия DWH и других компонент экосистемы данных компании
- Проектировать модели данных детального слоя под бизнес требования с оптимальным хранением данных
- Разрабатывать процедуры формирования детального слоя данных и слоя витрин
- Поддерживать текущие автоматизированные регулярные ETL процессы
- Настраивать поток данных с использованием распределенных систем обмена сообщениями, в частности Kafka
- Разрабатывать схемы подключения новых источников, включая получение структурированных и неструктурированных данных из различных источников
- Реализовывать процессы CI/CD и мониторинга разработанных процессов обработки данных
- Создавать и улучшать процессы обработки данных
- Участвовать в проектировании, внедрении и развитии каталога данных
- Участвовать в развитии процессов Data Governance
- Документировать свою работу в JIRA/Confluence
Мы ожидаем:
- опыт от 3-х лет в роли Data Engineer
- знание современных инструментов ETL/ELT, CDC и способов их автоматизации
- умение извлекать данные из различных источников (БД, логи, сторонние системы и т.п.)
- умение осуществлять автоматизированный сбор и структурирование информации с сайтов (parsing) при помощи программы/cервиса
- умение выбирать технологию для хранения данных и их обработки
- опыт проектирования и внедрения архитектуры хранилища данных с применением практик и технологий Data management, DWH/BI, Big Data и Data streaming
- понимание смежных технологических областей (инфраструктура, DevOps, DevSecops, Data Science, Cloud native и др.)
- владение языками программирования (SQL на уровне не ниже Middle, Python, либо другом скриптовом языке программирования)
- опыт работы с планировщиками задач (MS SQL, Airflow)
- опыт работы с ClickHouse, PostgreSQL, Google Analytics, BigQuery, Appsflyer
- опыт работы с микро-сервисной архитектурой
- опыт работы с очередями и брокерами сообщений Kafka/RabbitMQ
- опыт работы с BI инструментами MSOLAP/PowerBI/QlikView/различные российские решения
Мы предлагаем:
Интересные задачи;
Уникальную профессиональную команду;
Достойный уровень вознаграждения;
ДМС после испытательного срока;
Работа гибрид или в офисе класса А с потрясающим видом на Москву.