Дата-инженер

Проект:

Команда разрабатывает микро-сервисный продукт на базе искусственного интеллекта, который будет генерировать стратегические цели для руководства крупного логистического холдинга (информация будет собираться из различных источников – и с информации по предсказаниям по грузоперевозкам, и звонков с обращениями клиентов в Call центры компании, и в целом будет собираться широкая аналитика не только для производственного и коммерческого блоков, но и для маркетинга и HR)

Наш стек: Python/Java, Postgres, S3, Airflow, Kubernetees, Docker, JavaScript React, Cisco

Задачи:

• Извлечение, преобразование и очистка данных
• Выстраивание новых и оптимизация существующих ETL-процессов (ELT)
• Автоматизация различных задач, связанных со сбором и обработкой данных
• Оптимизация процессов обработки данных и запросов к источникам данных (API, S3, БД)
• Построение витрин
• Предстоит работать со следующими технологиями: Python, SQL, Docker, SQL-Alchemy, MS SQL Server, PostgreSQL, Airflow, dbt, Kafka, микросервисная архитектура

Что требуется:

• Написание сложных SQL запросов и их оптимизация
• Опыт написания скриптов на Python
• Опыт создания ETL/ELT процессов
• Опыт работы с Airflow (или с другим аналогичным инструментом), dbt

Мы предлагаем:

• Аккредитованная ИТ компания, все социальные гарантии
• Конкурентный уровень заработной платы на старте, также мы проводим ежегодную оценку персонала по методике Performance Review с возможностью финансового/профессионального/карьерного роста в компании
• ДМС + Программа «Кафетерий льгот»: сотрудники за счет компании могут компенсировать расходы на страхование, обучение, спорт, спортивный инвентарь + Программа «Добросервис»: предоставляет возможность получать онлайн-консультации специалистов по психологическим, юридическим, финансовым вопросам
• Внутреннее обучение и оплата внешних тренингов, семинаров и конференций, корпоративная библиотека