Описание проекта

Создаем то, что поможет оптимизировать ассортимент компании. Новый долгосрочный проект, который готовится к стадии развития IT-продукта, а сейчас на аналитическом этапе, определяем основные цели, задачи и требования, поэтому нам необходимо собрать команду разработки.
В команде есть Product Owner, аналитик, а также архитекторы, которые уже в процессе настройки и создания приложений, улучшения веб сервиса.
Это отличная возможность, работая в большой компании, заниматься продуктом, который прямо сейчас формируется в реальном времени.
Сейчас формат Discovery переходящий в Delivery, необходимо начинать прогружать данные и одновременно решать вопрос архитектуры целевого решения.

Команда: Product Owner, UX-designer, data analyst, system analyst, team lead (open), back dev, front dev, QA (open)
Data: GreenPlum, Postgres, Kafka, NiFi, Airflow, Python, Java, Power BI

Основные задачи сотрудника на данной позиции

Обеспечить сбор и организовать процесс загрузки данных в аналитические системы из различных источников
Подготовка, очистка и предобработка данных из внешних источников, построение агрегатов
Разрабатывать процедуры формирования детального слоя данных и слоя витрин DataLake на GreenPlum (это как концепция)
Реализовывать мониторинг разработанных процессов обработки данных (Grafana, Prometheus)
Документировать свою работу в Yandex.Wiki
Обеспечить транспорт данных из источников (чековая статистика, данные о количестве товарного запаса) их хранение и преобразование
Проработать архитектуру транспорта и хранения данных совместно с архитекторами и владельцами дата-платформы, в т.ч. предоставить обзор разных возможных конструкций с описанием их плюсов и минусов
Выстраивать оптимальную структуру хранения данных (партиции, дистрибуции и т.п.)
Оптимизировать SQL-запросы

Обязательные навыки

Знания принципов работы БД, построения Хранилищ Данных
Опыт разработки ETL процессов (NiFi, AirFlow)
Опыт работы с высоконагруженными распределёнными системами обработки и хранения данных, очередями (Kafka)
Отличное знание SQL

Условия

Официальное трудоустройство в штат на бессрочный трудовой договор в аккредитованную IT-компанию
Современный подход к обучению и развитию сотрудников
Стабильный доход, который обсуждается индивидуально
ДМС со стоматологией для сотрудников, возможность подключить родственников к программе ДМС, обучение и сертификация, скидки на курсы, фитнес и многое другое

Data Engineer