Оплата не указана
Вакансия находится в архиве
Требуемый опыт работы
От 1 года до 3 лет
Тип занятости
Полная занятость
График работы
Полный день
Мы в поиске Инженера по работе с большими данными в направление дата инжиниринга, который будет участвовать в значимых для инфраструктуры данных в Lamoda проектах.
Чем предстоит заниматься:
Разрабатывать и создавать лучшую на рынке платформу данных электронной коммерции нового поколения;
Проектировать и разрабатывать ETL пайплайны на Airflow для Spark, Streaming, Hive, Trino etl;
Оптимизировать действующие пайплайны и джобы на Spark - мониторить нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать;
Обеспечивать качество данных в разных системах, проектировать платформу Data Quality - предоставлять заказчикам данных платформу quality чеков, мониторинга и алертинга о текущем состоянии данных;
Взаимодействовать с аналитиками и ML специалистами для создания/развертывания инструментов и наборов данных, соответствующих их вариантам использования - поддерживать регулярные связи с другими командами для развития платформы AB тестов и MLOps;
Анализировать и внедрять инструменты инжиниринга данных.
Мы ожидаем:
Опыт работы со стеком Hadoop (YARN, HDFS, HBase, Hive);
Опыт работы в Spark;
Знание систем контроля версий (git);
Опыт работы с Python;
Хорошее понимание СУБД, SQL;
Страсть к инженерным наукам и информатике вокруг данных.
Как плюс:
Опыт работы с Docker;
Опыт с Kafka.
Ключевые навыки
Контактная информация
Lamoda Tech
Сайт: не указан
Почта: не указана
Вакансия опубликована 21.08.2024 в г. Москва.
Похожие вакансии
Не указана
Москва
Площадь Ильича
Полный день
Подробное описание
13 июня