Сейчас мы ведем активный поиск на позицию Data Engineer в Wildberries - один из самых крупных и известных маркетплейсов, который создают более 2-х тысяч IT-специалистов.
Мы создаем сервисы для себя - это различная автоматизация процессов логистики/складов/ПВЗ, предоставления сервисов для поставщиков, эко-система платежных продуктов, наполнение контура маркетплейса и многое другое.
Проект: разработка нового продукта для складской работы - новая высоконагруженная WMS на базе микросервисов, которая изменит подход к организации работы с товарами.
Чем предстоит заниматься:
- Проектирование структур хранилищ данных (DWH);
- Создание и доработка ETL процессов загрузки, трансформации данных и формирования витрин (ETL);
- Разработка и модернизация процедур контроля качества данных хранилища, анализ и мониторинг консистентности данных (DQ);
- Проектирование и построение витрин данных для BI систем;
- Тестирование реализованного функционала;
- Участие в подготовке технических заданий.
Наши ожидания от кандидата:
- Опыт разработки SQL-запросов для СУБД PostgreSQL (включая CTE и аналитические функции);
- Опыт написания хранимых процедур, триггеров, функций;
- Знание и понимание основных подходов моделирования хранилищ ;
- Опыт написания витрин;
- Понимание основных методов доступа к данным и способов соединения данных;
- Умение оптимизировать запросы;
- Обязательно опыт работы с ClickHouse, Kafka/data streaming, Debezium, Hadoop, Spark;
- Опыт работы с Apache airflow и построение DAGов;
- Опыт работы с языком программирования Python;
- Готовность писать документацию к своим разработкам.
Будет плюсом:
- Умение работать с Greenplum, K8s.
Условия:
- Гибкое начало рабочего дня;
- Сложные и интересные проекты (также участие в проектах с нуля);
- 100% удаленный формат работы (из любой точки мира) или вы можете выбрать гибридный график (по желанию);
- Оформление по ТК РФ в IT компанию с первого дня (также предоставляем другие виды оформления - ИП, ГПХ);
- Современный стек, нет бюрократии и тайм-трекеров;
- И другие «плюшки»: партнерские программы по обучению и фитнесу, корпоративное питание для сотрудников в офисе.