Data Engineer

Обязанности:

- Оказывать помощь коллегам из направления Data Science в оптимизации их действующих конвейеров (pipeline-ов);

- Разрабатывать ETL-конвейеры;

- Взаимодействовать с коллегами из команды DevOps по настройке рабочих сред, развертыванию (деплою) кода, работе с корпоративной инфраструктурой;

- Настраивать и поддерживать тестовые стенды;

- Общаться с коллегами из команды управления качеством данных (Data Quality) для уточнения деталей наполнения данных, участвовать в составлении технических заданий на обработку данных.

Требования:

- Опыт работы в должности Data Engineer не менее 3 лет;

- Опыт работы с технологиями: Spark, Hadoop, Hive, Linux;

- Опыт проектирования схем данных в базах данных, понимание концепций OLAP и OLTP;

- Опыт работы с PostgreSQL и ClickHouse.

- Опыт работы с MPP (Massively Parallel Processing) базами данных;

- Знание Python и Spark (структуры данных, алгоритмы, концепции языка);

- Знание SQL, опыт оптимизации SQL-запросов и понимание оптимизаций на уровне Spark Catalyst.

Что мы предлагаем

- IT аккредитация
- Конкурентная зарплата
- ДМС
- Рост и прозрачный карьерный трек
- Развлечения и развитая корп культура - Оформление по ТК РФ
- Удаленка