Инженер данных

Senior DE/ML-инженер в команду RetailFXMetals Сбера.

Твои задачи:

• Процессы сбора данных:
  1. ETL / ELT – примеры, назначение и подходы к использованию;
  2. Интеграционные шины – примеры, назначение и подходы к использованию;
  3. Оркестраторы – примеры, назначение и подходы к использованию;
  4. Лямбда-архитектура, streaming и batch режимы загрузки данных - назначение и особенности использования;
• СУБД и модели данных:
  1. Нормализованные и денормализованные модели данных: 1NF, 2NF, 3NF, Data Vault, Star и Snowflow scheme – назначение и принципиальные отличия;
  2. Row и Column based БД – примеры, назначение и подходы к использованию;
  3. Индексы, партиционирование;
  4. Планы запросов, типы join-ов: nested loops, merge join, hash join.
• Программирование:
  1. Базовые знания ООП – наследование, инкапсуляция, полиморфизм;
  2. Отличия скриптовых языков (примеры) и языков семейства Java, C#.

• Высшее образование;
• Опыт работы;
• практика использования конкретных фреймворков – GitHub, BitBucket;
• практика тестирования кода, регрессионное тестирование;
• практика использования фреймворков для контроля за ходом проектных работ – Jira, Confluence;
• Непрерывная интеграция / поставка (CI/CD), процессы сбора данных (практика использования конкретных инструментов), ETL / ELT, Интеграционные шины, Оркестраторы, Streaming и Batch режимы загрузки данных;
• СУБД и модели данных: нормализованные и денормализованные модели данных: 1NF, 2NF, 3NF, Data Vault, Star и Snowflake scheme; Row и Column based БД, Знакомство с MPP
• Практика применения скриптовых и компилируемых языков программирования;
• Практика использования командной строки в Windows и Unix-системах.
• SQL: ANSI SQL, Процедурный SQL, Оптимизация SQL-запросов, Транзакции, Индексы, Опыт работы с аналитическими (оконными) функциями.
• Дополнительным плюсом будет знание Kafka, Spark, Python, экосистема Hadoop

• Удаленная работа;
• ДМС с первого месяца работы (поликлиническое обслуживание, вызов врача на дом, услуги скорой помощи, экстренная госпитализация, вакцинация от гриппа, базовые услуги стоматологических клиник и психологическая поддержка, оформление международного страхового полиса);
• Ноутбук HP для работы;
• Обучение и участие в конференциях за счет компании, повышение квалификации в корпоративном университете Лиги;
• Участие не только в профильных профессиональных сообществах Лиги, но и сообществах по интересам (игры, спорт, хобби и т.п.).