Data engineer в Финтех

Оплата не указана

Вакансия находится в архиве

Яндекс

г. Москва

Требуемый опыт работы

От 3 до 6 лет

Тип занятости

Полная занятость

График работы

Полный день

Финтех — одно из самых смелых и активных направлений Яндекса. Мы создаём удобные платёжные сервисы и инструменты для управления личными финансами многомиллионной аудитории Яндекса. Придерживаемся data-driven-подхода.

Мы работаем с большими объёмами данных, и делать это надо быстро и правильно. Для этого нам нужно создать большую, безопасную и удобную аналитическую платформу. Мы ищем Дата-инженера в нашу команду, чтобы вместе разрабатывать DWH.

Какие задачи вас ждут

  • работать с базами данных SQL и NoSQL, масштабировать и шардировать их;
  • обрабатывать массивы данных с учётом eventual consistency и других аспектов ACID;
  • проектировать модели данных;
  • продумывать отказоустойчивость системы: хранилище должно пережить всё, включая падение дата-центра и вторжение инопланетян;
  • развивать собственный data quality фреймворк
  • вместе с лидом команды проектировать архитектуру хранилища.

Мы ждём, что вы

  • пишете код на Python;
  • работали с базами данных SQL и NoSQL;
  • знакомы с брокерами сообщений (Kafka, RabbitMQ или что-то подобное);
  • работали с инструментами Hadoop.

Будет плюсом, если вы

  • работали со Spark или Spark SQL;
  • работали с Greenplum;
  • умеете разрабатывать DAG для Airflow.

Ключевые навыки

Big data
Airflow
Python
Sqlite
Postgresql
Greenplum
Spark framework
Cpp-netlib
Nosql
Dwh

Контактная информация

Яндекс

Сайт: не указан

Почта: не указана

Вакансия опубликована 10.07.2024 в г. Москва.

Похожие вакансии

#

Москва

Новокузнецкая

Полный день

Подробное описание

26 июля

#

Москва

Полный день

Подробное описание

30 июля

#

Не указана

Владимир

Полный день

Подробное описание

13 июля