О компании:

PayMatrix - динамично развивающаяся компания, предоставляющая инновационные сервисы для осуществления платежей. Наша цель - обеспечить клиентам удобные, безопасные и быстрые финансовые транзакции. В нашу команду требуется опытный Data Engineer, который возьмет на себя задачу создания и поддержки комплексной инфраструктуры данных с нуля.

Это включает:

Проектирование и Разработка:
- Создание архитектуры данных, обеспечивающей надежное и эффективное хранение, обработку и репликацию данных.
- Проектирование схемы Data Lake для централизованного хранения всех типов данных, поступающих из различных источников.
- Разработка и внедрение ETL-процессов для извлечения, трансформации и загрузки данных, используя инструменты, такие как Apache NiFi.
Оптимизация и Автоматизация:
- Настройка и оптимизация баз данных MongoDB и ClickHouse для обеспечения высокой производительности и масштабируемости.
- Автоматизация рабочих процессов данных с использованием Apache Airflow, создание и управление DAG для эффективной оркестрации процессов.
Обеспечение Качества и Безопасности:
- Разработка стратегий репликации данных для обеспечения их доступности и отказоустойчивости.
- Внедрение практик управления данными, включая каталогизацию данных и внедрение систем управления метаданными.
- Обеспечение безопасности данных в соответствии с передовыми практиками и нормативными требованиями.
Визуализация и Анализ:
- Настройка инструментов визуализации данных, таких как Metabase и Apache Superset, для предоставления аналитических отчетов и дашбордов.
- Сотрудничество с аналитиками и бизнес-командами для понимания их требований и создания соответствующих аналитических решений.
Технологическая Поддержка и Инновации:
- Внедрение и поддержка технологий потоковой обработки данных, таких как Kafka и Flink, для обеспечения реального времени обработки данных.
- Постоянный мониторинг и анализ производительности системы, внедрение улучшений и новых технологий для повышения эффективности работы инфраструктуры данных.

Требования:

Опыт работы Data Engineer от 3 лет.
Глубокие знания и опыт работы с базами данных (MongoDB, ClickHouse).
Опыт разработки и оптимизации ETL-процессов (Apache NiFi).
Уверенные знания Apache Airflow и опыт построения DAG.
Навыки программирования на Python и SQL.
Опыт работы с инструментами визуализации данных (Metabase, Apache Superset).
Понимание принципов проектирования Data Lake и опыт их реализации.
Знание современных практик управления данными и их каталогизации.

Преимуществом будет:

Опыт работы в bareMetal среде.
Знание технологий потоковой обработки данных (Kafka, Flink).
Опыт внедрения систем управления метаданными.

Условия:

Полностью удаленная работа, гибкий график.
Конкурентная заработная плата и возможности карьерного роста.
Профессиональное обучение и развитие.
Дружный и профессиональный коллектив.

Присоединяйтесь к нашей команде и вместе мы будем достигать новых высот в развитии технических решений и оптимизации бизнес-процессов!