Data Engineer

О компании:

PayMatrix - динамично развивающаяся компания, предоставляющая инновационные сервисы для осуществления платежей. Наша цель - обеспечить клиентам удобные, безопасные и быстрые финансовые транзакции. В нашу команду требуется опытный Data Engineer, который возьмет на себя задачу создания и поддержки комплексной инфраструктуры данных с нуля.

Это включает:

1. Проектирование и Разработка:

   • Создание архитектуры данных, обеспечивающей надежное и эффективное хранение, обработку и репликацию данных.
   • Проектирование схемы Data Lake для централизованного хранения всех типов данных, поступающих из различных источников.
   • Разработка и внедрение ETL-процессов для извлечения, трансформации и загрузки данных, используя инструменты, такие как Apache NiFi.

2. Оптимизация и Автоматизация:

   • Настройка и оптимизация баз данных MongoDB и ClickHouse для обеспечения высокой производительности и масштабируемости.
   • Автоматизация рабочих процессов данных с использованием Apache Airflow, создание и управление DAG для эффективной оркестрации процессов.

3. Обеспечение Качества и Безопасности:

   • Разработка стратегий репликации данных для обеспечения их доступности и отказоустойчивости.
   • Внедрение практик управления данными, включая каталогизацию данных и внедрение систем управления метаданными.
   • Обеспечение безопасности данных в соответствии с передовыми практиками и нормативными требованиями.

4. Визуализация и Анализ:

   • Настройка инструментов визуализации данных, таких как Metabase и Apache Superset, для предоставления аналитических отчетов и дашбордов.
   • Сотрудничество с аналитиками и бизнес-командами для понимания их требований и создания соответствующих аналитических решений.

5. Технологическая Поддержка и Инновации:

   • Внедрение и поддержка технологий потоковой обработки данных, таких как Kafka и Flink, для обеспечения реального времени обработки данных.
   • Постоянный мониторинг и анализ производительности системы, внедрение улучшений и новых технологий для повышения эффективности работы инфраструктуры данных.

Требования:

• Опыт работы Data Engineer от 3 лет.
• Глубокие знания и опыт работы с базами данных (MongoDB, ClickHouse).
• Опыт разработки и оптимизации ETL-процессов (Apache NiFi).
• Уверенные знания Apache Airflow и опыт построения DAG.
• Навыки программирования на Python и SQL.
• Опыт работы с инструментами визуализации данных (Metabase, Apache Superset).
• Понимание принципов проектирования Data Lake и опыт их реализации.
• Знание современных практик управления данными и их каталогизации.

Преимуществом будет:

• Опыт работы в bareMetal среде.
• Знание технологий потоковой обработки данных (Kafka, Flink).
• Опыт внедрения систем управления метаданными.

Условия:

• Полностью удаленная работа, гибкий график.

• Конкурентная заработная плата и возможности карьерного роста.
• Профессиональное обучение и развитие.
• Дружный и профессиональный коллектив.

Присоединяйтесь к нашей команде и вместе мы будем достигать новых высот в развитии технических решений и оптимизации бизнес-процессов!