Системный инженер по Apache NiFi

Компания "Форсайт" будет рада видеть в своей команде системного инженера по Apache NiFi в отдел архитектуры.

Предлагаем работу как в офисах Санкт-Петербурга, Перми, так и удалённо в других городах.

Кто мы? Форсайт — аккредитованная ИТ-компания, мы занимаемся разработкой программных продуктов для сбора, хранения, визуализации и анализа данных, моделирования и прогнозирования. Наши разработки помогают принимать правильные решения экспертам крупнейших российских компаний.

Мы занимаем 4 позицию в списке крупнейших участников российского рынка BI. Наши решения включены в Реестр российского ПО и официально признаны Минкомсвязи России программным обеспечением, разработанным в Российской Федерации.

Какие задачи вас ждут:

• Проектирование и разработка потоков данных:
  • Создание и настройка потоков данных, используя Apache NiFi для обработки, маршрутизации и преобразования данных.
  • Определение архитектуры потоков данных с учетом требований бизнеса и специфики систем.
• Интеграция с различными источниками и целями данных:
  • Настройка подключений к источникам данных (БД, API, файловым системам и т. д.) и целевым системам (базы данных, хранилища данных, файловые системы).
  • Использование различных процессоров NiFi для интеграции с системами и форматами данных.
• Оптимизация потоков данных:
  • Проведение анализа производительности потоков данных для выявления узких мест.
  • Оптимизация настройки потоков и параметров NiFi для повышения производительности и надежности.
• Мониторинг и управление потоками:
  • Установка мониторинга для отслеживания состояния потоков данных в реальном времени.
  • Управление производительностью и доступностью потоков данных, включая решение возникающих проблем.
• Обеспечение безопасности данных:
  • Настройка механизмов аутентификации и авторизации для защиты потоков данных.
  • Реализация лучших практик безопасности (шифрование, контроль доступа и другие).

Что мы ожидаем:

- Умение настраивать NiFi для работы с потоками данных: создавать потоки, используя различные процессоры NiFI.

- Опыт работы с NiFi для интеграции данных, преобразования форматов и маршрутизации.

- Знания о настройке сервисов, контроллеров и параметров конфигурации NiFi.

- Знания SQL и опыт работы с PostgreSQL, Greenplum, Clickhouse.

- Понимание принципов ETL, ELT и как их применяют в контексте Apache NiFi.

- Понимание и опыт работы с различными протоколами подключения, такими как JDBC, HTTP, Kafka, и другими.

- Умение интегрировать NIFI с API третьих сторон и потоковыми системами.

- Понимание форматов данных (JSON, XML, CSV и т. д.) и способность преобразовывать их с помощью NiFi.

- Опыт работы с процессорами NiFi для выполнения трансформаций данных.

- Знание методов оптимизации потоков данных в NiFi.

- Умение мониторить и диагностировать проблемы в потоках данных с помощью встроенных инструментов NiFi.

- Опыт работы с контейнерами (Docker).

- Опыт работы с системами контроля версий, Git.

- Способность документировать архитектуру потоков данных, процессы и политики обработки данных.

Мы предлагаем:

• Работу в крупнейшем производителе BI-решений с масштабными проектами и заказчиками (такими как Росэнергоатом, Газпром и др.).
• Стабильную "белую" заработную плату и официальное трудоустройство.
• Комфортную и качественную адаптацию с выделенным наставником (научим всему, что необходимо, ответим на все вопросы и поддержим морально).
• Удалённый, офисный или гибридный формат на выбор (есть офис в Москве, Санкт-Петербурге и Перми).
• Развивающую корпоративную среду: индивидуальный план развития, прохождение внутреннего и внешнего обучения, участие в конференциях, обмен опытом.
• Яркую корпоративную жизнь: совместные выезды на природу и запоминающиеся мероприятия, приятные подарки сотрудникам и их детям; участие в благотворительности и защите окружающей среды.
• Приятные бонусы от компании: изучение английского языка, профессиональное обучение (как внутреннее, так и внешнее), ДМС, оплата спорта, дополнительные выходные дни, 100% покрытие больничного листа.