Привет!

Мы — ООО «Датаномика», решаем проблемы структурирования разнородных данных, которые сложно поддаются анализу, помогаем среднему и малому бизнесу, банкам, ритейлу использовать данные чеков для оценки конъюнктуры спроса и экономических показателей, помогаем банкам повысить качество сервиса финансового планирования и аналитики для клиентов.

О проекте:

В компании существует ресурсный пул, занимающийся практикой решений под тех.стек Spark+Hadoop для заказчика под ключ. Существуют проекты вида:

Разработка фреймворка для команд, разрабатывающие витрины, с целью понижения порога входа в разработку.

Переложить данные из нескольких источников в структуру и сделать это оптимально.

Реализовать алгоритмы матчинга между двумя и более сущностями (чеки, депозиты, пластик, клиенты и т.д.) с применением знаний теории вероятностей и мат. статистики.

Заменить существующее неоптимальное решение по построению витрины данных, исправив ряд явных проблем производительности.

В практике существуют эксперты со знаниями Spark Framework и подходов к решению задач и оптимизации, которые могут выполнять роль архитектора проекта, куратора и источника экспертизы для передачи знаний и роста.

Обязанности:

Разработка нового функционала для фреймворка;
Разработка ETL процессов на стеке Spark+Hadoop;
Участие в процессе разработки алгоритмов матчинга данных между различными АС и внешними источниками;
Формирование дистрибутива под pipeline заказчика, выявление проблем и накат дистрибутива до тестовых стендов;
Обеспечивать третью линию поддержки;
Проводить тестирование на тестовых стендах перед передачей аналитику;
Диагностировать проблемы — по логам, описанию пользователей и другим косвенным признакам как на стендах тестирования, так и с прома.
Техстэк - Java, Kafka, Hadoop, Spark.

Требования:

Знание SQL, понимание и применение нормальных форм. Понимание XML и json;
Знание Scala или Java на уровне фреймворка Spark, процессов CI/CD;
Опыт работы по agile/scrum;
Умение работать с бэкэндами без UI (swagger, curl, SQL, логи);
Опыт работы в DWH проектах и написания ETL процессов;
Умение брать на себя ответственность и доводить задачу до конца;
Грамотная устная и письменная речь;
Стрессоустойчивость и соблюдение субординации – не всегда критично, но заказчики бывают разные;

Мы предлагаем:

Работа в ИТ-аккредитованной компании
Формат работы: офисный/гибрид
Гибкий график работы
Официальная «белая» зарплата
Оформление с первого рабочего дня, полное соблюдение ТК РФ
Интересные, амбициозные задачи с достижимым результатом
Достаточную свободу действий, инструментарий и необходимые ресурсы
Регулярное обучение и профильные конференции за счёт компании, современное оборудование для работы

ETL разработчик (DWH, Hadoop)