Стажёр-разработчик Spark Hadoop BigData

Привет!

Мы - ООО «Датаномика», решаем проблемы структурирования разнородных данных, которые сложно поддаются анализу, помогаем среднему и малому бизнесу, банкам, ритейлу использовать данные о клиентах для оценки конъюнктуры спроса и экономических показателей, помогаем повысить качество сервиса финансового планирования и аналитики для клиентов.

О проекте:

Мы развиваемся и поэтому набираем стажёров. У нас существует много интересных проектов в сфере хранилищ данных, для стажера

В компании существует ресурсный пул, занимающийся практикой решений под тех.стек Spark+Hadoop для заказчика под ключ. Существуют проекты вида:

1. Переложить данные из нескольких источников в структуру и сделать это оптимально.
2. Реализовать алгоритмы матчинга между двумя и более сущностями (чеки, депозиты, пластик, клиенты и т.д.) с применением знаний теории вероятностей и мат. статистики.
3. Заменить существующее неоптимальное решение по построению витрины данных, исправив ряд явных проблем производительности.

Что входит в задачи:

• Разработка ETL процессов на стеке Spark+Hadoop;
• Участие в процессе разработки алгоритмов матчинга данных между различными АС и внешними источниками;
• Формирование дистрибутива под pipeline заказчика, выявление проблем и накат дистрибутива до тестовых стендов;
• Обеспечивать третью линию поддержки;
• Проводить тестирование на тестовых стендах перед передачей аналитику;
• Диагностировать проблемы — по логам, описанию пользователей и другим косвенным признакам как на стендах тестирования, так и с прома.

Техстэк - Java, Scala, Kafka, Hadoop, Spark.

Scrum с четырехнедельными спринтами.

Требования:

• Высшее техническое образование или студент последних курсов;
• Знание SQL, понимание и применение нормальных форм. Понимание XML и json;
• Опыт курсовых, проектных работ с применением SQL будет плюсом - с удовольствием узнаем о вашем опыте;
• Опыт ООП Java или под мобильные платформы даже учебный будет плюсом;
• Пройденные курсы по базам данных, python будет плюсом;
• Способность самостоятельно искать информацию в тематических ресурсах на английском языке для решения возникших проблем;
• Умение брать на себя ответственность и доводить задачу до конца, не стесняться задавать вопросы куратору;
• Грамотная устная и письменная речь;
• Стрессоустойчивость и соблюдение субординации – не всегда критично, но заказчики бывают разные;

Мы предлагаем:

• Работа в ИТ-аккредитованной компании;
• Куратора и программу онбординга;
• Регулярное обучение и профильные конференции за счёт компании, современное оборудование для работы.
• Гибридный формат работы;
• Гибкий график работы;
• Официальная «белая» зарплата;
• Оформление с первого рабочего дня, полное соблюдение ТК РФ;
• Интересные, амбициозные задачи с достижимым результатом;
• Достаточную свободу действий, инструментарий и необходимые ресурсы.