Team Lead/Senior java developer под Big Data NRT решения

Блок Риски ищет играющего тренера, будущего лидера NRT-инструментов платформы «Риск-Данные».

Совместно с командой одного из продуктовых трайбов провести пилот, разработать архитектуру решения, выработать типовые подходы, создать паттерны разработки NRT-витрины, включая DevOps.

А далее тиражировать решение на всю платформу.

Обязанности

• создание NRT витрин на платформе Риск-Данные(Hadoop/HBase)
• разработка Java application, которое читает Kafka-потоки изменений, приходящих с источников
• мёрдж kafka инкремента с данными, загруженными в batch режиме(HBase, HDFS)
• загрузка данных HDFS <-> Hbase, Bulk Load
• проработка архитектуры хранения данных в HBase: regions, column family и т.д.
• разработка механизма распространения NRT-витрин через Kafka для потребителей.

Требования

• не менее 2-х лет разработки NRT решений

• опыт потоковой обработки данных (Kafka, Spark Stream, Flink или аналог)

• SQL - продвинутый уровень

• Java - продвинутый уровень

• опыт разработки в HBase и оптимизации производительности

• желателен ci/cd опыт с любой системой

• Python желательно

• будет плюсом опыт разработки API

• так же будет плюсом опыт в построении классических хранилищ и ETL/ELT батч процессов.

Условия

• у нас реально дружный коллектив, постоянный «движ»

• ты будешь работать в передовом секторе IT крупнейшей компании, решать масштабные задачи

• работа в современном комфортном офисе

• достойное вознаграждение, премирование по итогам года

• социальный пакет + ДМС (с возможностью расширения пакета для близких)

• льготная ипотечная программа (после 6 месяцев работы в Сбере)

• отличная программа софинансирования пенсионных накоплений

• широкий спектр дисконт-программ, скидок и привилегий от компаний-партнеров

• в твое профессиональное развитие вкладывает Сбер

• безбумажный офис.