Разработчик DWH

Компания SpectrumData — маркетплейс данных для бизнеса, который объединяет группу федеральных сервисов. Мы занимаемся сбором, агрегацией, обработкой и анализом данных и создаем продукты для компаний из разных отраслей.

Мы ищем Разарботчика DWH на наш продукт Кредитное бюро. Кредитное бюро хранит и обрабатывает миллионы кредитных историй. Данные ежедневно поступают из множества внешних источников и используются для построения финансовой отчётности, исполнения коммерческих запросов.

Мы готовимся к существенному увеличению количества кредитных историй в нашей базе (100+ млн записей), а также к повышению нагрузки по сценариям отчётности в связи с расширением клиентской базы. Поэтому пришло время обеспечить масштабирование и ускорение системы хранения и обработки данных.

Задачи, которые предстоит решать:

• Разработка DWH с нуля;

• Подготовка данных для быстрого построения отчётности, аналитики, исполнения запросов;

• Формирование выгрузок, отчетов;

• Оптимизация кластера OLTP (PostgreSQL);

• Выполнение миграций.

Наши ожидания от кандидата:

• Опыт построения систем распределённой обработки данных с использованием инструментов типа Hadoop, Spark, Airflow, YTsaurus;

• Хорошее знание SQL, а также Python или другого языка программирования.

Твоим преимуществом будет:

• Опыт работы с различными базами данных, умение выбирать подходящую БД для конкретной задачи;

• Опыт использования CDC;

• Знание XML, XSD.