Архитектор данных

Развитие и поддержка хранилищ на основе ClickHouse;

Загрузка и обработка в DWH данных внутренних и внешних систем (стек Kafka, Oracle, Clickhouse, PostgreSQL, NiFi, AirFlow);

Анализ работы кластеров и профиля нагрузки приложений. Предложения по улучшению ресурсных групп;

Выявление и анализ узких мест в производительности работы кластеров\системы резервного копирования. Оптимизация влияющих факторов;

Создание и развитие процессов управления данными и их качеством;

Участие в построении DWH: проектирование, определение сущностей, формирование витрин данных;

Формировать DQ проверки данных, разрабатывать процессы мониторинга и информирования о качестве данных.

Понимания концепций построения хранилищ данных (DWH);

Понимание специфики DV, Ancor;

Понимание специфики наполнение слоев хранилища;

Знания принципов работы реляционных СУБД;

Опыт работы с ClickHouse, понимание возможностей и архитектуры ClickHouse;

Опыт работы с Oracle и/или PostgreSQL;

Знание SQL на высоком уровне, опыт работы с PL/pgSQL;

Английский язык на уровне свободного чтения технической документации.

Будет плюсом:

Базовые знания и/или опыт разработки на языке выскорого уровня Java/Go/Python;

Практический опыт работы с Hadoop, Kafka, NiFi/Airflow;

Опыт разработки ПО и code review на одной из СУБД от 3-х лет;

Опыт автоматизации процессов при помощи bash скриптов;

Опыт оптимизации затрат и планирования мощностей.