Разработчик КХД

-Переход на новую open-source инфраструктуру DWH;

Построение opensource ETL пайплайна;

Поддержка функционирующих в организации DWH и ETL;

Внедрение практики потоковой обработки данных (Apache Kafka + Apache Spark);

Внедрение практики хранения больших объёмов данных в колоночных базах данных (clickhouse/greenplum)

Внедрение файлового хранилища для хранения необработанных данных (hdfs или подобное)

Умение строить ETL пайплайны, event-driven пайплайны;

Опыт работы с DWH;

Умение оптимизировать SQL-запросы;

Опыт работы с (Apache Kafka + Apache Spark);

Понимание принципов работы CDC-инструментов (например, Debezium);