Data Engineer

Наша команда занимается разработкой VK ID — единого аккаунта пользователя во всех сервисах, личным кабинетом для управления безопасностью и данными, а также инструментами и решениями для партнёров и разработчиков, позволяющими объединить их в экосистему и пользоваться её преимуществами.

Наши главные задачи — сделать VK ID самым удобным, безопасным и эффективным сервисом авторизации в рунете как для пользователей, так и для партнёров.
Наша миссия — соединять людей, сервисы и компании, предоставляя им удобные инструменты.

• создание структур данных, выбор подходящих движков в ClickHouse в соответствии с бизнес-требованиями;
• написание/оптимизация/профилирование SQL-запросов;
• ETL-процесс получения raw data из брокера потоковых данных (Kafka в том числе);
• настройка ClickHouse (шардинг, репликация), в том числе взаимодействие с Kafka (попадание сырых данных, решение возможных проблем с очерёдностью сообщений, валидностью данных);
• контроль и оптимизация занимаемого места в ClickHouse;
• решение возможных проблем с нарушением целостности данных;
• дальнейшая работа с данными в компании (передача в другие подразделения, переливка в/из YT);
• настройка и оптимизация производительности баз данных;
• мониторинг состояния системы и базы данных, устранение неполадок;
• проведение регулярного анализа производительности и предложения по улучшению.

• опыт работы с ClickHouse в роли DE от года;
• уверенное владение SQL на продвинутом уровне (window functions, views, CTE, materialized views);
• владение Python;
• умение и желание разбираться в сложных процессах преобразования данных;
• опыт работы с большими объёмами данных;
• опыт работы с аналитическими базами данных.

• опыт работы с Airflow, GIT;
• опыт работы с Apache Spark, YT.