Требуемый опыт работы
От 3 до 6 лет
Тип занятости
Полная занятость
График работы
Удаленная работа
Что нужно делать:
- проектировать, разрабатывать и оптимизировать структуру данных в корпоративном хранилище;
- проектировать и разрабатывать потоки данных ETL, в том числе писать скрипты SQL и Python, Airflow DAG’s;
- разрабатывать и настраивать процессы контроля качества данных в хранилище;
- настраивать и развивать процессы Data Governance;
- обеспечивать масштабируемость и отказоустойчивость платформы данных;
- подготавливать техническую документацию.
Что нужно знать и уметь:
- понимать архитектуру DWH и инструментов, которые с ним связаны;
- знать теорию множеств (пересечение, объединение, подмножества и т.д.);
- знать реляционные базы данных (PostgreSQL, MS SQL);
- знать логические и физические модели данных;
- уметь оперировать структурами данных, таблицами, представлениями, индексами, колонками, хранимыми процедурами;
- иметь опыт работы и понимать применимость современных форматов хранения данных Parquet, Avro, Json, XML и т.п.;
- владеть Python и библиотеками для работы с данными (Spark);
- иметь опыт построения ETL процессов, работы с ETL-инструментами;
- понимать принципы DataGovernance;
- знать open sourse (Kafka, Trino, Data Hub, Airflow).
Что мы предлагаем:
- современный стек и гибкие методологии разработки;
- вовлеченную команду опытных коллег из разных технологических областей, атмосферу открытого диалога и поддержку руководством инициатив;
- трудоустройство в аккредитованную ИТ-компанию Красцветмет.ИТ;
- зарплату по результатам собеседования, премию за достижение высоких результатов работы;
- комфортный офис с благоустроенной территорией; сотрудников, работающих из дома, мы обеспечиваем техникой и офисной мебелью;
- обучение в корпоративном университете и возможность участия во внешних профессиональных мероприятиях (конференции, митапы);
- понятные перспективы карьерного развития – у нас разработаны карьерные треки для ИТ-специалистов;
- заботу о здоровье: медицинское страхование, услуги врачей в собственной поликлинике на территории компании в Красноярске;
- компенсацию затрат за занятия спортом;
- удаленную работу.
Ключевые навыки
Dwh
Cpp-netlib
Airflow
Data engineer
Spark framework
Вакансия опубликована 02.07.2024 в г. Москва.