Data Engineer

IT-компания Selecty ищет Data Engineer на проекты нашего партнера!

Мы аккредитованная IT компания. C 2013 года успешно решаем задачи любой сложности в рамках цифровой трансформации для крупного бизнеса.

Задачи:

• Проектирование и разработка SQL-процедур обработчиков данных на Spark (Scala) и ETL-процессов (в т.ч. AirFlow)

• Оптимизация производительности кода

• Разработка и ведение схемы данных

• Участие в проведении тестирований

• Взаимодействие с аналитиками, командами развития платформ, DevOps инженерами Развитие wiki в Confluence

Cтек технологий:

SQL Hadoop Spark SCALA Hive

Наши ожидания от кандидата:

• Опыт работы с инструментарием Hadoop (HDFS, Yarn, Spark, Hive)

• Опыт работы с промышленными DWH на основе MPP СУБД (Teradata, Exadata, Greenplum), от 2-х лет

• Знание теории построения DWH

• ETL - практический опыт проектирования и разработки регламентных потоков данных при помощи Airflow

• SQL - уверенные знания (DML,DDL), опыт разработки хранимых процедур

• Опыт работы с библиотекой Pandas Опыт работы с Impala

• Понимание принципов и инструментария CI/CD (Git/Bitbucket, Teamcity).

В приоритете Selecty - твой комфорт, поэтому у нас:

- Возможность участвовать в масштабных и разнообразных проектах;
- Удаленная работа или удобный офис;
- Обучение: мы посещаем профильные конференции, учимся на курсах и тренингах.
- ДМС со стоматологией, скидки на изучение английского языка и от других партнеров компании.
- Статус аккредитованной IT-компании.