Data Engineer (Инженер данных (миддл)

Требуется разработка и поддержание инфраструктуры данных для большого проекта озера данных, включающего себя сложные сценарии приема и обработки данных из разных источников.

В настоящее время технологический стэк включает в себя:

- Django

- MongoDB

- PostgreSQL

- множество самонаписанных питоновских парсеров.

Для управления разработкой и коммуникации используются Gitlab и Телеграм.

Задача в том, чтобы разработать и поддерживать инфраструктуру данных проекта, включая подготовку, отладку и мониторинг автоматизированных потоков данных. В работе требуется значительная доля инициативности и самостоятельности в части предложения и исследования технических решений. В то же время, это работа в команде, то есть необходимы коммуникативные компетенции, чтобы решения были согласованными и учитывали общее положение дел.

Команда в настоящее время включает в себя девопс-инженера, разработчиков на Python, экспертов по данным, аналитиков, дизайнера. В настоящее время происходит расширение команды.

Преимущества проекта:

- проект недавно стартовал, поэтому у него еще нет сложного и неповоротливого легаси

- большие фрагменты инфраструктуры, определяющей потоки данных, еще не имплементированы, поэтому можно экспериментировать и выбирать оптимальные решения

- аналогично с выбором программного обеспечения для управления жизненным циклом данных: можно выбрать предпочтительный вариант

Требования:

- знание основных библиотек Python для работы с данными

- опыт работы автоматизации пайплайнов и знание соответствующих программных инструментов

- представление об управлении качеством данных

- представление о возможностях отладки мониторинга

- понимание специфики форматов данных

- понимание методов получения и поставки данных (как, например, S3, REST API, SOAP, RPC)

- знание английского языка на уровне, достаточном для чтения технической документации

- знание Git

- готовность осваивать новые технологии и разрабатывать индивидуальные технические решения под поставленные задачи.

Плюсами будут:

- опыт работы с данными из открытых источников и понимание их специфики

- представление о такой области, как "открытые данные"

- знакомство и опыт работы со стеком современных решений, таких как DuckDB и Clickhouse

• Возможность работать дистанционно либо офис в центре Москвы

• Пятидневка, с 9-00 до 18-00 или 10-00 до 19-00/по МСК/

• Заработная плата по результатам собеседования

• Оформление по ТК РФ

• Медицинская страховка

• Компенсация обучения по направлениям работы с данными, технологиями, ведению некоммерческих проектов

• Большие перспективы для развития

• Место работы - Москва (ближайшие метро: Чистые пруды/Тургеневская/Кузнецкий мост/Трубная).