Python разработчик (PySpark)

На проекте по разработке облачного сервиса для анализа данных и разработки моделей машинного обучения открыта позиция Python-разработчика.

Стек: Python, Spark, JupyterHub, Hadoop, OpenShift.

Вместе с нами тебе предстоит:

• Решение задач, связанных с инструментами системы исследования данных и интеграциями (например, с MLOPS конвейером);
• Работа с кодом сервиса, который написан Python и базируется на JupyterHub, само облако реализовано через Openshfit;
• Создание тестовых- демонстрационных ноутбуков в Jupyter;
• Участие в разработке фреймворка, позволяющего создавать аналитические приложения в облаке (базируется на dash).

Какие навыки и знания важны для нас:

• Опыт разработки на Python не менее 3-х лет;
• Знание и опыт работы со Spark или PySpark, а также с различными Data science библиотеками;
• Знание Docker на уровне разработчик ПО.

Будет плюсом:

• Опыт разработки на R;
• Опыт работы с y Hub\lab, Rstudio;
• Опыт реализации систем с применением ML;
• Опыт работы с каким-либо дистрибутивом Hadoop (Cloudera, Arenadata, Hortonworks, Apache и т.п.). и понимание особенностей его экосистемы.
• Знание Kerberos;
• Знание Apache Spark;
• Опыт разработки для GPU вычислений.