Python-разработчик систем сбора

Обязанности:

• Написание чистого, понятного кода
• Реализация систем сбора
• Анализ и исправление ошибок
• Сопровождение запуска и эксплуатации сборщиков в продакшене

Требования:

• Уверенное знание Python3
• Опыт разработки систем сбора
• Опыт многопоточной и асинхронной разработки (threading, asyncio), знание примитивов синхронизации, умение масштабировать код
• Опыт обхода ограничений (баны, лимиты, каптча)
• Знание систем обмена сообщениями (kafka, rabbitmq)
• Опыт работы с сериализаторами (marshmallow, pydantic или аналогичные)
• Опыт работы с ОС семейства Linux, контейнерами, умение запустить свой код
• Умение работать с системами контроля версий (Git)

Как преимущество:

• Опыт работы с scrapy
• Опыт работы с распределенными системами координации (etcd, zookeeper)
• Опыт работы с системами управления конфигурацией (ansible, chef, puppet или аналогичные)
• Умение покрывать свой код автотестами (pytest, tox, mock) и пользоваться линтерами (flake8, pylint, mypy)
• Умение использовать ООП