Привет! Мы ищем middle+/senior Scala-разработчика для разработки инструментов хранения, обработки и анализа данных.

Одним из направлений команды Casino является работа с данными получаемыми от конечных продуктов. Храним данные в hdfs, обрабатываем с помощью выделенного spark кластера. Однако с ростом объема данных, а это несколько тысяч терабайт, мы начали упираться в производительность такой архитектуры.

Хотим переосмыслить работу с данными и смотрим в сторону s3, spark on k8s и delta lake. Кроме этого хотим вложиться в автоматизацию ETL и инструментов анализа данных.

Какие задачи предстоит решать?

Исследовать, придумывать и создавать новое хранилище
Придумывать и разрабатывать инструменты аналитики данных
Автоматизировать ETL pipelines

Технологии

cats, cats-effect, fs2, http4s
kafka, fs2-kafka, kafka-streams
hdfs, spark, cassandra, postgresql

Что ждём от кандидата?

Опыт разработки высоконагруженных бэкендов от 3 лет.
Опыт работы с hdfs, spark, Kafka, SQL и/или NoSQL базами данных.
Преимуществом будет опыт эксплуатации JVM-приложений, разработки на Scala, дизайна высоконагруженных бэкендов и стриминговых систем обработки данных.

Что предлагаем?

2ГИС — аккредитованная IT-компания.
Техника и ОС на выбор.
У нас можно работать удалённо. Для нас важен специалист, а не его локация. Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске. А также коворкинги в Нижнем Новгороде, Томске, Астане, Алма-Ате.
Само собой, полностью белая зарплата. Дополнительные дни отпуска за стаж работы в компании.
Заботимся о здоровье: ДМС и возможность получать онлайн-консультации и терапевта, невролога, психолога и медицинского агента.
Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра.
Есть собственный учебный центр: курсы, тренинги и книги для прокачки скиллов.