Привет! Мы ищем middle+/senior Scala-разработчика для разработки инструментов хранения, обработки и анализа данных.
Одним из направлений команды Casino является работа с данными получаемыми от конечных продуктов. Храним данные в hdfs, обрабатываем с помощью выделенного spark кластера. Однако с ростом объема данных, а это несколько тысяч терабайт, мы начали упираться в производительность такой архитектуры.
Хотим переосмыслить работу с данными и смотрим в сторону s3, spark on k8s и delta lake. Кроме этого хотим вложиться в автоматизацию ETL и инструментов анализа данных.
Какие задачи предстоит решать?
-
Исследовать, придумывать и создавать новое хранилище
-
Придумывать и разрабатывать инструменты аналитики данных
-
Автоматизировать ETL pipelines
Технологии
-
cats, cats-effect, fs2, http4s
-
kafka, fs2-kafka, kafka-streams
-
hdfs, spark, cassandra, postgresql
Что ждём от кандидата?
-
Опыт разработки высоконагруженных бэкендов от 3 лет.
-
Опыт работы с hdfs, spark, Kafka, SQL и/или NoSQL базами данных.
-
Преимуществом будет опыт эксплуатации JVM-приложений, разработки на Scala, дизайна высоконагруженных бэкендов и стриминговых систем обработки данных.
Что предлагаем?
-
2ГИС — аккредитованная IT-компания.
-
Техника и ОС на выбор.
-
У нас можно работать удалённо. Для нас важен специалист, а не его локация. Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске. А также коворкинги в Нижнем Новгороде, Томске, Астане, Алма-Ате.
-
Само собой, полностью белая зарплата. Дополнительные дни отпуска за стаж работы в компании.
-
Заботимся о здоровье: ДМС и возможность получать онлайн-консультации и терапевта, невролога, психолога и медицинского агента.
-
Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра.
-
Есть собственный учебный центр: курсы, тренинги и книги для прокачки скиллов.