Каждый день миллионы пользователей из разных стран мира решают, куда пойти, где получить услугу, как добраться до места назначения. Наша задача — предоставить им полные и точные данные об организациях.

Справочник — это контент-система Яндекс Карт, состоящая из множества сервисов для сбора, актуализации, верификации и анализа данных об организациях. Ежедневно нам поступают миллионы сигналов об изменениях в окружающем мире: фидбэк от пользователей, уточнение данных от операторов колл-центра и владельцев организаций, обновления с сайтов учреждений. Мы создаём систему, которая позволяет обрабатывать эти данные и поддерживать актуальность информации о миллионах организаций во всём мире.

Какие задачи вас ждут

Масштабирование Справочника на новые страны и языки
Яндекс Карты активно развиваются и используются в разных странах мира. Чтобы пользователи в любой стране могли найти актуальную и достоверную информацию об организациях, мы адаптируем и масштабируем Справочник для новых регионов и языков. Мы работаем с большими объёмами данных, поэтому используем MapReduce-платформу YTsaurus для их хранения и обработки. В самых важных по производительности местах применяем C++.

Улучшение алгоритмов обнаружения и кластеризации похожих компаний
Мы работаем над тем, чтобы пользователи получали точную и актуальную информацию об организациях. Для этого мы объединяем данные об одной и той же компании, которые поступают из разных источников. Наша задача — улучшить алгоритмы, которые позволяют находить похожие организации и объединять данные о них. Мы используем разнообразные технологии машинного обучения, такие как CatBoost и TensorFlow, а также языковые модели. Для экспериментов, автоматизации и написания регулярных процессов мы применяем Python. Разметку датасетов выполняем на платформах Яндекс Задания и Толока.

Автоматизация процессов актуализации и верификации информации об организациях
Мы получаем данные об организациях из различных источников, и качество этих данных, а также их актуальность могут сильно различаться. Чтобы обеспечить пользователей достоверной информацией, мы автоматизируем процессы проверки и обновления данных об организациях. Для анализа и визуализации данных мы используем Yandex DataLens. Это позволяет нам эффективно отслеживать изменения и оперативно реагировать на них, чтобы информация в Справочнике была точной и актуальной.

Мы ждём, что вы

Пишете на C++ и Python
Знаете классические алгоритмы и структуры данных
Знаете SQL и умеете работать с базами данных
Не боитесь работать с большими данными и анализировать их

Будет плюсом, если вы

Разрабатывали веб-приложения
Работали с ML-технологиями
Работали с MapReduce-системами

Разработчик на С++ и Python в Справочник