Привет! Меня зовут Вадим, я руковожу одной из команд админов в Туту. Нас в команде 10 человек, и мы поддерживаем значительную часть инфраструктуры компании. Всего в компании более 900 сотрудников, из них около 300 в ИТ.

Мы работаем с бодрящим коктейлем из технологий: есть как проверенные временем, так и свежие, не сильно распространённые в стране.

Мы понимаем, что погружение в нашу специфику и обучение редким технологиям может занять время, поэтому при выборе нового сотрудника, будем ориентироваться не на знание всего нашего стека, а на ответственное отношение к системам, способность быстро разбираться с новым и умение договариваться в команде и с разработчиками. Будет немало рутины, но из рутины вырастают задачи на автоматизацию или изменение архитектуры для повышения стабильности систем — а такие задачи очень сильно прокачивают в профессиональном плане.

Немного про стек

— LVS — ключевой элемент нашей HA.

— Ansible, Terraform — инструменты внутренней автоматизации.

— Стек мониторинга: Prometheus, PMM, Grafana.

— Стек сбора логов: Fuentbit — Kafka — Fluentd — Elastic.

Основные задачи

— Разворачивать существующей автоматикой новые сервисы БД (MySQL, MongoDB, Redis, PostgreSQL, ClickHouse), придумывать улучшения для этой автоматики.

— Реагировать на warning'и и алерты, отслеживающие аномалии и обычные события жизненного цикла софта (заканчивающееся место, к примеру).

— Находить причины нестабильного поведения сервисов и устранять их.

— Дорабатывать мониторинг, добавлять дашборды и алерты по итогам сбоев.

— Анализировать и выполнять изменения в схемах БД (редко, в случае их потенциальной опасности).

— Предоставлять разработчикам сервисы баз данных для preprod-окружений.

— Помогать разработчикам в сложных ситуациях, связанных с БД.

Зона ответственности DBA

— MariaDB — в ha-варианте с использованием proxySQL и Github orchestrator, немного подробостей есть на Хабре https://habr.com/ru/company/tuturu/blog/508872/. Всего около 50 продакшен-инсталляций с разными топологиями.

— MongoDB — replicaset-вариант с небольшой обвязкой для ha — порядка 30 разных репликасетов.

— Redis — отказоустойчивая конфигурация на базе Sentinel. Около 30 кластеров, из них несколько — прям очень высоконагруженных.

— PostgreSQL— в основном ha-инсталляции на основе patroni/pgbouncer — пока около 10 на каждой из сред, планируем наращивать использование.

— ClickHouse — только OLTP-нагрузка, без OLAP (это у другой команды) несколько инсталляций.

Мы сработаемся, если вы

— Работали с MySQL или PostgreSQL (в крайнем случае — с Mongo) на реальных проектах, в продакшене от двух лет, желательно — в Ecom.

— Хотите изучать те СУБД, с которыми пока не сталкивались.

— Любите помогать разработчикам, можете их услышать и понять.

— Умеете находить не первое подходящее, а самое рациональное решение проблемы.

— Не боитесь потока сервисных задач, способны расставлять между ними приоритеты.

— Пробовали разбираться в чём-то новом и/или странном с помощью логики и Google’а (в том числе англоязычного).

— Хотите работать в команде. Придётся много общаться, нужно будет и аргументировать свою точку зрения, и слушать и понимать других. Без этого — никуда.

— Не боитесь писать скрипты и знаете или хотите изучить Python.

— Готовы спокойно, быстро и чётко реагировать в случае сбоев — они бывают.

— Ничего не имеете против «Котиков» — наша команда называется именно так.

Кто уже в моей команде?

— Лёха. Ведущий DBA. Сделал отказоустойчивым весь наш парк MariaDB, с использованием ProxySQL, Github orchestrator и самописного «клея» на Питоне. Придумал архитектуру для HA-инсталляций Редиса и PostgreSQL. У Лёхи 15-летний опыт с MySQL, и он готов им делиться.

— Элина — самый первый админ в Туту, уже больше 13 лет в компании. Сейчас DBA и основной специалист по MongoDB.

— Никита — в компании чуть больше полугода, специализируется в основном на PostgreSQL, успел обновить весь парк на Alma9, параллельно существенно упростил и упорядочил автоматику и сопроводил процесс импортозамещения в контакт-центре на стороне баз данных.

С этими ребятами нужно будет взаимодействовать больше всего. Кроме них в команде:

— Яша, придумал и внедрил центральный элемент нашего видения HA — балансировщики на базе LVS и эникаст-адресов. Развернул систему централизованного мониторинга на базе Prometheus (вместо Graphite) и пайплайн сбора логов Fluentbit — Kafka — Fluent вместо rsyslog — logstash, сделал distributed tracing на базе opentelemetry-стека.

— Антон, внедрил в компании Kafka, главный эксперт по этому сервису. Отвечает за инструменты управления облаками — главный по Terraform’у (мы живём в 5 ЦОДах https://habr.com/ru/company/tuturu/blog/508872/) и отвечает за слой фронтпрокси. Внедрил использование Vault в админской автоматике.

— Лёня. Специализируется преимущественно на инструментах мониторинга и логирования. Внедрил Pyroscope в Openshift для удобной профилировки продуктовых сервисов на Go, сделал пайплайн доставки логов аудита (Vector + ClicKHouse), развернул AWX. Сейчас переносит Sentry с VM-based инсталляции в Openshift.

— Виталий, отвечает за Envoy (фронтпрокси) и внутренние инструменты автоматизации вместе с Антоном. Запустил многопользовательский режим работы для нашего Terraform'a.

— Саша — разработчик, раньше занималась эксплуатацией монолитного приложения и кодила на php, а сейчас развивает инструменты внутренней автоматизации на Python. Из успехов — своя система управления доступами к MySQL/MongoDB/PostgreSQL на основе данных из Active Directory.

— Дмитрий — самый новый Котик, пока погружается в нашу инфру и инструментарий.

— Вадим (я) — бывший разработчик, а сейчас главный зануда команды. Помимо руководства, помогаю ребятам с кодом, архитектурой и диагностикой сложных сбоев.

Как мы работаем

— Все новые конфигурации описываем кодом, храним в системе контроля версий. Из старого зафиксировано почти всё, но не 100%.

— Все существенные решения — роли, плейбуки, инвентори, скрипты и прочее — проводим через ревью внутри команды.

— Анализируем сбои и стараемся не допустить их повторения.

— По всем сервисам собираем метрики и логи, делаем алерты.

— По возможности автоматизируем типовые рутинные операции.

— Рисуем и пишем документацию. Стараемся, но пока есть пробелы.

— При выяснении требований напрямую общаемся с заказчиками из других команд.

— Из регулярных встреч — командный созвон раз в неделю, one-to-one с Лёхой раз в неделю, стыковка по self review со мной раз в месяц. Всё остальное — по необходимости.

Что ждём

— Что вы вольётесь в команду и будете закрывать часть потока задач из нашего внутреннего service desk — как минимум по двум из наших СУБД.

— На основе этого опыта сможете найти точки для автоматизации и оптимизации и с помощью коллег реализуете их.

Примеры задач из service desk

— Завести сервисного пользователя и БД в PostgreSQL.

— Перенести время бекапа БД Jira на ночь.

— Помочь разобраться с причиной возникновения дедлоков в MariaDB.

— Разнести репликасет MongoDB по разным ДЦ.

— Разобраться с ошибками на бекапном сервере PostgreSQL.

График работы

Есть полная удалёнка, работа из офиса или посещение офиса когда захочется. Это как вам удобнее.

Про компанию

— Компания с хорошим техническим стеком, техруководителями и готовностью одними из первых пробовать новые технологии.

— Сильный блог на Хабре, где пишут в том числе технари о своей работе.

Весь положенный набор плюшек: ДМС со стоматологией, кухня в офисе, страховка на путешествия, ноутбук, премии по результатам работы, оплата больничных, регулярная переиндексация зарплаты, а также обучение, премия за прочитанные книги и обмен опытом.

Структура собеседований

— Первая встреча-знакомство с HR-менеджером и Вадимом на 1 час.

— Встреча с парой техспецов. Можно понять, достаточно ли профессиональна наша команда и комфортно ли вам с ней будет. Мы в свою очередь проверим ваши профессиональные знания и навыки ;)

— Финальная встреча с командой и её руководителем.

Администратор баз данных в сервис путешествий