Для открытия контактов резюме необходимо приобрести доступ к базе

  • Открывайте только нужные вам целевые контакты
  • Контакты открываются навсегда
  • Низкая стоимость
#

data engineer

до 380 000 ₽

Гражданство

Россия

Тип занятости

Полная занятость

Мужчина, 29 лет, родился 20 февраля 1996

Город: Москва

Опыт работы

4 года 7 месяцев

Мобильные ТелеСистемы (МТС)

Middle Data Engineer

С 01.01.2024 по настоящее время (1 год 2 месяца)

- Разработка ETL потоков - Разработка полноценного Pipeline (Greenplum/Hadoop/Spark/ClickHouse) - CI/CD GitLab, настройка деплоймента среды для оркестрации Airflow DAG's. Создание шаблонов CI/CD (stages, rules, dependancies) для раскатки микросервисов (gitlab docker runner). - Создания API на фрейворке FastAPI для взаимодействия с микросервисной архитектурой приложений (в частности ml модели) - Fullstack разработка сервисов по взаимодействию с моделями машинного обучения и superset (для вывода графиков) Backend (FastAPI + Postgres, Python) Frontend (React + Vue, JavaScript) - Установка/администрирование Kafka (в микросервисах, Kraft quorum из 3 нод). Настройка topics, partitions, модели сообщений для event driven архитектуры. - Разработка и поддержка манифестов для деплоя stateful приложений в Kubernetes.

Мобильные ТелеСистемы (МТС)

Middle Data Engineer

С 01.01.2024 по настоящее время (1 год 2 месяца)

- Разработка ETL потоков - Разработка полноценного Pipeline (Greenplum/Hadoop/Spark/ClickHouse) - CI/CD GitLab, настройка деплоймента среды для оркестрации Airflow DAG's. Создание шаблонов CI/CD (stages, rules, dependancies) для раскатки микросервисов (gitlab docker runner). - Создания API на фрейворке FastAPI для взаимодействия с микросервисной архитектурой приложений (в частности ml модели) - Fullstack разработка сервисов по взаимодействию с моделями машинного обучения и superset (для вывода графиков) Backend (FastAPI + Postgres, Python) Frontend (React + Vue, JavaScript) - Установка/администрирование Kafka (в микросервисах, Kraft quorum из 3 нод). Настройка topics, partitions, модели сообщений для event driven архитектуры. - Разработка и поддержка манифестов для деплоя stateful приложений в Kubernetes.

Ростелеком

Архитектор данных

С 01.01.2023 по 01.12.2023 (11 месяцев)

- администрирование базы Postgres + Проектирование базы под ERP систему. - развертывание Airflow/Dagster в kubernetes, deployment setup (docker engine)(ETL) - Написание python скриптов для работы с источниками данных (APIs, базы данных, хранилище файлов hadoop) - администрирование (RedHat redos) сервера Установка и настройка по/пакетов на базе Linux под различные сервисы (docker, Postgres-14/15/16, ms server, airflow, spark) - развертывание/администрирование и создание ETL потоков с Kafka (kraft) кластером с quorum_voters. - Работа с MPP системами GreenPlum и Spark. Развертывание Spark кластера с нативным менеджером. - Построение архитектуры извлечения, преобразования и загрузки данных в DWH. - Разработка решений и внедрение проектов по автоматизации процессов внутри подразделений. - Опыт развертывание GitLab и настройка CI\CD потоков/.yaml для непрерывной интеграции. - Опыт развертывания и работы с документоориентированной базой mongodb (pymongo).

Tibbo

Data Engineer (low-code)

С 01.09.2022 по 01.01.2023 (4 месяца)

- Разработка ETL потоков. - Разработка решений, развертывание кластера базы данных Postgres и смежных сервисов в Docker - Написание клиента/скрипта по сбору и обработке данных (Python/ООП) - Установка пакетов и поддержка сервера (Centos Linux) - Написание сложных хранимых процедур и функций как на родном sql, так и на plpgsql диалекте. - Оптимизация запросов

Halalivery

Data Analyst

С 01.09.2017 по 01.11.2018 (1 год 2 месяца)

Работа над SEO приложения и web версии с помощью Google Analytics. Cоставление запросов/транзакий для обращения к облачной базе данных PosgreSQL (от AWS Amazon Aurora). Тестировние приложения на скорость GET() запросов (определение наиболее ресурсных подгрузок с сервера), выявление багов в приложении. Так же на месте изучал и использовал Python библиотеки Pandas, NumPy для создания dataframes: - Делал выгрузку данных с использованием .groupby + .agg - Cводные таблицы pivot_table, мультииндексы. - Свод анализа по Retention метрикам (Построение когорт users от рождения до минимальной активности)

Образование

Университет

Aston University

Университет

University of Nottingham

Университет

Study Section

Университет

International English Language Testing System (IELTS)

Владение языками

Родной язык

Русский

Иностранные языки

Дополнительно

Ключевые навыки

  • Statistics

  • Знаком с python

  • Понимание mysql

  • Sql postgresql

  • Субд ms sql server

  • Apache hadoop

  • Python: pandas; requests, scrapy, numpy; skipy, json, xlwt, xlrd, pyspark;

  • Навыки работы с docker/docker-compose

  • Apache airflow

  • Ms sql

  • qlick sense

  • Apache superset

  • Can, tcp/ip, sctp, uni/nni-saal, mtp3(b) and m3ua

  • Понимание принципов ооп

  • бд oracle

  • Тестирование rest api

  • Apache kafka

  • Fetch api

  • Знание git

  • Git bash

  • Реляционные базы данных

  • Apache spark

  • Аналитика в google таблицах

Дополнительная информация

Бывший студент Aston University, в сфере Economics and Management. Основным направлением была статистика (ссылка на курсовую github внизу).После основной учебы прошел много курсов, tutorials и обучился анализировать данные и строить витрины. Люблю ковыряться в данных и разбирать алгоритмы на LeetCode.

Похожие резюме

#

Не указана

45 лет

Москва

Полный день

Последнее место работы

Вагонное депо Карталы Ю-У жд., слесарь по ремонту подвижного состава, июль 1996 - август 2001

Обновлено

27.10 в 15:01

Был на сайте

Более недели назад

Опыт работы

25 лет 1 месяц

#

Не указана

26 лет

Москва

Гибкий график

Последнее место работы

ГБУЗ МО ВОСКРЕСЕНСКАЯ РАЙОННАЯ БОЛЬНИЦА, Медицинская сестра, август 2019 - сентябрь 2021

Обновлено

22.10 в 03:01

Был на сайте

Более недели назад

Опыт работы

7 лет 8 месяцев

#

Не указана

Москва

Полный день

Последнее место работы

Торгово-производственный холдинг Л.О.Б.О 1991, Руководитель административного отдела, январь 1999 - январь 2001

Обновлено

12.11 в 19:01

Был на сайте

Более недели назад

Опыт работы

33 года 10 месяцев