data engineer

Мобильные ТелеСистемы (МТС)

Middle Data Engineer

С 01.01.2024 по настоящее время (1 год 2 месяца)

- Разработка ETL потоков - Разработка полноценного Pipeline (Greenplum/Hadoop/Spark/ClickHouse) - CI/CD GitLab, настройка деплоймента среды для оркестрации Airflow DAG's. Создание шаблонов CI/CD (stages, rules, dependancies) для раскатки микросервисов (gitlab docker runner). - Создания API на фрейворке FastAPI для взаимодействия с микросервисной архитектурой приложений (в частности ml модели) - Fullstack разработка сервисов по взаимодействию с моделями машинного обучения и superset (для вывода графиков) Backend (FastAPI + Postgres, Python) Frontend (React + Vue, JavaScript) - Установка/администрирование Kafka (в микросервисах, Kraft quorum из 3 нод). Настройка topics, partitions, модели сообщений для event driven архитектуры. - Разработка и поддержка манифестов для деплоя stateful приложений в Kubernetes.

Мобильные ТелеСистемы (МТС)

Middle Data Engineer

С 01.01.2024 по настоящее время (1 год 2 месяца)

- Разработка ETL потоков - Разработка полноценного Pipeline (Greenplum/Hadoop/Spark/ClickHouse) - CI/CD GitLab, настройка деплоймента среды для оркестрации Airflow DAG's. Создание шаблонов CI/CD (stages, rules, dependancies) для раскатки микросервисов (gitlab docker runner). - Создания API на фрейворке FastAPI для взаимодействия с микросервисной архитектурой приложений (в частности ml модели) - Fullstack разработка сервисов по взаимодействию с моделями машинного обучения и superset (для вывода графиков) Backend (FastAPI + Postgres, Python) Frontend (React + Vue, JavaScript) - Установка/администрирование Kafka (в микросервисах, Kraft quorum из 3 нод). Настройка topics, partitions, модели сообщений для event driven архитектуры. - Разработка и поддержка манифестов для деплоя stateful приложений в Kubernetes.

Ростелеком

Архитектор данных

С 01.01.2023 по 01.12.2023 (11 месяцев)

- администрирование базы Postgres + Проектирование базы под ERP систему. - развертывание Airflow/Dagster в kubernetes, deployment setup (docker engine)(ETL) - Написание python скриптов для работы с источниками данных (APIs, базы данных, хранилище файлов hadoop) - администрирование (RedHat redos) сервера Установка и настройка по/пакетов на базе Linux под различные сервисы (docker, Postgres-14/15/16, ms server, airflow, spark) - развертывание/администрирование и создание ETL потоков с Kafka (kraft) кластером с quorum_voters. - Работа с MPP системами GreenPlum и Spark. Развертывание Spark кластера с нативным менеджером. - Построение архитектуры извлечения, преобразования и загрузки данных в DWH. - Разработка решений и внедрение проектов по автоматизации процессов внутри подразделений. - Опыт развертывание GitLab и настройка CI\CD потоков/.yaml для непрерывной интеграции. - Опыт развертывания и работы с документоориентированной базой mongodb (pymongo).

Tibbo

Data Engineer (low-code)

С 01.09.2022 по 01.01.2023 (4 месяца)

- Разработка ETL потоков. - Разработка решений, развертывание кластера базы данных Postgres и смежных сервисов в Docker - Написание клиента/скрипта по сбору и обработке данных (Python/ООП) - Установка пакетов и поддержка сервера (Centos Linux) - Написание сложных хранимых процедур и функций как на родном sql, так и на plpgsql диалекте. - Оптимизация запросов

Halalivery

Data Analyst

С 01.09.2017 по 01.11.2018 (1 год 2 месяца)

Работа над SEO приложения и web версии с помощью Google Analytics. Cоставление запросов/транзакий для обращения к облачной базе данных PosgreSQL (от AWS Amazon Aurora). Тестировние приложения на скорость GET() запросов (определение наиболее ресурсных подгрузок с сервера), выявление багов в приложении. Так же на месте изучал и использовал Python библиотеки Pandas, NumPy для создания dataframes: - Делал выгрузку данных с использованием .groupby + .agg - Cводные таблицы pivot_table, мультииндексы. - Свод анализа по Retention метрикам (Построение когорт users от рождения до минимальной активности)

Университет

Aston University

Университет

University of Nottingham

Университет

Study Section

Университет

International English Language Testing System (IELTS)

Родной язык

Русский

Иностранные языки

Ключевые навыки

• Statistics

• Знаком с python

• Понимание mysql

• Sql postgresql

• Субд ms sql server

• Apache hadoop

• Python: pandas; requests, scrapy, numpy; skipy, json, xlwt, xlrd, pyspark;

• Навыки работы с docker/docker-compose

• Apache airflow

• Ms sql

• qlick sense

• Apache superset

• Can, tcp/ip, sctp, uni/nni-saal, mtp3(b) and m3ua

• Понимание принципов ооп

• бд oracle

• Тестирование rest api

• Apache kafka

• Fetch api

• Знание git

• Git bash

• Реляционные базы данных

• Apache spark

• Аналитика в google таблицах

Дополнительная информация

Бывший студент Aston University, в сфере Economics and Management. Основным направлением была статистика (ссылка на курсовую github внизу).После основной учебы прошел много курсов, tutorials и обучился анализировать данные и строить витрины. Люблю ковыряться в данных и разбирать алгоритмы на LeetCode.