Для открытия контактов резюме необходимо приобрести доступ к базе

  • Открывайте только нужные вам целевые контакты
  • Контакты открываются навсегда
  • Низкая стоимость
#

data engineer

до 380 000 ₽

Гражданство

Россия

Тип занятости

Полная занятость

Мужчина, 29 лет, родился 20 февраля 1996

Город: Москва

Опыт работы

4 года 7 месяцев

Мобильные ТелеСистемы (МТС)

Middle Data Engineer

С 01.01.2024 по настоящее время (1 год 2 месяца)

- Разработка ETL потоков - Разработка полноценного Pipeline (Greenplum/Hadoop/Spark/ClickHouse) - CI/CD GitLab, настройка деплоймента среды для оркестрации Airflow DAG's. Создание шаблонов CI/CD (stages, rules, dependancies) для раскатки микросервисов (gitlab docker runner). - Создания API на фрейворке FastAPI для взаимодействия с микросервисной архитектурой приложений (в частности ml модели) - Fullstack разработка сервисов по взаимодействию с моделями машинного обучения и superset (для вывода графиков) Backend (FastAPI + Postgres, Python) Frontend (React + Vue, JavaScript) - Установка/администрирование Kafka (в микросервисах, Kraft quorum из 3 нод). Настройка topics, partitions, модели сообщений для event driven архитектуры. - Разработка и поддержка манифестов для деплоя stateful приложений в Kubernetes.

Мобильные ТелеСистемы (МТС)

Middle Data Engineer

С 01.01.2024 по настоящее время (1 год 2 месяца)

- Разработка ETL потоков - Разработка полноценного Pipeline (Greenplum/Hadoop/Spark/ClickHouse) - CI/CD GitLab, настройка деплоймента среды для оркестрации Airflow DAG's. Создание шаблонов CI/CD (stages, rules, dependancies) для раскатки микросервисов (gitlab docker runner). - Создания API на фрейворке FastAPI для взаимодействия с микросервисной архитектурой приложений (в частности ml модели) - Fullstack разработка сервисов по взаимодействию с моделями машинного обучения и superset (для вывода графиков) Backend (FastAPI + Postgres, Python) Frontend (React + Vue, JavaScript) - Установка/администрирование Kafka (в микросервисах, Kraft quorum из 3 нод). Настройка topics, partitions, модели сообщений для event driven архитектуры. - Разработка и поддержка манифестов для деплоя stateful приложений в Kubernetes.

Ростелеком

Архитектор данных

С 01.01.2023 по 01.12.2023 (11 месяцев)

- администрирование базы Postgres + Проектирование базы под ERP систему. - развертывание Airflow/Dagster в kubernetes, deployment setup (docker engine)(ETL) - Написание python скриптов для работы с источниками данных (APIs, базы данных, хранилище файлов hadoop) - администрирование (RedHat redos) сервера Установка и настройка по/пакетов на базе Linux под различные сервисы (docker, Postgres-14/15/16, ms server, airflow, spark) - развертывание/администрирование и создание ETL потоков с Kafka (kraft) кластером с quorum_voters. - Работа с MPP системами GreenPlum и Spark. Развертывание Spark кластера с нативным менеджером. - Построение архитектуры извлечения, преобразования и загрузки данных в DWH. - Разработка решений и внедрение проектов по автоматизации процессов внутри подразделений. - Опыт развертывание GitLab и настройка CI\CD потоков/.yaml для непрерывной интеграции. - Опыт развертывания и работы с документоориентированной базой mongodb (pymongo).

Tibbo

Data Engineer (low-code)

С 01.09.2022 по 01.01.2023 (4 месяца)

- Разработка ETL потоков. - Разработка решений, развертывание кластера базы данных Postgres и смежных сервисов в Docker - Написание клиента/скрипта по сбору и обработке данных (Python/ООП) - Установка пакетов и поддержка сервера (Centos Linux) - Написание сложных хранимых процедур и функций как на родном sql, так и на plpgsql диалекте. - Оптимизация запросов

Halalivery

Data Analyst

С 01.09.2017 по 01.11.2018 (1 год 2 месяца)

Работа над SEO приложения и web версии с помощью Google Analytics. Cоставление запросов/транзакий для обращения к облачной базе данных PosgreSQL (от AWS Amazon Aurora). Тестировние приложения на скорость GET() запросов (определение наиболее ресурсных подгрузок с сервера), выявление багов в приложении. Так же на месте изучал и использовал Python библиотеки Pandas, NumPy для создания dataframes: - Делал выгрузку данных с использованием .groupby + .agg - Cводные таблицы pivot_table, мультииндексы. - Свод анализа по Retention метрикам (Построение когорт users от рождения до минимальной активности)

Образование

Университет

Aston University

Университет

University of Nottingham

Университет

Study Section

Университет

International English Language Testing System (IELTS)

Владение языками

Родной язык

Русский

Иностранные языки

Дополнительно

Ключевые навыки

  • Statistics

  • Знаком с python

  • Понимание mysql

  • Sql postgresql

  • Субд ms sql server

  • Apache hadoop

  • Python: pandas; requests, scrapy, numpy; skipy, json, xlwt, xlrd, pyspark;

  • Навыки работы с docker/docker-compose

  • Apache airflow

  • Ms sql

  • qlick sense

  • Apache superset

  • Can, tcp/ip, sctp, uni/nni-saal, mtp3(b) and m3ua

  • Понимание принципов ооп

  • бд oracle

  • Тестирование rest api

  • Apache kafka

  • Fetch api

  • Знание git

  • Git bash

  • Реляционные базы данных

  • Apache spark

  • Аналитика в google таблицах

Дополнительная информация

Бывший студент Aston University, в сфере Economics and Management. Основным направлением была статистика (ссылка на курсовую github внизу).После основной учебы прошел много курсов, tutorials и обучился анализировать данные и строить витрины. Люблю ковыряться в данных и разбирать алгоритмы на LeetCode.

Похожие резюме

#

до 90 000 ₽

40 лет

Москва

Полный день, Гибкий график

Последнее место работы

ООО "Атол", сборщик-тестеровщик, сентябрь 2006 - сентябрь 2007

Обновлено

14.10 в 21:07

Был на сайте

Более недели назад

Опыт работы

14 лет 10 месяцев

#

до 140 000 ₽

30 лет

Москва

Полный день, Гибкий график

Последнее место работы

IT Software Solutions, Оператор ПК, ноябрь 2018 - август 2019

Обновлено

06.11 в 21:07

Был на сайте

Более недели назад

Опыт работы

8 лет 9 месяцев

#

до 180 000 ₽

34 года

Москва

Полный день

Последнее место работы

ООО "ЮРИНФОРМ", Юрист, февраль 2014 - октябрь 2015

Обновлено

26.10 в 08:13

Был на сайте

Более недели назад

Опыт работы

13 лет 4 месяца