Руководитель продаж

Спутниковое ТВ МТС

Senior Data Engineer

С 01.07.2023 по настоящее время (1 год 6 месяцев)

Разработка data pipelines с помощью Python, PySpark, Airflow Разработка новых хранимых процедур и функций на plpgsql в GreenPlum Доработка архитектуры хранилища данных, в частности перевод хранилища на модель Data Vault Интеграция новых источников данных, как внутренних так и внешних. Работа с кластером Hadoop (hdfs, hive) Создание интеграций с использованием apache kafka

Спутниковое ТВ МТС

Senior Data Engineer

С 01.07.2023 по настоящее время (1 год 6 месяцев)

Разработка data pipelines с помощью Python, PySpark, Airflow Разработка новых хранимых процедур и функций на plpgsql в GreenPlum Доработка архитектуры хранилища данных, в частности перевод хранилища на модель Data Vault Интеграция новых источников данных, как внутренних так и внешних. Работа с кластером Hadoop (hdfs, hive) Создание интеграций с использованием apache kafka

Mediascope

Data Engineer

С 01.07.2022 по 01.07.2023 (1 год)

- Разработал несколько частей пайплайнов данных. - Рефакторинг кода, участвующего в генерации/работе пайплайнов поставки данных с использованием Python, PySpark, SparkSQL. - Работа с кластером Hadoop в качестве DWH и S3 хранилищем данных.

Отраслевой центр разработок и внедрения информационных систем / ОЦРВ

Data Analyst

С 01.07.2020 по 01.07.2022 (2 года)

Разработал несколько десятков бизнес-отчетов: - Создал SQL-скрипты (Oracle), формирующие витрины данных - Создал визуализацию отчетов в Eclipse BIRT(Business Intelligence and Reporting Tool) Оптимизировал несколько чужих отчетов: - Произвел оптимизацию SQL скриптов по cost ( перевод nested loops в hash join и т.д.) -Работа по принципу Agile -Работа в системе Jira -Работа с GitLab

Университет

Московский авиационный институт (национальный исследовательский университет)

Университет

РТУ МИРЭА/МГУПИ

Родной язык

Русский

Иностранные языки

Английский

Ключевые навыки

• Version control/git

• jupyter

• jupyter notebook

• Sql postgresql

• линейная алгебра

• Python (pandas, numpy, matplotlib)

• Etl / self service etl

• Python: pandas; requests, scrapy, numpy; skipy, json, xlwt, xlrd, pyspark;

• Apache airflow

• Аналитик dwh

• Прикладная математика

• Опыт администрирования субд postgresql, tarantool, greenplum, clickhouse;

• sql

• алгоритмы и структуры данных

• business intelligence systems

• .net, c#, ef, postgresql, k8s, gitlab, kibana, grafana

• Ms power bi

• apache nifi

• Apache hadoop

• Django rest pandas

• Python (numpy, scipy, pytorch, sklearn)

• big data

• Знаком с python

• Apache spark

• Apache hive

Дополнительная информация

Я аналитик-разработчик с более чем двумя годами опыта. Мой опыт включает в себя создание и оптимизацию бизнес-отчетов с использованием SQL-скриптов в Oracle и инструмента визуализации Eclipse BIRT. Я также имею опыт в оптимизации SQL-запросов и работе в Agile-среде с использованием Jira и GitLab. Моя экспертиза включает в себя владение Git, SQL и Python, а также опыт в автоматизации управленческой отчетности. Мои навыки в математической статистике, алгоритмах и структурах данных позволяют мне эффективно анализировать и интерпретировать данные. Я готов применить этот опыт и навыки в роли аналитика данных, чтобы помочь организации принимать информированные решения на основе данных.