Проджект менеджер

Сбер

Инженер данных

С 01.01.2024 по настоящее время (10 месяцев)

Разработка ETL процессов между S3, различными СУБД, обновление данных и сборка витрин по расписанию, создание сложных денормализованных витрин для специфических дэшбордов, правка и создание самих дэшбордов. Большой опыт написания различных хитрых sql запросов для расширения функционала BI систем, а так же триггеров и функций, как части ETL в PostgreSQL. Разработка коннекторов к Bitrix24, 1C на python. Так же самостоятельное общение с клиентом - обсуждение ТЗ и этапов реализации. Разработка методологий расчета различных метрик. Рефакторинг и оптимизация чужого кода (python). Менторинг. Стек: - Docker - K8S - Minio - Postgres, ClickHouse, MySql - GreenPlum - Airflow - NiFi - RabbitMQ - SuperSet - Навигатор BI

Сбер

Инженер данных

С 01.01.2024 по настоящее время (10 месяцев)

Разработка ETL процессов между S3, различными СУБД, обновление данных и сборка витрин по расписанию, создание сложных денормализованных витрин для специфических дэшбордов, правка и создание самих дэшбордов. Большой опыт написания различных хитрых sql запросов для расширения функционала BI систем, а так же триггеров и функций, как части ETL в PostgreSQL. Разработка коннекторов к Bitrix24, 1C на python. Так же самостоятельное общение с клиентом - обсуждение ТЗ и этапов реализации. Разработка методологий расчета различных метрик. Рефакторинг и оптимизация чужого кода (python). Менторинг. Стек: - Docker - K8S - Minio - Postgres, ClickHouse, MySql - GreenPlum - Airflow - NiFi - RabbitMQ - SuperSet - Навигатор BI

Сбер Ökko

Стажер pyhon разработчик

С 01.07.2023 по 01.10.2023 (3 месяца)

Разработка проекта по сбору аналитических данных для онлайн кинотеатров Занимался построением пайплайнов по сбору данных с онлайн кинотеатров и подготовке данных для аналитики Занимался созданием витрин данных в Clickhouse, отладкой ETL из Rabbit MQ в Clickhouse, работал с движком RabbitMQ Engine для Materialized View в Clickhouse. Поработал со всеми этапами ETL в проекте: от сбора и парсинга сырых данных из интернета и обхода различных блокировок ботов до наладки Airflow дагов и RabbitMQ пайплайнов, отправки данных в аналитическую БД, формирования витрин данных. Работал в команде из 3-х человек, проходил код-ревью. Работали в соответствии со стандартами индустрии - git(bitbucket), таски через jira, ide pycharm, код по PEP8, с проверкой линтерами, работали на MAC OS, на корпоративных макбуках. Стек: Python 3, RabbitMQ, Docker compose, Airflow, ClickHouse, Postgres В целом о стажировке: Сходу удалось влиться в команду - наити общий язык с ребятами и разобраться в проекте. За время стажировки внёс существенный вклад в проект. В частности реализовал сложный обход блокировки автоматизированных запросов на одном известном сайте. Брал задачи и участвовал в планированиях на ряду с штатными разработчиками, оформлял ПРы, проходил ревью. При необходимости можно получить рекомендацию от моего руководителя и подтвердить описанное выше.

ООО "Медиа - М"

Программист, аналитик данных

С 01.11.2022 по 01.07.2023 (8 месяцев)

Занимался парсингом сайтов с отправкой результатов в таблицы PostgreSQL, делал очистку данных. Создавал отчеты на основе собранных данных о динамике изменения цен на площадках конкурентов. Писал скрипты для автоматизации формирования и выгрузки отчетов через psycopg2. Создавал телеграмм ботов для оповещения о событиях. Стек: PostgreSQL Jupyter notebook Flask Beautiful Soup Lxml Psycopg2 Pandas Python-telegram-bot MS Excel

Bonno

Технолог - управляющий

С 01.02.2021 по 01.07.2022 (1 год 5 месяцев)

CAD проектирование, написание управляющих программ для ЧПУ.

Университет

Санкт-Петербургский государственный университет гражданской авиации

Университет

Australian wings academy

Университет

Introduction to Network Automation

Университет

Data Analysis with Python

Университет

Databases and SQL for Data Science with Python

Университет

Crash Course on Python

Университет

Introduction to Structured Query Language (SQL)

Родной язык

Русский

Иностранные языки

Английский

Ключевые навыки

• Ms sql

• Знаком с python

• Django rest pandas

• Python (pandas, numpy, matplotlib)

• Sql postgresql

• psycopg2

• python-telegram-bot

• Coffeecup html editor

• Apache http server

• Python: pandas; requests, scrapy, numpy; skipy, json, xlwt, xlrd, pyspark;

• Git / bitbucket), commit / push / merge /pullrequest / branch

• Опыт в разработке проектов с нуля. самоорганизованность. умение разбираться в чужом коде.

• docker-compose

• Знания яп: php, python3, javascript +es, node.js, vuejs, webcms

• Ibm mq, rabbitmq, etc

• .net core web api docker, docker compose html5 tailwind css javascript typescript vue.js

• Навыки работы с docker/docker-compose

• Apache airflow

• Знание mac os, linux

• Atlassian jira

• Знание git

• Go, grpc, gitlab, k8s, postgres, clickhouse, oracle, kafka

Дополнительная информация

В данный момент: Работаю с внешними заказчиками компании, самостоятельно осуществляю полный спектр работ по направлениям: - Анализ источников данных (CRM, базы, xlsx и по.) - Построение ETL по загрузке и обновлению данных в единое хранилище. - Разработка методологий расчета метрик. - Разработка и автоматизация обновления витрин. - Построение дэшбордов в соответствии с ТЗ. - Написание коннекторов к CRM и т.п. на Python. Стек: K8s Postgres, Clickhouse Airflow, NiFi, RabbitMQ Python Sql Superset, Навигатор Gitea, Bitbucket Ранее: Проходил стажировку в дочерней компании Сбера - онлайн кинотеатре Окко. Во время стажировки получил опыт с Airflow, RabbitMQ, Docker, и опыт коммерческой разработки в целом. В конце стажировки даже сам помогал новым коллегам разобраться в нюансах фреймворка для скрейпинга сайтов. О себе: Окончил авиационную академию в Австралии. Работал пилотом. После того как покинул лётную работу, занимался станками с числовым программным управлением, в том числе занимался их проектированием и сборкой. Далее самостоятельно изучил основы Python, SQL, получил опыт работы и продолжаю успешно строить карьеру и пополнять компетенции в сфере IT.