data engineer

Сбер

Инженер данных

С 01.12.2023 по настоящее время (1 год 1 месяц)

Инженер данных портфельного риск менеджмента (потребительские кредиты). Поиск, обработка, актуализация и улучшение источников данных. - Анализ исходных данных из различных источниках и форматах для решения бизнес задач. - Составление и учет технических и бизнес требований в ТЗ. - Проектирование и разработка аналитических витрин. - Проектирование и разработка автоматизированных инструментов по Data-Quality (Контроль качества данных). - Разработка, поддержка и оптимизация инфраструктуры для работы с данными и процессами над ними. - Разработка, поддержка документации по разработанным витринам и инструментам. Основной стек: - БД: Greenplum + Hive(HDFS) - Big Data: Spark, Hadoop, Yarn и т. д. - Оркестратор: Airflow - CI/CD: bitbucket (git) - ETL+DQ: SQL+Python

Сбер

Инженер данных

С 01.12.2023 по настоящее время (1 год 1 месяц)

Инженер данных портфельного риск менеджмента (потребительские кредиты). Поиск, обработка, актуализация и улучшение источников данных. - Анализ исходных данных из различных источниках и форматах для решения бизнес задач. - Составление и учет технических и бизнес требований в ТЗ. - Проектирование и разработка аналитических витрин. - Проектирование и разработка автоматизированных инструментов по Data-Quality (Контроль качества данных). - Разработка, поддержка и оптимизация инфраструктуры для работы с данными и процессами над ними. - Разработка, поддержка документации по разработанным витринам и инструментам. Основной стек: - БД: Greenplum + Hive(HDFS) - Big Data: Spark, Hadoop, Yarn и т. д. - Оркестратор: Airflow - CI/CD: bitbucket (git) - ETL+DQ: SQL+Python

Промсвязьбанк, ПАО

Главный аналитик баз данных по проектам клиентского опыта

С 01.11.2022 по 01.12.2023 (1 год 1 месяц)

Основное направление работы в отделе связано с подготовкой баз, обработкой и анализом ответов в сфере клиентского опыта из анкет клиентов. Задачи связанные с специальностью инженера данных, по подготовке баз для опросов и сбору ответов и подготовки для аналитики. Поиск источников данных и исследование данных на корректность перед загрузкой в ХД (API, Postgre, Oracle и т. д.) Настройка структуры по методологии моделирования 3NF. Настройка ETL процессов для выгрузки данных в ХД (Работа с серверами данных на MS SQL). Пакетная обработка данных с инкрементальной загрузкой в ХД. Подготовка витрин данных для аналитиков Автоматизация доступа к данным ХД/витрин (Подготовка витрин в виде отчетов Power BI, Excel, и web-сервис написанный на Flask, HTML, CSS, JS) Оркестрация ETL (разработка структуры обработки RAW, STG, DDS, CDM слоев). Качество данных (Data Quality). Работа с потоками данных. Решение Ad-hoc задач по аналитике, web-сервису, составление сложных SQL запросов с транзакциями и др. Разработка технической документации.

ЛАНИТ

Младший Data-Engineer

С 01.05.2021 по 01.11.2022 (1 год 6 месяцев)

Работа с потоком данных сервера к серверу с соответствующими преобразованиями. Проектная занятость по разработке, оптимизации и поддержке процессов по сбору статистики и расчету эффективности работы сотрудников и отделов. Расчет премий и рейтинга. - Настраивание ETL процессов в оркестраторе Apache Airflow на базе локальной машины WSL (Ubuntu) и БД на базе Postgre sql с помощью Python. - Контроль версий с помощью git. - Оптимизация запросов (SQL: Индексы и планы запросов, Python: сериализация и десериализация данных) - Рефакторинг и оптимизация кода (Python). - Построение структуры Data Warehouse (Python, Airflow) - Сериализация данных на уровне запросов из источников (Python, Flask) - Настраивание корректной работы сбора данных из различных типов источников (API, WFM, FTP, HTTP) - Подготовка витрин данных для бизнес анализа (Python, Alembic)

Университет

Московский государственный технический университет им. Н.Э. Баумана

Родной язык

Русский

Иностранные языки

Английский

Ключевые навыки

• Python

• Разговорный английский язык

• Ms sql

• Исследовательский анализ данных

• Знание git

• Администрирование серверов linux

• Sql postgresql

• Apache airflow

• Etl / self service etl

• Знание ms project, ms excel, ms word, ms outlook, autocad.

• Python , fastapi, flask, pandas, git, docker, ci/cd, sql

• Понимание принципов ооп

• Sql uml bpmn системный анализ rest postgresql xml soap json api redmine

• Реляционные базы данных

• Опыт администрирования субд mssql server 2008-2019

• Research and market data analysis

• Go, grpc, gitlab, k8s, postgres, clickhouse, oracle, kafka

• Atlassian jira

• Аналитик dwh

Дополнительная информация

Выпускник 2016-2022 (6 лет) специалист МГТУ им Н. Э. Баумана по специальности "Ракетные и импульсные системы". Однако сам в середине обучения понял что хочу идти работать не инженером по специальности, а исполнить школьную мечту, работать в IT. 3 года самостоятельно изучал Python и его стандартные библиотеки. После начал изучать смежные с ним инструменты, такие как Git, Linux, SQL и т. д. В начале лета 2021 вышел на позицию младшего Data Engineer в компании Goodt (компания из группы IT-компаний Ланит) и начал заниматься разработкой ETL процессов в шедулере Airflow на локальной виртульной машине и со всем причитающимися обязанностями (контроль версий, тестирование DAG'ов и т.д.). За время устройства поработал над несколькими различными проектами, где строил и поддерживал ETL процессы. Ну а дальше можно смотреть по опыту. . .