data engineer

BestDoctor

Data Engineer

С 01.02.2023 по настоящее время (2 года 2 месяца)

Работа в дата-инженерской команде как универсальный разработчик\инженер для поставки данных для различных целей и бизнес процессов. Разработка: -Разработка различных фичей и скриптов для получения, выкачивания и трансформирования данных из различных микросервисов -Разработка дата пайплайнов для извлечения данных\таблиц с различных postgresql баз для хранения их на основном хранилище на Grennplum -Разработка и поддержка витрин данных для аналитиков -Создание пайплайнов на спарке для больших таблиц Поддержка и обслуживание: -Обслуживание ежедневного процесса заливки и обновления новых данных из источников в целевые таблицы -Работа с аналитиками по их запросам и реквестам -Рефакторинг старой код базы на python\sql и переработка старых таблиц и схем данных -Оптимизация дата пайплайнов, sql запросов и табличного пространства для улучшения работы хранилища

BestDoctor

Data Engineer

С 01.02.2023 по настоящее время (2 года 2 месяца)

Работа в дата-инженерской команде как универсальный разработчик\инженер для поставки данных для различных целей и бизнес процессов. Разработка: -Разработка различных фичей и скриптов для получения, выкачивания и трансформирования данных из различных микросервисов -Разработка дата пайплайнов для извлечения данных\таблиц с различных postgresql баз для хранения их на основном хранилище на Grennplum -Разработка и поддержка витрин данных для аналитиков -Создание пайплайнов на спарке для больших таблиц Поддержка и обслуживание: -Обслуживание ежедневного процесса заливки и обновления новых данных из источников в целевые таблицы -Работа с аналитиками по их запросам и реквестам -Рефакторинг старой код базы на python\sql и переработка старых таблиц и схем данных -Оптимизация дата пайплайнов, sql запросов и табличного пространства для улучшения работы хранилища

Сбер

Data Engineer

С 01.09.2020 по 01.11.2022 (2 года 2 месяца)

Разработка витрин данных: - Python\Scala + Spark и SQL - Проведение полного релизного цикла витрины от согласования задачи с бизнес-заказчиком до вывода на прод с последующей поддержкой - Отладка и рефакторинг кода уже существующих витрин - Перенос и отладка витрин на новые кластера - Проведение аналитики по возможности разработки витрины(существование необходимых данных, возможность доступа к ним и т.д.) - Более 20 выведенных в релиз витрин Поддержка в настройке ETL процессов: - Помощь соседним командам в настройке и отладке ошибок их витрин\моделей Усовершенствование подхода к процессу разработки внутри команд: - Работа под прямым руководством CDO трайба - Создание подхода к документации разработок. - Накапливание общего портала с экспертизой по вопросам\ошибкам - Налаживание коммуникации между командами разработки - Проведение встреч по агрегации накопившихся ошибок и вопросов по разработке Усовершенствование процесса взаимодействия команд разработки и команд сопровождения: - Создание унифицированного дэшборда задач от команд разботки к саппорту(jira,таски,встречи)

Сбер

Ит-инженер

С 01.08.2019 по 01.09.2020 (1 год 1 месяц)

Разработка, администрирование и сопровождение корпоративных bigdata систем.

Сбер

Стажер-инженер

С 01.04.2019 по 01.08.2019 (4 месяца)

Стажер SberData, отдела работы с большими, группа сопровождения аналитических платформ

Университет

Национальный исследовательский университет "Высшая школа экономики"

Университет

Независимый Московский университет

Университет

Московский физико-технический институт (государственный университет)

Университет

Stanford machinelearning course

Университет

SLI 2014

Родной язык

Русский

Иностранные языки

Английский, Немецкий, Аф?

Ключевые навыки

• Аналитическое мышление

• математическая статистика

• Python c/c++

• Знаком с python

• machine learning

• Rest api, git, datascience,langchain, gigachain, gigachat, chatgpt

• работа с большим объемом информации

• big data

• Apache hadoop

• Администрирование серверов linux

• Исследовательский анализ данных

• cистемы управления базами данных

• Понимание mysql

• Ms sql

• Django rest pandas

• Python (pandas, numpy, matplotlib)

• Разработка на scala

• Системное администрирование

• oracle pl/sql

• Sql postgresql

• Apache spark

• C, c++, java, uml

• Опыт администрирования субд postgresql, tarantool, greenplum, clickhouse;

• , mongodb

• Devops (git (bitbucket), jenkins, ansible, maven, gradle, junit и пр.)

• Знание git

Дополнительная информация

Высоко мотивированный дата инженер с огромным желание работать с данными и решать сложные проблемы. Хорошее понимание разных языков программирования, архитектуры данных, ETL процессов и хранилищ данных. Опыт включает в себя работу с различными дата-платформами, источниками данных, написание различного кода, оптимизацию запросов, работу в поддержке и менеджменте командных работ. Работал в больших финансовых организациях, маленьких аутсорс командах, в медтех стартапах как член большой команды, а так же и как соло разработчик. Языки: Python,Scala,Java,C++ SQL: MySQL,MsSQL,PostgreSQL,Oracle,MongoDB,Greenplum BigData: Hadoop,Spark,Hive,Impala, ETL(Oozie,airflow) Разное: Linux,Git,Jenkins,ML,DL https://github.com/Mi6k4