data engineer

Центр развития транспорта общего пользования при Российском университе транспорта

Data Engineer

С 01.05.2023 по настоящее время (1 год 11 месяцев)

• Сбор данных (API Parsing, HTML Parsing, BeautifulSoup, Selenium) • Поддержание качества данных • Поддержка и расширение возможностей существующих ETL-алгоритмов • Создание дашбордов в Apache SuperSet и Yandex DataLens • ETL: Предобработка данных и их сохранение в базе данных • Разработка требований для внешних поставщиков данных и взаимодействие с ними Достижения • Успешно автоматизировал процессы сбора геоданных и маршрутной информации из различных источников • Ускорил разработку проектов, за счет поддержания в актуальном состоянии данных о маршрутной сети городов

Центр развития транспорта общего пользования при Российском университе транспорта

Data Engineer

С 01.05.2023 по настоящее время (1 год 11 месяцев)

• Сбор данных (API Parsing, HTML Parsing, BeautifulSoup, Selenium) • Поддержание качества данных • Поддержка и расширение возможностей существующих ETL-алгоритмов • Создание дашбордов в Apache SuperSet и Yandex DataLens • ETL: Предобработка данных и их сохранение в базе данных • Разработка требований для внешних поставщиков данных и взаимодействие с ними Достижения • Успешно автоматизировал процессы сбора геоданных и маршрутной информации из различных источников • Ускорил разработку проектов, за счет поддержания в актуальном состоянии данных о маршрутной сети городов

ГКУ Центр организации дорожного движения Правительства Москвы

Стажер-разработчик

С 01.06.2024 по 01.12.2024 (6 месяцев)

• Создание архитектуры базы данных • Распознавание информации с PDF-файлов (OCR) • Разметка и предобработка геоданных • Создание дашбордов в Apache SuperSet Достижения • Успешная реализация веб-сервиса расчета стоимости проезда по платным дорогам московского региона

Университет

Российский университет транспорта

Университет

1С Зарплата и управление персоналом

Родной язык

Русский

Иностранные языки

Английский

Ключевые навыки

• Английский язык

• Ключевые навыки java sql postgresql базы данных работа с базами данных стремление к профессиональном

• Знаком с python

• big data

• Исследовательский анализ данных

• Навыки работы с docker/docker-compose

• Adobe indesign indesign adobe photoshop adobe illustrator ms powerpoint пользователь пк графические

• Знание git

• работа с большим объемом информации

• • подготовка презентаций

• Ms sql

• Python data mining

• Sql postgresql

• Batch ml-модели

• Research and market data analysis

• сбор и анализ информации

• • sql • bpmn • ms excel • python • java • vbscript • groovy • itsm • автоматизация процессов • rest

• написание тз для разработчиков

Дополнительная информация

Я коммуникабельный и быстро-обучаемый дата-инженер с аналитическим мышлением. Имею 2-летний опыт работы, преимущественно в проектах, связанных с транспортным планированием, а также in-house решениями. Более 3 лет программирую на Python (в т. ч. работаю с библиотеками для анализа и визуализации – matplotlib, seaborn, sklearn), использую SQL, BI-системы (Yandex DataLens, Apache SuperSet), R. Работал и создавал простые ML-модели (регрессия, классификация, временные ряды)