Data Engineer (Инженер данных) / Big Data Engineer — Россия, 4 года опыта
У. А. М.
Россия4 года опыта
О соискателе
Специалист обладает подтверждённым четырёхлетним опытом в области разработки и поддержки масштабируемых систем управления большими данными, начиная с классических решений на базе Hadoop и заканчивая современными архитектурами Data Lake House. В ходе профессионального развития инженер успешно реализовывал сложные задачи по построению централизованных хранилищ для e-commerce, обеспечивая бесшовную интеграцию разнородных источников данных через Apache Kafka и GreenPlum. Ключевым направлением деятельности является проектирование высокопроизводительных ETL и ELT пайплайнов с использованием Python, PySpark и Apache Airflow, что позволяет обрабатывать огромные объёмы информации в режиме реального времени и пакетно. Специалист демонстрирует высокую квалификацию при оптимизации производительности аналитических баз данных, проводя тонкую настройку партиционирования и шардирования в ClickHouse, а также управляя инфраструктурой через контейнеры Docker и оркестратор Kubernetes. Глубокое понимание методологий моделирования DWH, включая подходы Kimball и Data Vault, помогает выстраивать логически верные структуры, удобные для последующей визуализации и принятия бизнес-решений. Специалист наиболее эффективен в условиях сложных технологических проектов, требующих одновременной работы с облачными платформами Yandex Cloud, AWS или GCP и внедрения практик Infrastructure as Code с использованием Terraform.
Ключевые навыки
PythonSQLBashApache SparkPySparkApache AirflowApache KafkaApache IcebergGreenPlumClickHousePostgreSQLHadoopHDFSParquetProtobufJSONDockerKubernetesGitGitLab CI/CDTrinoS3Data Lake HouseDWHETLELTDWH-моделированиеKimballData VaultLinuxTerraformYandex CloudAWSGCPApache FlinkApache HiveApache NiFiSupersetMetabaseData Lakeпартиционированиешардирование
Опыт работы
Data Engineer
СейчасКомпания • Информационные технологии • 2 года 8 мес.
- •• Разработал и внедрил динамические шаблоны загрузки данных с автоэволюцией схем и гибким маппингом колонок через YAML-конфигурации, ускорив подключение новых источников.
- •• Оптимизировал структуру таблиц ClickHouse для высоконагруженных аналитических запросов, существенно сократив время их выполнения.
- •• Разработал batch-пайплайн на Apache Spark для загрузки данных из GreenPlum в Apache Iceberg, обеспечив регулярную загрузку исторических данных.
- •• Разрабатывал и поддерживал аналитические витрины для бизнес-аналитиков, гарантируя актуальность данных для отчётности.
- •• Поддерживал стабильность и актуальность витрин данных в GreenPlum, сократив время реакции на инциденты.
Data Engineer
Крупный банк • Информационные технологии • 1 год 1 мес.
- •• Участвовал в построении централизованного Data Lake на Hadoop (HDFS) с унифицированным хранением данных в формате Parquet.
- •• Реализовал потоковую поставку данных из фронт-систем через Kafka с обработкой форматов Protobuf и JSON и конвертацией в Parquet.
- •• Разработал пайплайны очистки, обогащения и агрегации данных на Spark с загрузкой в GreenPlum для аналитических витрин.
- •• Оптимизировал хранение данных для аналитических нагрузок, существенно сократив время доступа к ним.
- •• Разрабатывал аналитические витрины для бизнес-аналитиков на основе данных из Kafka, Hadoop и внешних OLTP-реплик.
Языки
Русский
Английский
Отрасли
Информационные технологииE-commerce и ритейлМаркетинг, реклама, PRСтроительство и недвижимость
Похожие соискатели в России
DevOps-инженер — Москва
3 года опыта
LinuxDockerАнглийский язык
Аналитик данных — Москва
3 года опыта
PythonNumPyPandas
Системный администратор — Москва
9 лет опыта
Администрирование серверов LinuxLinuxPostgreSQL
Руководитель структурного подразделения статистики и моделирования (бизнес-аналитика, риск-менеджмент) — Москва
20 лет опыта
ЭконометрикаETLРиск-менеджмент
Frontend-разработчик Angular — Москва
5 лет опыта
JavaScriptCSSHTML
Руководитель структурного подразделения статистики и моделирования (бизнес-аналитика, риск-менеджмент) — Россия
20 лет опыта
ЭконометрикаETLРиск-менеджмент
Смежные подборки соискателей
Backend-разработчикиПодборка кандидатов по близкой специализации: backend-разработчики.соискатели с PythonКандидаты, у которых отмечен релевантный навык: Python.соискатели с SQLКандидаты, у которых отмечен релевантный навык: SQL.Каталог всех соискателейОткрытые публичные профили специалистов Rabota-Help.
Заинтересовал соискатель?
Отправьте запрос на контакт и получите возможность связаться напрямую
Полезные инструменты
Часто задаваемые вопросы
Какой опыт работы у соискателя «Data Engineer (Инженер данных) / Big Data Engineer»?
У. А. М. — Data Engineer (Инженер данных) / Big Data Engineer с 4 года профессионального опыта в России. Ключевые навыки: Python, SQL, Bash, Apache Spark, PySpark, Apache Airflow. Отраслевой опыт: Информационные технологии, E-commerce и ритейл. Профиль прошёл проверку на Rabota-Help.
Как связаться с соискателем «Data Engineer (Инженер данных) / Big Data Engineer»?
Отправьте запрос через кнопку «Связаться» на странице профиля. Соискатель получит ваш запрос и ответит в удобное время. Сервис Rabota-Help обеспечивает анонимность соискателя до момента подтверждения интереса с вашей стороны. Ссылка на профиль: https://rabota-help.ru/specialists/data-engineer-inzhener-dannykh-big-data-engineer-rossiya
Что выделяет этого соискателя среди других кандидатов?
Специалист обладает подтверждённым четырёхлетним опытом в области разработки и поддержки масштабируемых систем управления большими данными, начиная с классических решений на базе Hadoop и заканчивая современными архитектурами Data Lake House. В ходе профессионального развития инженер успешно реализовывал сложные задачи по построению централизованных хранилищ для e-commerce, обеспечивая бесшовную и…
Профиль обновлён: