Data engineer
Что предстоит делать
Группа компаний Top Selection ищет Senior Data Engineer с опытом TeamLead не менее 4 лет. Кандидат будет отвечать за миграцию ETL/ELT процессов с Informatica PowerCenter на стек NiFi + Airflow + Greenplum + SQL/хранимые процедуры, подготовку документации AS IS и TO BE, написание SQL кода, отслеживание метрик и контроль качества данных. Требуется глубокий опыт работы с Python (pandas, Airflow DAGs), PySpark, Hive, Hadoop, Kafka, Greenplum, PostgreSQL, ClickHouse, Oracle, NiFi, Grafana/Prometheus, а также знание ETL/ELT архитектур, оптимизации запросов для high‑load сред, разработки и сопровождения хранимых процедур, работы с форматами Parquet/ORC, и опыт миграции ETL‑систем. Компания предлагает оформление как ИП, полную занятость, зарплату 280 000–300 000 руб. гросс, гибкие условия работы в России.
Что мы ждём от кандидата
- Опыт TeamLead (управление командой) не менее 4 лет
- Опыт разработки ETL/ELT‑процессов, в которых значительная часть логики реализована на стороне СУБД
- Опыт разработки и сопровождения хранимых процедур / функций в СУБД
- Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных
- Опыт участия в проектах миграции ETL‑систем (Apache стек)
- Опыт разработки на Python (написание ETL‑скриптов, работа с pandas, интеграция с API)
- Опыт написания и отладки DAG’ов в Apache Airflow (не только проектирование, но и разработка)
- Опыт работы с PySpark (трансформации, оптимизация, партиционирование)
- Опыт миграции ETL‑процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum)
- Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка
- Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес‑процессы
- Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT
- Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC)
- Опыт работы с Оracle
- Опыт применения сложных SQL‑запросов (оконные функции, джоины)
- Умение оптимизировать запросы для highload‑среды
- Опыт проектирования интеграций Apache‑стека с Kafka и BI‑системами
- Опыт настройки потоковой обработки данных
- Опыт работы с Hadoop и Hive (знание версий, источников данных)
- Опыт работы с PostgreSQL, Greenplum, Clickhouse
- Опыт работы с Grafana/Prometheus для отслеживания ETL‑процессов
- Опыт работы с биллингом
- Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики)
Что предлагаем
- Оформление как ИП
О Deffic
Откликнитесь на сайте работодателя.