Senior Data инженер

Deffic Компания

Information Technologies

Зарплата

280 000 – 300 000 RUB

На руки, до вычета НДФЛ · обсуждается

Локация

Не указано

Формат

Удалённо

Занятость

Полная занятость

Добавлено

19 May 2026

О вакансии

Что предстоит делать

Компания Omega Solutions приглашает на позицию Senior Data инженера для работы над ритейл-проектом. В рамках проекта предстоит работать с современным стеком технологий Lakehouse, включая Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink. Основные задачи — разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин данных. Особое внимание уделяется нетиповым интеграциям, включая SAP-системы, и созданию переиспользуемых шаблонов обработки данных. Требуется системное проектирование сложных решений и оптимизация высоконагруженных потоков с миллиардами записей.

Требования

Что мы ждём от кандидата

Общее представление о стеке технологий Lakehouse
Понимание различия работы между BigData/Lakehouse и с данными обычного размера
Знание SQL (индексы, функции, оптимизация, профилирование производительности)
Знание языков программирования (JAVA, Python)
Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.)
Умение работать с Git (знание команд git pull/commit/push)
Опыт работы с DBT, Cosmos, Ni-Fi
Опыт разработки на Spark
Навыки использования компонентов экосистемы Hadoop: Yarn, Ranger, Zookeeper, Hive metastore
Понимание особенностей Trino
Понимание форматов данных Iceberg, Parquet, Avro
Понимание работы с minio или любого другого хранилища на основе S3
Опыт использования системами ведения проектов и документации
Опыт разработки нетиповых интеграций (включая SAP-системы)
Опыт разработки near-realtime потоков (Flink, Debezium)
Опыт оптимизации высоконагруженных потоков (миллиарды записей инкремента) с использованием инструментов Observability (grafana, victoria metrics, zabbix)