Data Engineer
Что предстоит делать
Вакансия Data Engineer в компании, работающей с современными data‑инструментами. Требуется архитектор данных, способный планировать и внедрять решения для хранения и обработки данных. Ключевые технологии: Postgres, MSSQL, Kafka, Flink, Airflow, Iceberg, Trino/StarRocks, Cassandra, Redis, Python, Spark, S3, REST/gRPC, MQTT, Timeseries DB. Задачи включают разработку ETL/ELT‑пайплайнов, стриминг и батч‑обработку, оптимизацию производительности, обеспечение качества данных, интеграцию систем и взаимодействие с разработчиками и тестировщиками. Оформление ИП/СМЗ, удалённая работа, зарплата от 262 000 до 328 000 рублей.
Что мы ждём от кандидата
- Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО
- Опыт работы с Postgres и MSSQL; настройка и оптимизация OLAP‑движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis)
- Практический опыт работы с Apache Airflow (написание DAG, кастомные операторы)
- Опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты)
- Опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3
- Опыт реализации Change Data Capture паттернов для синхронизации данных между системами
- Знания в области архитектуры данных и баз данных: принципы нормализации и денормализации, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning)
- Владение Python: написание DAG, кастомные операторы
Что предлагаем
- Удаленная работа
- Оформление ИП/СМЗ
- ЗП от 262 000 до 328 000 рублей
О Deffic
Работодатель свяжется с вами через контакты из профиля.