Data Engineer (Python + Spark)

Компания: X5 Tech. Мы строим end-to-end пайплайны, которые собирают данные из разных источников (онлайн и оффлайн-продажи, ERP, внешние API), очищают, трансформируют и подготавливают их для моделей машинного обучения (бустинг и нейронные сети). От качества этих пайплайнов зависит точность прогноза и миллионы управленческих решений в закупках и логистике. Наш стек: PySpark{2,3} / Spark SQL, Hadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum, Airflow, Python3, Docker, YARN / k8s, pytest.