Middle Data Engineer (Москва) Опыт работы с Greenplum/ hadoop/Scala (удаленная работа)

Вакансия: Middle Data Engineer (Москва) Опыт работы с Greenplum/ hadoop/Scala

Описание вакансии

КОМПАНИЯ АЙ-ТЕКО - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

В связи с активным развитием внутренних проектов в компании открыта вакансия

Middle Data Engineer (Опыт работы с Greenplum/ hadoop )

СТРОГО ОКОНЧЕННОЕ ВЫСШЕЕ ОБРАЗОВАНИЕ!!!

Опыт промышленной разработки на Scala от 2 лет (или уверенный Python/PySpark, если ты
готов(а) работать с нашим Scala-ядром)

СТД ДО КОНЦА ГОДА!

Наши ожидания от тебя:
Опыт работы от 3х лет.
Отличные знания SQL: умение писать сложные запросы, оптимизировать их, читать и понимать планы выполнения (execution plans), знать внутреннюю работу движка (алгоритмы джойнов, распределение данных, индексы).
Опыт промышленной разработки на Scala от 2 лет (или уверенный Python/PySpark, если ты готов(а) работать с нашим Scala-ядром).
Уверенное знание Apache Spark: понимание архитектуры, работы с памятью, оптимизации Spark-задач.
Понимание архитектуры Lakehouse: знание концепций DWH и Data Lake, понимание слоев (Raw, Clean, Core, Mart), витрин и агрегатов.
Опыт работы с оркестраторами: Airflow, Dagster или аналогичными планировщиками задач.
Уверенная работа с Git, понимание принципов CI/CD для данных.
Дополнительным плюсом будет:
Опыт работы со стриминговым ETL: Kafka, Spark Structured Streaming или Apache Flink.
Опыт работы с современными табличными форматами (Apache Iceberg, Delta Lake или Hudi).
Понимание принципов работы Kubernetes (опыт деплоя Spark-приложений или Airflow в K8s).
Опыт работы с инструментами Data Quality (dbt, Great Expectations и аналоги).
Базовое понимание ML-процессов (как модели потребляют данные, feature store).

МЫ ПРЕДЛАГАЕМ:

• Работу в стабильной компании, "белую" заработную плату;
• Оформление в соответствии с ТК РФ с первого дня работы;
• Расширенный социальный пакет: ДМС (включая стоматологию), корпоративные скидки на посещение фитнес-клубов, футбольная и волейбольная секции;
• Профессиональное обучение и развитие;
• Яркая и насыщенная корпоративная жизнь;

• Снабжаем всей необходимой современной техникой: мощный ноут привезут прямо в день оформления;

ОТКЛИКАЙСЯ =) ЖДУ КОГДА ВМЕСТЕ ПОРАДУЕМСЯ ТВОЕМУ ОФФЕРУ)