Data Engineer Iceberg (удаленная работа)

Вакансия: Data Engineer Iceberg

Описание вакансии

ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ

Мы Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения.

Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу.

Сейчас мы расширяем команду, занимающуюся проектом по миграции данных из 87 ист очников на единую платформу. Команда входит в Центр компетенций BDS - одно из сильнейших подразделений нашей Компании, экспертов в области работы с большими данными, построения DWH и использующих в работе современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica, Kafka, Apache Airflow, Apache Griffin.

Стек проекта: Iceberg, S3, Apache Spark (Pyspark), SQL, Airflow, StarRocks, DBT, Kafka.

Чем предстоит заниматься:
оптимизацией своего и чужого кода на SQL, Spark;
написанием эффективного кода на PySpark, отвечающего требованиям производительности;
настройкой и поддержкой DAG-ов в Airflow для орк естр ации процессов;
тестированием и отладкой кода, обеспечением качества данных;
взаимодействием с командой и заказчиком по уточнению требований.

Что мы ждём от вас:

• опыт работы со Spark ( от 2 лет ), знание Pyspark;
• опыт с Iceberg, S3
• знания Spark архитектуры, и Big Data архитектуры, вопросов производительности;
• глубокие знания SQL.
• опыт работы с Airflow (написание и поддержка DAG-ов);
• понимание принципов распределенных вычислений (умение использовать нативные инструменты Spark);
• понимание формата Parquet;
• опыт работы с облачными хранилищами (S3 или аналоги);
• умение работать в команде и следовать процессам заказчика;
• готовность лидить небольшую проектную команду, если возникнет необходимость;
• опыт работы с StarRocks или Trino, DBT, Kafka.

Что ты приобретёшь, присоединившись к нам:

• достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе;
• работа в команде профессионалов готовых делиться экспертизой;
• официальное трудоустройство по ТК РФ, аккредитация IT, расширенный социальный пакет:

страховка ДМС (с 3-го месяца работы, стоматология, возможность подключения родственников, теле медицина, полис ВЗР),

сотрудникам со стажем в Neoflex более 3 месяцев при предоставлении листка нетрудоспособности устанавливается доплата до полного заработка за период болезни,

обучение детей сотрудников ИТ специальностям,

компенсация затрат на фитнес и занятия английским языком;

• обеспечиваем техникой для работы (ноутбук, наушники, мышь);
• профессиональное развитие - в Учебном Центре (курсы по работе с большими данными, видео лекции, тренажеры, карьерный коучинг, лекции, тренинги, конференции, участие в митапах);
• возможность пройти проф.сертификацию;
• прозрачную систему карьерного развития Performance Review;
• персонального наставника с первого дня работы;
• насыщенную корпоративную жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия, мотивационные награждения;
• комфортную атмосферу в филиалах компании в городах: Москва, Санкт-Петербург, Нижний Новгород, Пенза, Воронеж, Саратов, Самара, Краснодар где есть лаунж и фотозоны, вендинги в кухнях, пространство для медитаций и другие секретные места, о которых знают только наши сотрудники.
• удалённый формат работы на территории России .

Здесь мечты превращаются в реальность. Мы будем рады, если ты станешь частью нашей команды! Откликайся ;)