Старший инженер данных по направлению AutoML (удаленная работа)
(вакансия не опубликована)

Вакансия: Старший инженер данных по направлению AutoML

Описание вакансии

Обязанности:
Разработка платформ AutoML и AlfaPredict для автоматизации построения и сопровождения моделей машинного обучения.

Анализ источников данных для их использования в моделях AutoML;

Разработка сервисов и ETL процессов обработки данных для их использования в моделях AutoML;

Изучение и внедрение методов автоматизированного построения признаков (фичей) для моделей машинного обучения;

Эффективное взаимодействие в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры.

Требования:

Высокий уровень знаний языка программирования Python структуры данных, итераторы и декораторы, параллельное и асинхронное программирование, объектно-ориентированное и функциональное программирование;

Опыт работы в среде JupyterLab/JupyterHub;

Опыт реализации промышленных отказоустойчивых сервисов на Python сервисы пакетной загрузки и трансформации данных (ETL) на платформах Apache Airflow, Argo Workflows; веб-сервисы на основе библиотеки FastAPI;

Понимание принципов микросервисной архитектуры;

Понимание принципов распределенных вычислений и обработки данных;

Понимание принципов потоковой обработки данных;

Хорошие знания платформы Apache Spark опыт использования библиотеки pyspark, влияние конфигурации приложения pyspark на производительность и эффективность обработки данных, отладка и анализ эффективности приложений pyspark с помощью Spark History Server;

Опыт асинхронного программного взаимодействия с веб-сервисами по REST API с использованием библиотек aiohttp, httpx;

Отличные знания SQL создание сложных запросов с использованием табличных выражений (CTE) и оконных функций;

Хорошие знания и опыт использования реляционных баз данных Oracle, PostgreSQL;

Понимание особенностей обработки и хранения аналитических данных (OLAP), понимание отличий колоночных баз данных от строковых, знание колоночных форматов хранения данных parquet, orc;

Хорошие знания и опыт использования хранилищ больших данных Hadoop/HDFS, S3, форматы таблиц Hive, Iceberg.

Личностные и коммуникативные навыки (Soft Skills):

Проактивный подход к работе способность и желание искать и предлагать методы и варианты решения задач;

Общий позитивный настрой и активная жизненная позиция;

Умение и желание работать в команде, делиться опытом с коллегами и учиться новым практикам;

Открытость в коммуникации трудностей, препятствующих решению задач.

Будет дополнительным преимуществом:

Базовые знания языков программирования Scala, Java, Groovy;

Знание и опыт использования платформ потоковой обработки данных Apache Kafka, Apache Flink чтение и запись потока данных Apache Kafka с помощью библиотек aiokafka, confluent-kafka, kafka-python, разработка потоковых приложений Apache Flink;

Знание базовых принципов обработки естественных языков (NLP);

Общее представление о нейросетевых моделях машинного обучения и о больших языковых моделях LLM.

Условия:

Работу в атмосфере взаимопонимания и творческого сотрудничества увлеченных своим делом профессионалов, готовых всегда прийти на помощь.

Интересные и нетривиальные задачи.

Возможность принять участие в создании и развитии инновационного программного продукта.

Оформление по ТК РФ.

График работы 5/2 c возможностью частичной или полностью удаленной работы.

Достойную и полностью белую заработную плата (уровень заработной платы обсуждается с успешным кандидатом).