Data engineer (Senior) (удаленная работа)

Вакансия: Data engineer (Senior)

Описание вакансии

Мы в поиске Senior Data engineer, который будет разрабатывать низкоуровневую архитектуру решений на основе требований аналитиков и общих стандартов команды. Срок привлечения на проект 2 месяца с дальнейшей пролонгацией.

Чем предстоит заниматься:

• Реализация: Писать чистый, поддерживаемый код систем больших данных и покрывать его модульными тестами (Unit) для обеспечения надежности.

• Документирование: Создавать техническую документацию, описывающую архитектуру и алгоритмы работы разработанных систем (Low-Level Design, описания).

• Развертывание: Формировать установочные пакеты и участвовать в процессе выкатки решений в промышленную среду.

• Поддержка и развитие: Проводить плановую оптимизацию кода, исправлять обнаруженные дефекты, выпускать обновления для поддержания эффективности работы систем.

Для нас важно:

• Успешный опыт от 5 лет в коммерческой разработке, обязательно с участием в проектах, где ваши решения были доведены до промышленной эксплуатации.

• Глубокий опыт работы с большими данными, включая разработку распределенных вычислений и ETL-процессов.

• Языки и фреймворки: Python 3.5+, Spark 2.2+ (умение писать эффективный код для распределенной обработки), SQLAlchemy.

• Хранилища и СУБД: Опыт проектирования схем и оптимизации запросов в PostgreSQL / Greenplum, знание экосистемы Hadoop (Hive). Инфраструктура и CI/CD: Уверенное владение Docker, Git, опыт настройки пайплайнов в GitLab CI/CD, понимание работы Kubernetes (K8s) и Airflow.

• ОС и окружение: Работа в Linux, владение Shell.

• Качество кода: Опыт написания Unit-тестов (PyTest, Unittest), использования линтеров (Flake8, PyLint, Black) и регулярного проведения Code Review.

• Проектирование: Понимание архитектуры БД, умение собирать и анализировать бизнес-требования, работа в условиях изменений.

Главный принцип SkillStaff - Выбирай!

• РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.

• КОМФОРТ. SkillStaff аккредитованная IT-компания, белая зарплата и удобный график работы. Создавай идеальные условия для своей работы: удаленная работа или возможность работать как в офисе клиента, так и в комфортном офисе SkillStaff в центре Москвы на Воздвиженке.

• ОБУЧЕНИЕ И РАЗВИТИЕ. Выбирай сам путь, по которому ты хочешь развиваться. Используй возможность обмена опытом и получение знаний через участие в разных проектах, совместную работу с высококвалифицированными коллегами.

• КУЛЬТУРА. Нашу культуру создают сами сотрудники мы их слышим и помогаем развиваться, чтобы #вместе переходить на новый уровень!