Вакансия: Data Engineer (Senior)
Описание вакансии
LIAN системный интегратор с фокусом в аналитике и управлении данными.
Мы работаем в трех направлениях:
1. Автоматизация управленческой отчетности (BI) в среднем и крупном бизнесе.
Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.
2. Заказная разработка аналитических систем.
Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.
3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации.
Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов.
Среди наших заказчиков -- крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.
Обязанности: - Разработка и поддержка эффективных пайплайнов обработки данных
- Анализ и оптимизация процессов хранения и обработки больших объемов данных
- Работа с облачными сервисами для решения задач по аналитике данных
- Взаимодействие с командами для реализации ETL-процессов и моделирования данных
Требования: - Высшее образование
- Свободное владение разговорным английским
- Опыт работы на позиции инженера по данным или аналогичной не менее 5 лет
- Уверенные навыки программирования на Python для обработки данных и разработки пайплайнов
- Практический опыт работы с облачными сервисами AWS (S3, Glue, Lambda, Redshift, DynamoDB)
- Опыт работы с Big Data технологиями (Spark/PySpark/Spark SQL)
- Знание SQL: проектирование, написание запросов и оптимизация баз данных
- Опыт в моделировании данных и понимание принципов ETL и работы хранилищ данных
- Знание инструментов интеграции данных, например, Apache Airflow
- Опыт работы с CI/CD и Agile методологиями
- Отличные коммуникационные навыки и способность объяснять технические концепции непрофессионалам
Технологии и инструменты: - Python
- Spark
- SQL
- AWS Glue
- Apache Airflow
- AWS Cloud
Желательные навыки: - Опыт работы с Snowflake Data Warehouse
- Знания Docker и Kubernetes
- Опыт работы с Linux, Bash и SSH
- Знания Terraform
- Опыт работы с TypeScript
- Опыт полного цикла разработки
Будет плюсом: - Знание Scala
- Опыт работы с командами Data Science
- Наличие сертификата AWS
- Опыт работы с PHI/PII в соответствии с HIPAA
Условия :
- Участие в интересных масштабных проектах с Заказчиками федерального и международного уровня.
- Работа с передовыми технологиями.
- Возможности для профессионального и карьерного роста.
- Полностью удаленная работа (возможность как полного рабочего дня, так и частичной занятости).
- Гибкие условия трудоустройства: с ИП или самозанятым.
- Конкурентоспособная и регулярная оплата труда.
Если вы соответствуете указанным требованиям и хотите развиваться в динамично развивающейся команде, мы будем рады видеть вас в нашей команде!