Вакансия: Data Engineer
Описание вакансии
Мы IT стартап Clear Mind , создаем social media продукт (mobile first) с выходом на рынок USA.
Ищем Data Engineer , который будет развивать нашу дата-платформу и проектировать эффективные пайплайны обработки данных.
Работаем с Python, S3, Glue, Lambda, ClickHouse, Airflow, Spark, PostgreSQL, NoSQL, GitLab CI/CD .
Чем предстоит заниматься:
- Развивать и оптимизировать хранилища данных (ClickHouse), проектировать схемы хранения;
- Разрабатывать и поддерживать ETL/ELT-процессы (Airflow, Glue, PySpark);
- Проектировать и настройка потоков данных между S3, ClickHouse, PostgreSQL и другими хранилищами;
- Оптимизировать обработку данных, обеспечивать надежность и отказоустойчивость пайплайнов;
- Поддерживать текущие решения и мониторинг производительности;
- Разрабатывать и поддерживать витрины данных для аналитики и ML-сервисов;
- Улучшать качество кода, код-ревью, рефакторинг.
Мы подходим друг другу, если у тебя есть:
- Опыт работы в роли Data Engineer от 2-х лет;
- Уверенное владение Python (PySpark, pandas);
- Опыт работы с ClickHouse (партиционирование, индексы, оптимизация запросов);
- Понимание принципов ETL/ELT, пакетной и потоковой обработки данных;
- Опыт работы с Apache Airflow (DAGs, кастомные операторы, интеграции);
- Опыт работы с Kafka, Kinesis или другими стриминговыми платформами;
- Глубокое понимание AWS (S3, Glue, Lambda, IAM, Personalize);
- Знание SQL (PostgreSQL) и NoSQL-хранилищ (DynamoDB);
- Опыт работы с GitLab CI/CD и в автоматизация развертывания пайплайнов.
Будет плюсом:
- Опыт работы с Apache Spark/PySpark и распределенной обработкой данных;
- Опыт в оптимизации высоконагруженных SQL-запросов;
- Навыки построения мониторинга и алертинга (Prometheus, Grafana, CloudWatch).
Мы предлагаем:
-
Свободу действий и возможность реализовывать крутые идеи в продукте;
-
Развитие технических навыков за счет компании;
-
Компенсация ДМС после испытательного срока;
-
Компенсация обучения после испытательного срока;
-
Заработную плату соответствующие уровню компетенций.
