22 ноября 2024
Задачи :
Обеспечивать сопровождение ETL-процессов AirFlow, Spark.
Развивать общую инфраструктуру в двух дата-центрах (разработка инфраструктурного кода и способов его деплоя, покрытие этого кода тестами).
Настраивать системы мониторинга и алертинга (мы используем Prometheus, VictoriaMetrics, Grafana).
Создавать и улучшать CI/CD пайплайны.
Понимание и следование принципам построения отказоустойчивых систем.
Мы ждем от кандидата:
Хорошие знания ОС Linux (процессы, файловая система, инструменты отладки, сети);
Понимаешь подход IaC, работал с системами управления конфигурациями (Ansible, Terraform);
Имеешь опыт работы с контейнерами и оркестрацией (Kubernetes, Helm, Docker);
Знаешь как внедрить CI/CD процессы (у нас GitLab);
Имеешь опыт построения мониторинга и траблшутинга на базе систем мониторинга и агрегации логов (Prometheus, Grafana, ELK, Loki, VictoriaMetrics, etc.).
Будет плюсом:
Опыт работы с аналитическими инструментами и системами (Airflow, Kafka, ClickHouse, Spark, Flink, JupyterHub, Nifi).
Знание Python/Bash для создания дополнительных автоматизированных решений.
Опыт администрирования СУБД (postgres, clickhouse, mongodb).
Опыт работы с cloud провайдерами (aws, yandex cloud).