Вакансия: Data Engineer в команду Поиска
Описание вакансии
AI VK объединяет профессионалов, которые
- Развивают системы рекомендаций и поиска контента для всех продуктов компании
- Улучшают качество поиска по видео
- Платформизируют инфраструктуру данных
Направление поиска занимается созданием и развитием единой, быстрой, удобной в эксплуатации, масштабируемой и отказоустойчивой системы поиска для всех платформ группы компаний VK.
Задачи
- Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных
- Обрабатывать и парсить сырые данные
- Сопровождать хранилище данных
- Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG для автоматизации)
- Извлекать из исходных данных ценную информацию и обрабатывать её для последующего анализа
- Реализовывать стабильный расчёт метрик Поиска вместе с командой аналитиков
- Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений
Требования
- Опыт в роли аналитика данных / инженера данных от трёх лет
- Уверенные знания Python и SQL
- Умение проектировать DWH: слои, модели хранения данных, процессы ETL
- Понимание принципов работы распределённых систем Hadoop или YTsaurus, ClickHouse
- Опыт работы с Airflow, Luigi или другим оркестратором
- Понимание принципов работы инструментов мониторинга и умение настраивать алерты для отслеживания состояния ETL-процессов
- Знание основных алгоритмов и структур данных, особенно используемых в работе с большими данными
