Senior Data Engineer (удаленная работа)

Вакансия: Senior Data Engineer

Циан публичная IT-компания, крупнейший в России сервис для поиска недвижимости, входит в мировой топ-10.

Больше 20 лет мы помогаем быстрее решать вопросы с жилой и коммерческой недвижимостью: найти, оценить, купить, снять, продать, сдать и оформить сделку без рисков. Мы делаем сервисы, которые помогают владельцам недвижимости, застройщикам, агентам и обычным людям оптимизировать рутину поиска и продаж.

Ежемесячная аудитория превышает 21 млн человек. Растить число пользователей и решать их проблемы помогают уже больше 1000 человек.

О команде

Команда Machine Learning состоит из 23 человек (DS, DE, backend-разработчики, CRM-аналитики, дата аналитики, системный аналитик + PM).

Основная цель ML - повышать качество и достоверность контента, который публикуется на нашем сайте - для нас важно, чтобы за каждым объявлением скрывался реальный объект.

Команда Data Platform - 4 человека, занимаются всем, что связано с etl процессами, собирают в единое хранилище (Hadoop) всю информацию о тех событиях, которые происходят на сайте.

Используем стек технологий: Python 3, Scala, Hadoop 3, Spark, Spark Streaming, Hive, Kafka, Hbase, Presto, Cassandra.

Задачи, которые могут стать твоими

• Налаживание регулярных процессов подготовки и поставки данных для продуктовых команд и data scientist-ов;
• Real-time обработка и поставка больших данных в различные хранилища для быстрого доступа;
• Участие в разработке фреймворков и библиотек для пайплайнов обработки данных
• Участие в проектировании архитектуры и выборе технологий

Мы видим на этой позиции человека, который

• Знаком с Big Data технологиями: Hadoop, Spark & Spark Streaming, Hive, Kafka, HBase, Cassandra;
• Знает Python и SQL. Базовые знания Java/Scala будут плюсом;
• Базовое представление о структурах данных и сложности алгоритмов;
• Умеет организовывать процесс загрузки данных между различными системами;
• Следит за развитием Big Data технологий и предлагает новые решения для развития дата платформы;
• Имеет опыт коммуникации с заказчиками/разработчиками.
• Имеет навыки написания технической документации;

Что мы предлагаем

• Удаленную работу с возможностью приходить в офис в Москве, Санкт-Петербурге и Новосибирске. В офисе кухни, оборудованные всем необходимым, а также снеки, фрукты, кофе и чай, бесплатная авто и вело парковки;
• Рост и развитие: в первые месяцы у каждого сотрудника есть ментор, после появляется личный план развития и возможность прокачивать soft/ hard skills на практике, обучении, конференциях;
• Плюшки: ДМС с первого дня (стоматология, госпитализация, полис ВЗР), ежегодная компенсация спорта, 5 day off в год, помимо основного отпуска.