Data Engineer (удаленная работа)

Вакансия: Data Engineer

Описание вакансии

Разрабатывать лучшие инструменты для того, чтобы каждый человек был на своем месте - главная миссия нашей команды! За годы работы мы выполнили более 200 проектов всех уровней сложности и наработали огромный опыт в сфере веб-разработки, поэтому реализация самых амбициозных it-проектов для нас представляет особенный интерес.

В рамках направления Decart-outstaffing у нас открыто несколько вакансий на позиции Data engineer для наших клиентов в сфере Финтех для усиления команд клиентов в рамках реализации и развития новых продуктов в финансовом секторе.

Мы подберем проект под твои навыки и опыт, ведь у тебя уже может быть основной проект и ты ищешь подработку, или ты в поиске основного проекта для себя - ниже общие примеры требований на проектах, поэтому даже если не подходишь по всем пунктам, но готов присоединится к нашим командам - смело откликайся!

Что нужно будет делать?

Зависит от проекта, но в целом:

интеграция с внешними и внутренними источниками;
построение ETL пайплайнов;
проверка качества данных;
регистрация происхождения данных;
настройка систем мониторинга;
Что нужно уметь, знать, какими навыками обладать:

опыт работы с Apache Airflow;
опыт работы с pySpark;
знание SQL;
опыт работы с OLAP СУБД;
понимание принципов и основных методов построения архитектуры хранилищ данных;
опыт работы в Linux (командная строка);
опыт работы с Docker или Kubernetes;
опыт работы с Apache Nifi;
опыт работы с Apache Kafka;
опыт работы с OLTP СУБД;
опыт работы с Git;
понимание принципов и основных методов построения архитектуры платформ данных;
понимание подходов к обработке данных;

Будет плюсом:
знание Python; знание JAVA;
опыт работы с Apache Spark;
опыт написания коннекторов Kafka Connect;
опыт написания процессоров Nifi;
опыт построения CI/CD пайплайнов в GitLab;

Что предлагаем:

• Оформление по удобному для тебя формату (ИП, самозанятость);

• График 5/2, фуллтайм/ парттайм; гибкое утро;

• Рабочее место там, где вам удобно и есть интернет;

• Интересные проекты с серьезными задачами в разных областях;

• Возможность перемещаться между проектами;

Мы любим проактивность и инициативность, слушаем и слышим каждого;)