Вакансия: Data engineer / Инженер данных (Middle+/Senior)
Описание вакансии
Приглашаем в команду Инженера данных в команду разработки и сопровождения КХД в рамках "Единая цифровая платформа" для Социального фонда России. Создаем платформу в виде государственной информационной системы, которая будет покрывать и объединять все существующие социальные выплаты в стране.
ЕЦП включает в себя порталы: Работа в России , Личных кабинетов Работодателя и СЗН, Образовательная платформа, Открытый бюджет , Национальные проекты , Инициативное бюджетирование , аналитического хранилища данных.
Собственная платформа ETL для наполнения хранилища данных, платформа с описанием метаданных по обслуживающимся СУБД.
Стек проекте: ClickHouse, Cassandra, Posgresql, ADB, ETL ELT (Pentaho Di, SSIS и т.п.)
Обязанности:
- Разрабатывать и поддерживать в рабочем состоянии хранилища данных;
- Поддерживать в актуальном состоянии Datacatalog (инструмент, в котором можно найти краткую сводку по метаданным в БД, увидеть их структуру и бизнес наименования, проследить lineage (путь данных от системы-источника до целевой таблицы));
- Анализировать информационные потребности структурных подразделений организации в части СУБД;
- Осуществлять мониторинг работы БД, в том числе различными автоматизированными средствами;
- Разрабатывать на T-SQL, PL/pgSQL, DML, DDL (объекты, индексы, триггеры, функции, хранимые процедуры и представления);
- Доработать оптимизировать написать SQL скрипты;
- Работать с ETL ELT системами;
- Управлять вычислительными ресурсами, взаимодействующими с БД;
- Определять критерии оптимизации производительности БД;
- Определять критерии оценки при изменении конфигурации компонентов вычислительной сети, взаимодействующих с БД;
- Осуществлять анализ поиск ресурсоемких запросов к БД;
- Оптимизировать выполнение ресурсоемких запросов к БД;
- Определять стратегию управления распределением данных в ресурсах, предназначенных для размещения БД;
- Решать поставленные задачи в запланированный срок;
- Самостоятельно решать сложные задачи.
Требования:
- Наличие опыта работы в области разработки и внедрения систем хранения данных от 3-х лет ;
- Наличие опыта разработки хранилища данных;
- Наличие опыта работы с СУБД PostgreSQL - развёртывания систем, настройка планов обслуживания;
- Умение решать поставленные задачи в запланированный срок;
- Способность расставлять приоритеты при работе с несколькими задачами;
- Наличие навыков делового общения;
- Знание ClickHouse, Cassandra, Posgresql, ADB;
- Наличие опыта работы с ETL ELT системами (Pentaho Di, SSIS и т.п.);
Будет плюсом:
- Опыт работы с GIT;
- Наличие опыта разработки планов обслуживания и резервного копирования БД;
- Знание основ операционных систем на базе Unix/Linux на уровне администратора;
- Наличие опыта организации мониторинга работы СУБД.
Условия:
- ДМС после испытательного срока с возможностью страхования детей и родственников;
- Спорт и изучение английского языка со скидкой;
- Корпоративная валюта, с помощью которой можно приобрести ценные подарки, компенсировать расходы на детский лагерь или занятия спортом;
- Праздники и ивенты неотъемлемая часть нашей корпоративной культуры;
- Удобные процессы: оформляем кадровые документы в электронном виде онлайн и без бумаги. И, конечно же, у нас всё прозрачно и надежно: белое оформление по ТК РФ;
- Удаленный формат работы с локацией на территории РФ.
