Python разработчик (разработка парсеров)/Data Engineer (удаленная работа)

Вакансия: Python разработчик (разработка парсеров)/Data Engineer

Описание вакансии

Лига Ставок высокотехнологичная беттинговая компания с выстроенной системой управления командами, полным доверием менеджмента и прозрачными возможностями для самореализации и профессионального развития

Доход компании максимально прозрачен: агентская комиссия за клиентское обслуживание. Помимо спонсорских контрактов, согласно законодательству мы ежегодно перечисляем более 100 млн рублей на развитие и поддержку отечественного спорта

Ищем Python разработчика для работы над парсерами сайтов и сбора данных для отдела ML

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ

• Дорабатывать существующие проекты парсинга, создавать новые парсеры для различных источников, включая конкурентов
• Организовывать хранение данных парсинга и работа с ETL процессами
• Агрегировать и обрабатывать данные

ЖДЕМ ОТ ТЕБЯ

• Умение работы с технологиями парсинга сайтов для автоматизации сбора данных
• Знание Python, коммерческий опыт от 2х лет (в идеале Python Asyncio)
• Опыт разработки парсеров для высоконагруженных проектов, обход блокировок по ip, прочих блокировок от парсинга
• Многопоточный парсинг данных
• Владение любым пакетом для создания интерфейсов (напр. PyQT, wxPython, Tkinter, Kivy и. т. п.)

БУДЕТ ПЛЮСОМ

• Понимание машинного обучения

• Веб-фреймворки (FastAPI) Airflow CI/CD (Docker, docker-compose)

• Парсинг (Selenium, bs4, scrapy, опыт обхода блокировок по ip/капчи)

• Многопоточный парсинг данных;

• БД (SQL, PostgreSQL) - индексы, транзакции, понимание/опыт оптимизации сложных запросов, будет плюсом опыт использования различных ORM (sqlalchemy и др.)

• Знание и понимание алгоритмов сопоставления текстовых данных (fuzzywuzzy)