Задание: Парсинг сайта https://suchen.mobile.de/ (Дистанционная работа)
1. Общие положения
1.1. Назначение
Разработка парсера для сбора данных об автомобилях с сайта https://suchen.mobile.de/ с последующей обработкой, фильтрацией и публикацией в Telegram-канал.
1.2. Область применения
Система предназначена для автоматического сбора информации о премиальных автомобилях, расчета их стоимости с учетом таможенных расходов и публикации объявлений в Telegram.
2. Требования к данным
2.1. Фильтры для отбора автомобилей
Марки автомобилей (только следующие):
Mercedes-Benz
BMW
Bentley
Audi
Range Rover
Land Rover
Porsche
ALPINA
Rolls Royce
Aston Martin
Cadillac
Lexus
Maybach
Цена: от 50 000 евро
Год выпуска: не старше 5 лет (от текущей даты)
2.2. Собираемые данные
Фотографии (хранение в MinIO или аналогичной системе)
Год выпуска
Тип двигателя (бензин/дизель)
Мощность двигателя (в л.с.)
Объем двигателя (л)
Стоимость автомобиля (в евро, но в Telegram выводить в рублях)
Ссылка на объявление
Основная информация о комплектации (из описания):
Камера 360°
Цвет и материал салона
Наличие обвесов (AMG, M и т. д.)
Привод (xDrive, 4MATIC, iDrive – если не указано, считать задним)
Указание цены (Netto или Brutto)
3. Логика расчета стоимости
3.1. Автомобили моложе 3 лет
Если указана цена Netto (без НДС):
Берем Netto-цену.
Рассчитываем стоимость растаможки (формула будет предоставлена отдельно).
Добавляем 10 000 евро (логистика и прочие расходы).
Добавляем разницу Brutto - Netto.
Конвертируем в рубли по курсу Яндекса + 3 рубля.
Получаем финальную стоимость в рублях.
Если указана только Brutto-цена:
Публикуем объявление с пометкой "Требуется ручной расчет" (цена может сильно варьироваться).
3.2. Автомобили 3-5 лет
Берем Brutto-цену.
Рассчитываем растаможку.
Добавляем 10 000 евро (логистика и расходы).
Конвертируем в рубли (курс Яндекса + 3 рубля).
Берем Netto-цену.
Рассчитываем растаможку.
Добавляем 10 000 евро (логистика) + 5 000 евро (доп. наценка).
Конвертируем в рубли (курс Яндекса + 3 рубля или минимальный курс с или яндекса).
4. Обработка и публикация данных
4.1. Группировка и отбор
Сгруппировать автомобили по марке и модели.
Выбрать ТОП-3 самых дешевых в каждой группе.
Сохранить их в PostgreSQL.
4.2. Проверка на дубли
Если автомобиль уже есть в БД – не публиковать.
Если новый – отправить в Telegram с полными данными.
4.3. Шаблон сообщения в Telegram
(Будет предоставлен отдельно, включает фото, описание, цену в рублях и ссылку.)
4.4. проверка на актуальность авто
Если машина из топ 10 от минимальной стоимости не найде в базе то ставить галочку что она продана и отправлять сообщение что данная машина продана