Задание: Оптимизировать парсер объявлений (Дистанционная работа)
Есть парсер объявлений. Есть админская часть (где настраиваются парсера) и есть веб часть, где отображаются объявы. Сейчас у парсера есть 2 режима: парсинг по ключам (в базе пока 300 слов) или парсинг по определенным фильтрам (например указываем гео, дату) и парсер пытается выкачивать максимальное кол-во объявлений согласно задаче. За 1 день парсер может обработать полностью выдачу за 1 какой-то конкретный день или пройтись по ключам за 1 конкретный день. Максимально получалось выкачать 1кк объявлений/дейли. Хочется: - чтобы посмотрели код (написан на питоне) - изучили алгоритм парсинга - указали ошибки и что даст их исправление - предложили варианты оптимизации - внедрили это и отладили - дали рекомендации как это масштабировать (чтобы за день парсить каждое гео (хотя бы топ 30-50гео), чтобы по каждому гео на сегодня была актуальная база объявлений за вчера). Чтобы по итогу я мог настроить парсинг по ключам и фильтрам в админке, запустить их и быть уверенным что максимальное количество объявлений будет спаршено. А далее имел понимание как это машстабировать на все гео.
