Задание: Парсер сайта + скрипт обработки данных (Дистанционная работа)
С сайта, на котором 1 млн страниц, но он особо не защищен от парсинга, нужно собрать текстовые данные. Соответственно, получится 1 млн строк.
Далее нужно будет написать скрипт, чтобы сверить 1 млн строк с другими данными на 80 млн строк (файл предоставит заказчик). И найти совпадения. Файл совпадений передать заказчику.