Proxy\SOCKS парсер и чекер

Web/сайты Прочее

Был(а) онлайн: 26.04.20 14:45
Umen 26 лет

1.0 Был(а) онлайн: 26.04.20 14:45

Недавно
Необходимо написать скрипт, тот, что будет парсить прокси из заданных источников (в формате IP:PORT) и в многопоточном режиме проверять собранные прокси на анонимность. Каждая работа должна осуществляться с текстовыми файлами, без применения БД.

Источники указываются дальнейшим образом:
1. список источников, в котором весь сервер должен проверяться на поддержку и прокси, и сокс
2. список источников только для прокси
3. список источников только для сокс
4. в идеале еще должен быть список источников, по которым парсер должен пройтись на указанное число вложенных страниц вглубь и собрать прокси с них (форумы)

Нужный функционал:
- заблаговременный пинг сервера для убыстрения процесса
- вероятность вручную проставлять таймаут запроса
- вероятность добавления списка прокси в очередь проверки вручную, а также однократная проверка в случае необходимости с итогом рабочих проксей по итогам проверки
- вероятность доступа к списку через браузер
- вероятность экспорта списка в текстовый файл через админ-панель
- вероятность загрузки файла на удаленный фтп-сервер (через крон)
- дабы HTTP, HTTPS, SOCKS экспортировались в различные списки
- валидные прокси собираются отдельно и перепроверяются при дальнейшей проверке
- собирается одна огромная база напарсенных проксей для коллекции и в идеале архивируется :)
- чекер должен проверять прокси на анонимность и корректность GET и POST запросов
-> при экспорте обязаны быть чекбоксы, какие прокси будут экспортироваться (все, либо только те, которые работают с способом POST)

Нужно, дабы чекер проверял как минимум несколько тысяч прокси в час на VDS и по вероятности поменьше грузил сервер.

Основное - функционал, красота админки не имеет значения :)
Указывайте сроки исполнения.

Чтобы добавить заявку к этому заказу, нужно войти или зарегистрироваться

Мой блок

26.04.20 14:45
Umen 26