Парсинг урлов с гостевух

Web/сайты Прочее

Был(а) онлайн: 20.07.18 16:13
Umen 24 года

1.0 Был(а) онлайн: 20.07.18 16:13

Недавно
Парсинг урлов с гостевух

Скрипт должен грабить урлы с гостевух и форумов.
Разглядим работу скрипта на примере.

На входе файл с урлами гостевух url.txt

Скрипт доложен загрузить 1-й урл потом сграбить все внешние(не из этого домена) урлы
- если урл не грузится, то ожидаем 20секунд и переходим к дальнейшему урлу
- если урл грузится, но он дюже огромный по обьему, то грузим 20 секунд и обрываем загрузки и грабим из того что скачалось

Грабим в память все внешнии урлы, но перед тем как сберечь их в файл необходимо будет их отфильтровать на:
- дабы не было доменов 2-ого яруса без папок и сабов
http://domen.com
http://www.domen.com/
- чтобы не было ошибок урле, потому что в некоторых гостевухах присутсвуют урлы с ошибками
- проверяем урлы на присутствие в файле delete.txt. Если сграбленные урлы есть в этом файле то удаляем их из памяти
- оставлять один урл, если урлы из одного домена и папки.
Скажем было несколько таких урлов
http://domen.com/zuka/htposa.html
http://domen.com/zuka/sdfsdf.html
http://domen.com/zuka/osihaz.html
оставляем один, без разницы какой


Написать дозволено как на перле так и на пхп.
Цену и сроки указывайте в своих предложениях.

Чтобы добавить заявку к этому заказу, нужно войти или зарегистрироваться

Мой блок

20.07.18 16:13
Umen 24