Грабер статей

Web/сайты Прочее

Был(а) онлайн: 15.11.18 18:35
Umen 24 года

1.0 Был(а) онлайн: 15.11.18 18:35

Недавно
Необходимо написать скрипт для грабинга статей с сайта http://www.mobime.ru/reviews/.
При запуске скрипт берет все статьи и кладет в таблицу БД.
При повторном запуске скрипт берет только новые статьи.
Скрипт создает на сервере папку под всякую статью и скачивает туда все встретившиеся картинки.
Скрипт должен уметь запускаться по крону.
Вся статья парсится в БД со следующими полями: Неповторимый номер, Наименование, Короткое изложение, Тело статьи подлинное, Тело статьи модифицированное (см. ниже), Дата статьи, Дата парсинга, Сайт с которого спарсено (в данном случае http://www.mobime.ru), Страница с которой спарсено, Автор, Адреса картинок (распределение точка с запятой).

Тело статьи модифицированное - замена всех путей картинок на локальные пути, замена всех ссылок на редирект, вырезаны все жанры (оставлены только разрешенные теги, список задается в настройках).

Исполнитель предоставляет SQL-скрипт для создания нужных таблиц, файл PHP c настройками, стержневой файл PHP, тот, что подключает файл с настройками.

Файл с настройками хранит настройки подключения к БД, Исходную страницу с которой начинается парсинг, образцы для разбора парсеных страниц, теги для вырезания и т.д.

Чтобы добавить заявку к этому заказу, нужно войти или зарегистрироваться

Мой блок

15.11.18 18:35
Umen 24