Парсер, выкачивающий картинки

Web/сайты Прочее

Был(а) онлайн: 26.04.20 14:45
Umen 26 лет

1.0 Был(а) онлайн: 26.04.20 14:45

Недавно
Привет. есть сайт - allmovie.com
мне нужно сделать парсер, тот, что будет коннектиться к сайту, делать POST на поиск фильма с определенным наименованием и выкачивать картинку этого фильма в необходимую папку. и туда ложить preview.

Конструкция базы:

ID : integer - autoincrement
TITLE - varchar(200)
year - varchar(10)
prev_image_url - varchar(200)
full_image_url - varchar(200)

В ней 10 тыс. записей.

И дальше по алгорифму


1. берем Title (Это англ. наименование фильма)
2. берем year (это год 1999 скажем)
3. Делаем поиск в Allmovie.com
4. Парсим итоги - в них находим наименование фильма и уточняем по году если нужно (наименования изредка дублируются)
5. Скачиваем картинку (там она фулл) в папку (это ниже) с именем = ID Этой записи
6. Делаем файл preview этой картинки - пропорциональный , дабы высота была 100 пикселей
7. делаем апдейт соотв. полей в базе.

Конструкция папки

/moviefotos/prev/0/...
/moviefotos/prev/11/...
/moviefotos/prev/../...

/moviefotos/full/0/...
/moviefotos/full/99/...
/moviefotos/full/../...

Подпапка вычисляется по округляем(ID/1000), это нужно, дабы избежать большого кол-ва файлов в одной папке.

Платформа - линух

В дополнение:

Дублирующиеся наименования - испробуйте ввести на сайте "The Wind' - появится несколько вариантов фильма.

Следственно и надобен Год выпуска, дабы не промазать

Чтобы добавить заявку к этому заказу, нужно войти или зарегистрироваться

Мой блок

26.04.20 14:45
Umen 26