Веб-приложение для учёта граббинга

Web/сайты Прочее

Был(а) онлайн: 26.04.20 14:45
Umen 26 лет

1.0 Был(а) онлайн: 26.04.20 14:45

Недавно
Язык Perl.
Нужно разработать приложение для учёта/управления граббингом с досок объявлений по работе.
Через интерфейс мы добавляем адреса сайтов с объявлениями по работе и сравниваем эти адреса с разными программистами (которые пишут скрипты граббинга с этих сайтов).
Скрипты собирают следующую информацию с сайтов:
a) company name
b) jobtitle
c) jobdescription
d) emailadress
e) contactperson (если есть)
f) url of job
g) timestamp.

Позже того, как программист загружает скрипт на сервер мы его одобряем и с этого момента скрипт работает через Cron всякие 7 дней. В итоге мы обязаны получить сводную таблицу по итогам работы (см. ниже).

Приложение обязаны иметь следующие разделы:
1) Окно авторизации (для входа пользователя в систему). В начале есть только один аккаунт -- admin.
2) Интерфейс управления пользователями (добавление, удаление, метаморфоза)
3) Интерфейс управления досками объявлений (добавление, удаление, метаморфоза, просмотр информации). Должен разрешать добавлять URL досок объявлений (которые позднее будут граббиться). Помимо того должна быть вероятность исполнить импорт списка таких досок (и все URLы обязаны быть добавлены одной операцией).
Файл для импорта выглядит приблизительно так:
URL; Site_Name

Для всего сайта также обязаны быть вероятность прописать язык, страну и (главно!!!) добавить добавочные поля (по которым позднее мы будем сортировать итоги).
4) Аккаунты программистов будут доступны приложению через таблицу, но надобен интерфейс для заявления этих аккаунтов (они будут добавляться через другие приложения).
5) Позже того как мы добавили URL сайта и утвердили аккаунт программиста необходим интерфейс для связывания Сайт/Программист. Позже связывания URL огромнее недостижим для ещё одного сравнения, но один и тот же программист может иметь несколько сайтов.
6) Программисты будут заходить в систему через другие (отдельные) приложения, закачивать свои скрипты (которые мы будем там же утверждать). Позже этого данные будут собираться в таблицу. Эту часть делаете не вы (самое основное тут таблица итогов).
7) Необходим раздел в котором будут показывать все сайты с информацией (для которых работает граббинг).
8) Основное предназначение приложения -- подсчёт числа компаний, которые размещают объявления.
Работает это приблизительно так:
В начале проверяем emailadress объявления (из имеющихся в нашей базе) и выдёргиваем оттуда доменное имя. Возможен у нас есть три объявления для *** и три для carrer2@)somefirma.com. Тогда мы подсчитываем, что фирама http://www.somefirma.com поместила 6 объявлений.
На выходе мы получаем сводную таблицу такого вида:
somefirma.com xxx объявлений на доске1 xxx объявлений на доске2 приблизительное число уникальных объявлений: xxx

Это всё, что необходимо. Самое основное -- приложение должно обрабатывать уникальные email из таблицы граббинга. Скорей каждого необходимо будет исполнять вычисления по Cron'у, потому что таблица будет огромный и исполнять real-time вычисления будет трудно. Следственно необходимо будет сотворить задание в кроне, которое будет всякий час (возможен) создавать статистику для всей компании (с учётом только что добавленных новых объявлений).

Неукоснительно указывайте цену и срок выполнения плана (будет отличнее, если вы отпишитесь добавочно мне в контакты).

Чтобы добавить заявку к этому заказу, нужно войти или зарегистрироваться

Мой блок

26.04.20 14:45
Umen 26