Quad.Wiki

Настройка групп товаров для парсинга

1. Откройте вкладку Автоматизация / внизу Парсеры и выберите нужный парсер



2. Перейдите во вкладку Настройки / Категории



3. Добавьте нужные категории, товары которых нужно парсить. 

Для этого зайдите на сайт и перейдите в категорию, в которой есть товары. Парсятся только товары этой категории, т.е. если в ней есть какие-то подкатегории, то товары из них парситься не будут. Нужно указывать конечную категорию (группу товаров), в которой находятся товары с ценами.

Нажмите кнопку "Добавить", заполните название категории, скопируйте ссылку на категорию из браузера и установите птичку Акт.

 

После этого нажмите кнопку "Сохранить".

 

Если в той категории, которая уже была добавлена, на конце есть еще какое-то дополнение, в котором присутствует {N}, то точно такое же дополнение вам нужно добавить и к новой категории. В  примере выше это ?PAGEN_1={N}

После добавления так же нажмите "Сохранить"



Так нужно добавить все категории из которых парсятся цены.


Как указывать ссылку на группу для нового парсера?

Для указания ссылки нужно определить, каким способом на сайте осуществляется переход с одной страницы группы сайта на другую.

Например, есть сайт на котором вы хотите спарсить группу “Стабилизаторы”. Ссылка на нее выглядит следующим образом:

https://www.site.ru/catalog/154/bespereboinoe-pitanie/stabilizatory

При переходе по этой ссылке открывается первая страница группы товаров

Чтобы определить, как меняется ссылка при переходе на следующую страницу, нужно открыть вторую страницу группы или любую другую следующую. Если нажать 2 , то получим в браузере такую ссылку:

https://www.site.ru/catalog/154/bespereboinoe-pitanie/stabilizatory?page=2

Видим, что к ссылке добавилось ?page=2 , где 2 - изменяемое на каждой странице значение (номер страницы).
Нужно заменить 2 на {N} и добавить полученную ссылку для парсинга, т.е. в итоге получится так

https://www.site.ru/catalog/154/bespereboinoe-pitanie/stabilizatory?page={N}

После этого нужно проверить, работает ли данная ссылка для первой странице, т.е. ввести в браузере

https://www.site.ru/catalog/154/bespereboinoe-pitanie/stabilizatory?page=1

Если откроется первая страница группы, то больше ничего делать не нужно. Если сайт покажет ошибку или страницу 404, значит для каждой группы товаров на этом сайте нужно вводить 2 ссылки:

https://www.site.ru/catalog/154/bespereboinoe-pitanie/stabilizatory - ссылка на первую страницу

https://www.site.ru/catalog/154/bespereboinoe-pitanie/stabilizatory?page={N} - ссылка на последующие страницы. Для этой ссылки так же указывается номер, начиная с которого она будет работать.

Таким образом нужно добавить ссылки на все группы.

Можно так же ограничить максимальное количество страниц для парсинга.

Перебор страниц по ссылке заканчивается при наступлении одного из следующих событий:

1. на очередной странице нет ни одного нового товара (игнорируется, если установлен номер конечной страницы)

2. открывая очередную страницу получено больше 3х ошибок

3. номер страницы совпадает с номером конечной страницы