Прайс для сохранения товаров
Парсер собирает информацию о товарах, соответственно эти товары нужно куда-то добавлять. Добавляются товары в прайс и вам для нового парсера нужно в программе QuadX добавить новый прайс. При этом прайс можно не добавлять, если у вас уже есть прайс поставщика, для которого нужно парсить описание с сайта этого же поставщика, т.е. товары из прайса поставщика можно использовать для поиска на его сайте, а описания и фото добавлять сразу к товарам поставщика.
Если поставщика у вас нет, то прайс добавляется так:
Перейдите во вкладку вверху Прайсы / внизу 3. Настройка прайсов и нажмите кнопку Добавить
...
Укажите так же группу для прайса, чтобы можно было быстро находить прайсы, относящиеся к парсингу
...
Нажмите Ок - в результате добавится прайс, никаких больше настроек не нужно и вы можете приступать к настройке парсера.
...
Новый парсер
Откройте вверху вкладку Автоматизация / внизу Парсеры и нажмите кнопку Добавить
...
Введите название парсера, а так же заполните другие настройки:
...
Установить “Нет в наличии” - используется для парсеров цен, когда перед новым запускам всем товарам, полученным ранее парсер будет устанавливать статус Нет в наличии, если вам нужно использовать в наценке только товары, которые в наличии на сайте-источнике.
Обновить список товаров - используется для парсеров, которые собирают цены или описание по списку товаров, вашему или из прайса поставщика - если установлена эта птичка, то перед каждым парсингом будут догружаться новые товары из прайса поставщика в парсер.
Время выполнения - здесь можно указать время, в которое будет запускаться парсер, а так же выбрать дни недели. Если не выбраны дни недели, а время отличное от ноля, то будет запускаться каждый день. Если время 00:00:00, то автоматически парсер запускаться не будет.
Кол-во потоков - данной настройкой регулируется скорость сбора информации. Если стоит 1 поток, то парсер собирает по очереди все товары. Если, например, 5, то запускается 5 параллельных процессов и сбор информации может до 5 раз быстрее. При этом нужно помнить, что чем больше потоков, тем больше нагрузка на сайт-источник. Если это какой-то простой сайт, то он может вообще перестать работать или сильно тормозить и при 10 потоках скорость сбора информации станет меньше, чем при 2х потоках. Так же владелец сайта может заблокировать (“забанить”) ваш IP-адрес и вы не сможете парсить информацию с этого сайта без использования Proxy. Сайт перестанет открываться с вашего компьютера.
| Note |
|---|
Для парсинга описаний используйте 1 поток. В большинстве случаев вам нет никакого смысла за 1 день собрать описания 100 000 товаров, так как вы все равно не сможете их обработать, чтобы добавить себе на сайт. Нормальная скорость, чтобы не доставлять неудобств сайту-источнику, это 1 товар в 2-3 секунды. |
Загружать новые товары каждые (дней) - здесь можно указать интервал в днях, когда парсер загружает новые товары из прайса поставщика. Чтобы не загружать эти товары каждый раз, при запуске парсера, товары могут загружаться, например, 1 раз в 3 дня.
Повторный поиск ссылок каждые (дней) - используется для парсеров, которые ищут ссылку на карточку товара используя поиск на сайте источнике. При поиске каждому товару устанавливается статус, найдено или не найдено. Те товары, которые не найдены, при последующих запусках парсера больше не обрабатываются. Можно установить период, через который они будут заново обработаны, т.е. заново будет запущен поиск по сайту на случай, если там появились новые товары.
Fiddler - если установлена птичка, то все запросы идут через программу Fiddler, для отладки (она должна быть обязательно запущена)
Использовать сохраненные страницы - если стоит эта птичка, то страница сайта-источника парсится 1 раз и сохраняется в текстовый файл в папку Sync\qs_logs\pars[ИД парсера]\logs\ , название файла формируется из адреса этой страницы. При повторном запуске парсера он уже не переходит на страницу на сайте источнике, а берет информацию из сохраненного файла. Используется это, например, для парсеров описаний, когда вы со временем решите дополнительно парсить какую-то еще информацию со страницы сайта-источника. В этом случае не нужно будет заново парсить сайт, а информацию парсер возьмет из сохраненных ранее страниц.
Так же вы эту функцию можете использовать для отладки, чтобы видеть код страницы целиком, который получает парсер, так как часто код страницы, который вы видите в браузере, может отличаться от реального кода.
Обновить сохраненные страницы - эта птичка используется совместно с предыдущей птичкой, для того, чтобы спарсить заново сохраненные ранее страницы.
Парсить только по категориям - когда установлена эта птичка, то парсер будет собираться только информацию из групп товаров, даже если в нем дополнительно настроен сбор информации и из карточек товаров.
Парсить ссылки на категории - если установлена птичка, то при парсинге будет использован так же и парсер ссылок на группы товара. Его можно отключить, если по каким-то причинам вам больше не нужно собирать ссылки на группы.
Парсить только товары с пустым Значение 1 - с такой настройкой парсер карточек товаров будет работать только для товаров, которые ранее еще не парсились (т.е. не будет повторного парсинга одних и тех же товаров). Чтобы это работало, нужно при парсинге сохранять какую-либо информацию в Значение 1, например код или название товара (подробнее о “Значение 1” в описании парсера карточек товаров).
После заполнения этих настроек можно приступить к настройке парсера.