Прайс для сохранения товаров
Парсер собирает информацию о товарах, соответственно эти товары нужно куда-то добавлять. Добавляются товары в прайс и вам для нового парсера нужно в программе QuadX добавить новый прайс. При этом прайс можно не добавлять, если у вас уже есть прайс поставщика, для которого нужно парсить описание с сайта этого же поставщика, т.е. товары из прайса поставщика можно использовать для поиска на его сайте, а описания и фото добавлять сразу к товарам поставщика.
Если поставщика у вас нет, то прайс добавляется так:
Перейдите во вкладку вверху Прайсы / внизу 3. Настройка прайсов и нажмите кнопку Добавить
В открывшемся окне введите название прайса (обычно это название сайта, откуда парсинг) и тип прайса (для сбора цен - Конкуренты, для сбора описаний - Другой)
Укажите так же группу для прайса, чтобы можно было быстро находить прайсы, относящиеся к парсингу
Нажмите Ок - в результате добавится прайс, никаких больше настроек не нужно и вы можете приступать к настройке парсера.
Новый парсер
Откройте вверху вкладку Автоматизация / внизу Парсеры и нажмите кнопку Добавить
Введите название парсера, а так же заполните другие настройки:
Установить “Нет в наличии” - используется для парсеров цен, когда перед новым запускам всем товарам, полученным ранее парсер будет устанавливать статус Нет в наличии, если вам нужно использовать в наценке только товары, которые в наличии на сайте-источнике.
Обновить список товаров - используется для парсеров, которые собирают цены или описание по списку товаров, вашему или из прайса поставщика - если установлена эта птичка, то перед каждым парсингом будут догружаться новые товары из прайса поставщика в парсер.
Кол-во потоков - данной настройкой регулируется скорость сбора информации. Если стоит 1 поток, то парсер собирает по очереди все товары. Если, например, 5, то запускается 5 параллельных процессов и сбор информации может до 5 раз быстрее. При этом нужно помнить, что чем больше потоков, тем больше нагрузка на сайт-источник. Если это какой-то простой сайт, то он может вообще перестать работать или сильно тормозить и при 10 потоках скорость сбора информации станет меньше, чем при 2х потоках. Так же владелец сайта может заблокировать (“забанить”) ваш IP-адрес и вы не сможете парсить информацию с этого сайта без использования Proxy. Сайт перестанет открываться с вашего компьютера.
Для парсинга описаний используйте 1 поток. В большинстве случаев вам нет никакого смысла за 1 день собрать описания 100 000 товаров, так как вы все равно не сможете их обработать, чтобы добавить себе на сайт. Нормальная скорость, чтобы не доставлять неудобств сайту-источнику, это 1 товар в 2-3 секунды.
Загружать новые товары каждые (дней) - здесь можно указать интервал в днях, когда парсер загружает новые товары из прайса поставщика. Чтобы не загружать эти товары каждый раз, при запуске парсера, товары могут загружаться, например, 1 раз в 3 дня.
Повторный поиск ссылок каждые (дней) - используется для парсеров, которые ищут ссылку на карточку товара используя поиск на сайте источнике. При поиске каждому товару устанавливается статус, найдено или не найдено. Те товары, которые не найдены, при последующих запусках парсера больше не обрабатываются. Можно установить период, через который они будут заново обработаны, т.е. заново будет запущен поиск по сайту на случай, если там появились новые товары.
Использовать сохраненные страницы - если стоит эта птичка, то страница сайта-источника парсится 1 раз и сохраняется в текстовый файл в папку Sync\qs_logs\pars[ИД парсера]\logs\ , название файла формируется из адреса этой страницы. При повторном запуске парсера он уже не переходит на страницу на сайте источнике, а берет информацию из сохраненного файла. Используется это, например, для парсеров описаний, когда вы со временем решите дополнительно парсить какую-то еще информацию со страницы сайта-источника. В этом случае не нужно будет заново парсить сайт, а информацию парсер возьмет из сохраненных ранее страниц.
Так же вы эту функцию можете использовать для отладки, чтобы видеть код страницы целиком, который получает парсер, так как часто код страницы, который вы видите в браузере, может отличаться от реального кода.
Обновить сохраненные страницы - эта птичка используется совместно с предыдущей птичкой, для того, чтобы спарсить заново сохраненные ранее страницы.
Fiddler - если установлена птичка, то все запросы идут через программу Fiddler, для отладки (она должна быть обязательно запущена)
Выбор, какие типы парсеров будут запущены при работе данного парсера:
Парсер ссылок на категории - если установлена птичка, то при парсинге будет использован так же и парсер ссылок на группы товара. Его можно отключить, если по каким-то причинам вам больше не нужно собирать ссылки на группы.
Парсер категорий товаров - если установлена птичка, то при парсинге будет использован так же и парсер информации о товарах из категорий товаров на сайте.
Парсер карточек товаров - если установлена птичка, то при парсинге будет использован так же и парсер информации из карточек товаров на сайте. Вместе с этой настройкой используются 2 дополнительные:
Использовать поиск товара - если установлена данная птичка и сделаны необходимые настройки, то парсер, чтобы получить ссылку на нужный товар, будет использовать поиск на сайте-источнике (вводить какой-то текст из выбранного поля на сайте и сохранять ссылку из результата поиска, если такая есть).
Парсить только товары с пустым Значение 1 - с такой настройкой парсер карточек товаров будет работать только для товаров, которые ранее еще не парсились (т.е. не будет повторного парсинга одних и тех же товаров). Чтобы это работало, нужно при парсинге сохранять какую-либо информацию в Значение 1, например код или название товара (подробнее о “Значение 1” в описании парсера карточек товаров).
Дальше настройте автоматический запуск парсера через Sync.X
После этого можно приступить к настройке парсера.