Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

Многие сайты защищаются от парсинга и самый простой вид защиты - это блокировка IP-адреса вашего компьютера, с которого идет парсинг. В этом случае сайт перестанет открываться и парсить его будет нельзя. Вы будете получать ошибку HTTP/1.1 403 Forbidden или какие-то другие ошибки (например, будет отображаться капча). Такая ошибка еще может быть в случае, когда сайт проверяет, чтобы в заголовках запроса к сайту были какие-то данные, например определенные Cookie или User-Agent определенных свежих версий.

...

Некоторые сервисы дают прокси для которого необходимо вводить логин и пароль. В этом случае прокси адреса указываются в настройках в таком виде

...

адрес:порт@логин:пароль

Если с такими настройками вы получаете ошибку Connection Closed Gracefully,

...

то попробуйте добавить еще тег [ba].

адрес:порт@логин:пароль[ba]

...

Блокировка стран

В случае, если сайт, который вы парсите, заблокировал не какой-то конкретный адрес, а целиком доступ для страны, IP которой вы используете для парсинга, то нужно купить proxy другой страны, из которой доступен парсинг.

Российские прокси можно купить, например, здесь https://proxy6.net/order

Купите для начала 1 или 2 прокси, проверить, будет ли работать

...