ip адреса роботов sape

Сегодня наблюдаю картину, когда на сайте отвалились многие страницы с рекламой от сапы.

IP адреса роботов sape

Корни проблемы искать долго не пришлось, поскольку хостер был подвержен ддос атаке и сайты подвисали в течение суток. Чтобы робот сапы (sape) безпрепятственно проходил сквозь защиту на сайт нужно ему дать "зеленую улицу". Для этого требуется прописать IP адреса ботов в белый список файрвола

Узнаем IP адрес бота sape

У каждого сайта в папке с кодом биржи есть файл links.db Данный файл содержит сведения о последнем обходе и ряд служебной информации. Нас интересует IP адрес, который в нем так же указан. С этого адреса заходит бот на наш сайт.

Открываем links.db обычным блокнотом и идем в самый конец файла. Он выглядит примерно так:

"__sape_ips__";a:2:{i:0;s:15:"193.232.121.205";i:1;s:15:"193.232.121.201";}s:16:"__sape_charset__";s:5:"UTF-8";s:15:"__last_update__";i:1429088306;s:14:"__multi_site__";b:0;s:21:"__fetch_remote_type__";s:17:"file_get_contents";s:15:"__ignore_case__";b:0;s:15:"__php_version__";s:6:"5.3.28";s:19:"__server_software__";s:94:"Apache/2.2.26 (Unix) mod_ssl/2.2.26 OpenSSL/1.0.1e-fips PHP/5.3.28 mod_wsgi/4.4.8 Python/2.6.6";}

Из всей этой информации нас интересует выделенная красным часть. Это и есть искомые айпишники.

Можно их прописать в настройках сайта, как разрешенные. В том случае, если они доступны Вам. Если же сайт находится под контролем хостера и защищается его файрволом, то прописывать их нужно в том файрволе.

Но. есть проблема. IP адреса ботов сапы могут периодически меняться. Поэтому лучше указать сразу подсеть адресов.

Адреса подсетей биржи sape

Тут гадать не будем и идем на форум сапы в эту forum.sape.ru/showthread.php?t=31573 тему. Туда, кстати, можно писать о проблемах и выпавших ссылках, если техподдержка не помогла. Читаем заглавный пост. Сюда сразу напишу ответ на искомый вопрос:

IP-адреса сапобота, про которые надо спрашивать - 188.72.80. и 193.232.121. - это подсеть! Провайдер поймет.

Как видим айпишник по которому пришел сапобот (инфа из линксдб чуть выше) как раз входит в подсеть. Потому правильнее при блокировке / разблокировке робота от сапы указывать подсеть! То есть все возможные IP адреса.

Еще вопрос с которым часто сталкиваются при выпавших ссылка в ERROR это

как часто робот сапы посещает сайт

По информации с того же форума, которая подтверждается по логам моего сервера. Робот sape приходит на сайт ежедневно 3 раза в сутки. Обычно соблюдается график:

утро с 6 до 9, вечером с 19 до 22 и ночью после полуночи.

Маленькие сайты робот проходит полностью и проверяет наличие всех ссылок. Как он работает с огромными сайтами мне не известно. Скорее всего каждый раз проходит его частями, как поисковые роботы от Яндекса и Гугла.

И в конце маленькая заметка по починке выпавших ссылок. Прежде чем обращаться к провайдеру и техподдержке сапы делаю:

1. Захожу на страницу с ошибкой и убеждаюсь, что ссылка с анкором есть на ней. Смотрю код сгенерированной страницы (правая кнопка мыши в лбом месте страницы - посмотреть код страницы). Если всё есть, то ждем сутки. Проблема с ошибками осталась - пишем в техподдержку и провайдера и биржи.

2. Ссылок на странице нет. Скорее всего проблема с установленным кодом. Ставим чек код от биржи (выводит вместо ссылок проверочные сообщения). О корректности кода легко судить по ним. Добиваемся правильной отработки установленного кода.

Часто помогает в отладке кода сапы отдельная чистая страница на сайте и установка кода на ней. Это исключит проблемы с движком и убедимся в доступности сайта для сапы через хостинг.

П

Помог материал - нажмите на один из банеров:

 

Всегда благодарен за комментарии и дополнения. Задавайте вопросы!

 

Вернуться на главную

 

Добавить комментарий


Поддержите развитие сайта рассказав о нем