ПРЕНЕБРЕГАЕТ ЛИ ПОИСКОВИК «ГУГЛ» ПРАВИЛОМ CRAWL — DELAY?

С двадцать первого декабря 2017 года сервис «Гугл» осуществляет публикацию СЕО-фрагментов (СЕО сниппетов) — небольших обучающие видеофайлов, предназначенных для пользовательского обучения. Внизу приведен текст нового СЕО сниппета, который был переведен.

Новая СЕО сниппета

Индийского пользователя по имени Амид интересует, учитывает ли поисковая система «Гугл» правило crawl — delay?. На это последовал ответ. Ввод команды «кроул-делэй» для robots.txt, которая предназначена для всех поисковиков, был осуществлен достаточно продолжительное время назад. Задумка заключалась в том, чтобы вебмастер смог показать, сколько времени станет ожидать робот, призванный обходить систему, непосредственно между поисковыми запросами в целях ограничения нагрузки на интернет-сервер.

Это была хорошая задумка, но впоследствии выяснилось, что серверы в действительности являются очень динамичными, и соблюдать один и тот же срок между запросами попросту бессмысленно.

То, что на сегодняшний день возможно устанавливать число секунд между поисковыми запросами, — это бесполезно, ведь множество серверов могут выполнять пропуск огромного объема трафика ежесекундно. Взамен применения «кроул-делэй» команды было решено автоматическим образом выполнять регулировку возможности обходить странички, опираясь на то, как реагирует сервер, относящийся к конкретному пользователю. В связи с этим, когда выявляется серверная погрешность или сервер начинает медленнее реагировать, то обход приостанавливается.

С учетом всего сказанного выше, когда определяется команда «кроул-делэй» в роботе, то система стремится известить пользователя, что в конкретном файле присутствует что-то такое, что не поддерживается «Гугл».

И естественно, когда есть подразделы персонального веб-ресурса, которые не надо обходить, всегда можно известить «Гугл» об этом в персональном роботе.