Поисковые боты Яндекса или Гугла перед обходом сайтов смотрят на коды ответа сервера, который является определяющим для дальнейших действий.
Код ответа сервера — это целое трехзначное число, выдаваемое сервером в ответ на вводимый запрос. Исходя из этой цифры происходит дальнейшая обработка страницы. 1-ая цифра указывает на класс состояния, исходя из которой робот делает дальнейшие шаги.
Класс состояния ответов
В настоящее время выделено пять классов кодов состояния. Код состояния HTTP (англ. HTTP status code):
Наиболее распространенные ответы сервера
200 ОК
Один из важнейших кодов, сигнализирующий об успешном выполнении запроса в полном объеме. Именно данный код должны отдавать большинство страниц сайта.
301 Moved Permanently
301 код ответа сервера, редирект
Пользователь уведомляется, что искомая страница перемещена по другому адресу навсегда. Если у искомой страницы, которую вы уже находили ранее, поменялся урл, то для сохранения трафика и «веса» ссылки важно настроить перенаправить «редирект 301», затем браузер «соединит» два адреса, поисковики поймут что это одно и тоже и переиндексируют.
302 Found
Страница временно перемещена на другой адрес, при этом удалять старый из индекса не следует. Ссылочный «вес» остается прежним.
304 Not Modified
Сервер возвращает такой код, если клиент запросил документ методом GET, в заголовке использовал поле Date , документ не изменился с указанного момента. При этом сообщение сервера не должно содержать тела
403 Forbidden
Сервер понял запрос, но он отказывается его выполнять из-за каких-то ограничений в доступе. Идентификация через протокол HTTP здесь не поможет. Скорее всего, нужно провести аутентификацию другим способом, сделать запрос с определёнными параметрами или удовлетворить каким-либо условиям.
404 Not Found
Распространенный ответ не найденной страницы. Сигнализирует об отсутствии документа или страницы по заданному адресу. Код отдается при попытке попадания на несуществующие ссылки и документы. Если вам требуется сообщить об удалении страницы по запрашиваемой ссылке, применяйте код 410.
оформление 404 ошибки
Обратите внимание, что страница 404 File Not Found не обязательно выдает код 404. Если не обратить на это внимание, ранжирование сайта может снизиться. Речь идет о страницах с сообщением «Soft 404», возникающих при коде ответа сервера, отличного от 404 и 410. Сюда могут относится пустые страницы без содержимого с кодом 200. В обязательном порядке вебмастер должен найти их и настроить ошибку 404.
410 Gone
Код, указывающий на окончательное и полное удаление страницы или документа, после чего они более недоступны ни в каком виде.
410 ошибка код ответа сервера
При обработке страницы с индексом 404, робот поисковик не отметит ее как окончательно удаленную. При повторном запросе он снова может к ней обратиться. Код 410 «обрубает концы» навсегда – робот отмечает полное удаление информации и более не будет обращаться к этому адресу при повторных запросах.
451 Unavailable For Legal Reasons
Ошибка 451 свидетельствует о том, что доступ к странице по данному адресу закрыт из-за запрета на государственном уровне. Также могут быть иные причины (нарушения авторских прав, например). Код 451 является уточнением кода 403.
500 Internal Server Error
«Внутренняя ошибка сервера», не описанная в списке прочих ошибок класса.
Код ответа сервера 500 ошибка
503 Service Unavailable
Технические проблемы, которые не позволяют серверу обрабатывать запросы пользователей. Ошибка 503 встречается при перегрузках серверов большим количеством запросов одновременно.
504 Gateway Timeout
Нет ответа от шлюза. Код появляется при отсутствии ответа от сервера, работающего в качестве прокси.
Например, если вы пользуетесь браузером Google Chrome, можно нажать F12 и зайти во вкладку Network. Можно попробовать воспользоваться расширениями (Live HTTP Headers), которые предоставят вам информацию по каждой открываемой вами странице.
Существуют также способы массово проверить десятки страниц по списку URL. Для этого стоит воспользоваться Netpeak Spider, Netpeak Checker или Urlitor, которые анализируют до 150 запрашиваемых адресов.
Выводы:
Коды ответа серверов входят в 5 групп – классов состояния. Они указывают на различные этапы передачи и обработки информации и определяют причину если данных нет. Абсолютно все страницы, которые должны быть в индексе поисковиков, в обязательном порядке обязаны выдавать код 200 OK.
При смене адреса страниц, уже бывших в выдаче роботами поисковиками, требуется перенастроить редирект (код 301) со старой URL-ссылки на обновленный адрес.
Если страница отсутствует и выдает код, отличающийся от 404 и 410, может возникнуть ошибка «Soft 404». Это бывает в случаях страниц с кодом 200 ОК, которые по каким-то причинам не наполнены контентом.
Столкнулись с кодами ответа сервера из вышеприведенного списка на Вашем сайте? Закажите у нас бесплатный seo-аудит и мы поможем Вам.