Поисковые боты Яндекса или Гугла перед обходом сайтов смотрят на коды ответа сервера, который является определяющим для дальнейших действий.
Что собой представляют и что означают коды ответов сервера
Код ответа сервера — это целое трехзначное число, выдаваемое сервером в ответ на вводимый запрос. Исходя из этой цифры происходит дальнейшая обработка страницы. 1-ая