Google может индексировать URL, заблокированные в robots.txt, не сканируя их. Об этом заявил сотрудник поиска Джон Мюллер, отвечая на вопрос одного из вебмастеров в Twitter. В частности, пользователь спрашивал, почему по сайту, который полностью заблокирован в robots.txt, в результатах поиска отображаются заголовки и описания страниц. Мюллер ответил так: «URL могут индексироваться без сканирования, если они […]
Сообщение Google может индексировать заблокированные страницы без сканирования появились сначала на Searchengines.ru.
Источник новости: Searchengines.ru