На днях сотрудники Google Гэри Илш и Джон Мюллер опубликовали несколько твитов на тему индексации файлов robots.txt и Sitemap. Обсуждение начал Гэри Илш, который заявил, что файл robots.txt может индексироваться и ранжироваться в результатах поиска Google. По его словам, «c точки зрения индексирования, robots.txt – это всего лишь URL, контент которого может индексироваться». В ответ […]
Сообщение Google: ранжирование файла robots.txt или Sitemap – это плохой знак для сайта появились сначала на Searchengines.ru.
Источник новости: Searchengines.ru