Сотрудник Google Гэри Илш обновил свой пост с частыми вопросами по краулинговому бюджету. Теперь в нём появилась следующая информация: «Вопрос. Влияют ли URL, доступ к которым закрыт через директиву Disallow в robots.txt, на бюджет сканирования? Ответ. Нет, эти URL не влияют на краулинговый бюджет». Данный вопрос относится к директиве «User-agent: * Disallow: /» в файле […]
Сообщение Google: URL, заблокированные через robots.txt, не влияют на бюджет сканирования появились сначала на Searchengines.ru.
Источник новости: Searchengines.ru