Как уже сообщалось ранее, Яндекс отказывается от директивы Host. Теперь эту директиву можно удалять из robots.txt, но важно, чтобы на всех не главных зеркалах сайта теперь стоял 301-й постраничный редирект. Вебмастерам, которые, по данным Вебмастера, еще не установили перенаправление, уже отправлено соответствующее уведомление. Что же касается директивы Host, то ее можно удалить из robots.txt или оставить, робот ее просто игнорирует. […]
Источник новости: Searchengines.ru
