Стали ли вы жертвой анти SEO: как определить? — Часть II цикла статей

Возможно, вы когда-нибудь подозревали, что падение позиций вашего сайта произошло в результате действий какой-то третьей недоброжелательной стороны. Во второй статье нашего цикла мы сосредоточимся на процессе диагностики того, были ли вы поражены методами поисковой анти-оптимизации.

Если вам нужна первая статья, вот она: Что такое анти SEO.

По мере прохождения следующих шагов, для корректной диагностики случившегося, вам нужно честно спросить себя, не является ли снижение, с которым вы сталкиваетесь, скорее результатом ваших собственных действий, а не из-за того, что кто-то действует против вас.

Это важное различие; ваш первый порыв, чтобы предположить, что кто-то из вас причиняет вам вред, объясним. Но на самом деле это может быть что-то более простое, как случайная проблема с индексацией, например, запрет важных путей в файле robots.txt или наличие сломанного плагина WordPress, который внезапно дублирует все ваши страниц со странными параметрами запроса и неправильной канонизацией.

В первой статье я сегментировал большинство поисковых сигналов на три группы: ссылки, контент и поведенческие факторы (ПФ). Чтобы правильно проанализировать эти ведра, нам нужно будет опираться на различные инструменты.

Инструментарий для обнаружения негативного SEO

• Браузер с доступом к Google и Bing для поиска контента.
• Доступ к серверным логам для анализа.
• Google Analytics для просмотра содержимого и поведения пользователей.
• Google Search Console для просмотра содержимого, ссылок и поведенческих факторов.
• Bing Webmaster Tools для просмотра контента, ссылок и ПФ.
• Инструмент анализа ссылок для просмотра внутренних и входящих ссылок.
• Обход и технический инструмент для просмотра содержимого сайта.
• Анализатор текста с проверкой на плагиат.

Давайте рассмотрим различные инструменты и сценарии, чтобы определить, стали ли вы жертвой «плохого» SEO, или это просто ошибка.

Как Google и Bing обрабатывают мой сайт?

Одним из самых простых и простых шагов, которые необходимо предпринять, является проверка того, как Google и другие поисковые системы обрабатывают ваш сайт.

Мне нравится использовать оба механизма в каждом аудите, потому что они реагируют по-разному, что помогает мне быстро диагностировать проблему.

Что мы ищем в Google?

• site:domain.tld Замените «domain.tld» на ваш фактический домен. Поисковик отдаст список страниц из вашего домена в грубом порядке.

• Пропущены ли страницы, которые вы ожидаете увидеть в выдаче? Посмотрите на исходный код и обработку robots.txt этих страниц, чтобы определить, случайно ли они заблокированы или проблемы вызваны неправильной конфигурацией.
• Страницы стали ниже ранжироваться? Если главная или индексная страница сайта не находится на первом месте в выдаче, что-то, вероятно, пошло не так. Запустив эту простую проверку недавно, мы заметили, что наша предпочтительная обработка URL-адресов заставляла каноническую страницу нашей индексной страницы обновляться до страницы, перенаправляемой 301 в цикле. Google понизил рейтинг этой страницы на сайте: запрос, но Bing этого не сделал. Проблема была решена просто запустив эту простую проверку и посмотрев на проблемную страницу.
• Есть ли страницы, которые вы не узнаете, страницы, которых в выдаче быть не должно? Если да, могут быть проблемы настройки CMS), а может быть это поисковый спам? Первое, вероятно, является ошибкой; последнее, вероятно, является атакой.
• Введите несколько брендовых запросов.  Найдите домен, название и другие популярные или нормальные фразы, связанные с вашим брендом. Вы замечаете, что что-то не так? Результаты не кажутся вам подозрительными?

Необработанные логи

Доступ к вашим необработанным веб-логам имеет жизненно важное значение, но, к сожалению, он будет значительно затруднен при более широком принятии Общего регламента защиты данных (General Data Protection Regulation — GDPR).

Очень важно, чтобы вы могли получать доступ к интернет-протоколам (IP-адресам), записанным на каждой из страниц, посещаемых на вашем сайте, включая те, на которые у вас может быть не установлен код отслеживания Google Analytics. Разбирая журналы, вы можете:

• Найти IP-адреса. Это определяет, ищет ли одна и та же группа IP-адресов на вашем сайте ошибки конфигурации.
• Определить парсеры. Вы узнаете, пытался ли кто-то вытащить содержимое вашего сайта в массовом порядке.
• Определите статус-коды. Возможно, у вас есть ряд проблем с ответом сервера, о которых вы и не подозревали.

Многие проблемы могут быть решены, если у вас есть доступ и склонность анализировать ваши серверные логи. Это занимает много времени, но стоит того.

Google Analytics

Понятно, что при продвижении сайта и продаж без аналитики никуда. Однако в данном контексте мы сосредоточимся лишь на определенных разделах:

• Показатель отказов. Тренд идет вверх или вниз? Как это соотносится с тем, что вы видите в ваших журналах логов? Отфильтровывает ли Google какой-либо трафик? Детектит ли показатель отказов какие-либо пропадания при сегментировании по каналам (источнику), браузером или географическим положением?
• Продолжительность сеанса. Как и показатель отказов, для целей могут сокращаться сеансы. Особенно, если это также сопровождается увеличением общих сессий.
• Все каналы трафика и все направления трафика. Существуют ли какие-либо источники в настоящее время приносящие значительно больше или меньше трафика по сравнению с периодами, в которых ваши позиции были лучше? Существуют ли необычные источники трафика, которые выглядят поддельными? И то, и другое является поводом для рассмотрения, если вы подозреваете анти SEO.
• Поисковая консоль и целевые страницы. Подобно проверке Search Analytics в самой Google Search Console, проверьте, есть ли ситуации, в которых страницы теперь получают трафик больше или меньше, или вы видите большие изменения в отказах и длительности сеанса на страницах, которые вы продвигаете?
• Скорость сайта. При прочих равных условиях более быстрый сайт — лучший сайт. Увеличивается ли время загрузки? Отмечено ли это Гуглом? Для конкретных страниц? Являются ли те страницы нормальными?

Инструменты для веб-мастеров Bing

(В рунете вряд ли пригодится — прим. ред.)

Как вы можете определить, что происходит с вашим рейтингом в Bing? Пойдите в свои инструменты для веб-мастеров и проверьте следующее:

• Активность сайта. Как и в результатах поиска Google Analytics от Google, инструменты для веб-мастеров Bing позволяют быстро оценить, показывает ли ваш сайт более или менее часто в поиске в целом, изменился ли уровень щелчка, если произошли изменения при обходах и ошибках обхода, конечно, страницы, индексированные. Вы можете дать каждому разделу более глубокий вид.
• Входящие ссылки. Как и в Google Search Console, вы можете увидеть, как выглядят эти ссылки. Они неожиданны? Могут ли они быть найдены в различных инструментах анализа ссылок?

Инструмент анализа ссылок

Используя ваш любимый инструмент анализа ссылок, посмотрите на эти моменты, чтобы определить, есть ли подозрение на негативное SEO:

• Органические ключевые слова. Вы видите общую тенденцию в рейтингах? Это примерно должно совпадать с данными поисковой аналитики от Google, но не всегда. Скорее всего, вы уже знаете по этому поводу, что что-то не так, но просмотр одних и тех же данных с помощью другой визуализации может определить, есть ли проблемы.
• Новые обратные ссылки, новые домены и ссылающиеся IP-адреса. Если вы столкнулись с атакой, это то, где вы, скорее всего, найдете ее, если увидите значительное увеличение ссылок, которые вы не вводили и не хотите. Посмотрите на оба этих отчета, потому что наличие 2000 страниц на одной и той же доменной ссылке для вас рассматривается иначе, чем 2000 новых доменов, ссылающихся на вас. В некоторых случаях вы также можете найти большое количество доменов, связывающихся с одним и тем же IP-адресом. Это ленивый метод анти-SEO, но один из наиболее распространенных.
• Потерянные обратные ссылки и потерянные домены. Другой вектор негативного SEO — это удаление ссылок конкурента. Вы теряете ссылки, для получения которых вы тяжело работали? Возможно, вам придется обратиться к тем веб-мастерам, чтобы узнать, что произошло. Может быть страницы-доноры внезапно стали недоступными, или теперь ссылаются на конкурента? Или ссылки просто пропали? Вам нужно выяснить, почему.
• «Битые» обратные ссылки. Иногда проблема со ссылками возникает по вашей вине. Если вы недавно переместили сайт, изменили структуру, или даже обновили подключаемый модуль, возможно, вы случайно заблокировали страницу в автономном режиме, что приводит к утере ссылочной массы. Исправить это так же просто, как вернуть потерянные страницы или настроить редирект страницы.
• Анкоры. Все еще существуют штрафы и фильтры чрезмерной оптимизации, хотя и с меньшей опасностью. Изменилось ли ссылочные анкоры и тексты, появилось ли чрезмерное употребление коммерческих фраз? Являются ли общие фразы все еще правильными, но особые термины кажутся более целенаправленными, чем раньше? Вы видите много анкоров, которые к вам и вашему сайту не относятся?
• Исходящие связанные домены и исходящие неработающие ссылки. Посмотрите, нет ли ссылочной связи с доменами, с которыми вы связи не хотите? Есть ли неработающие ссылки, которые все еще открыты для индексации, как действительные URL-адреса? Инъекции CMS, уязвимости, индексированные комментарии и другие области пользовательского контента (UGC) должны быть просмотрены.

Сканирование и технические инструменты

Как и в разделе анализа ссылок, если у вас есть любимый инструмент аудита и технического SEO, используйте его.

• Скорость сайта. Как скорость сайта обхода контента сравнивается с тем, что обнаружено в Google Analytics, или при индивидуальном тестировании скорости сайта Google? Вам мешает большой ресурс, пытающийся замедлить вас?
• Статус индексации по глубине. Здесь манипулирование настройкой CMS и веб-архитектурой может действительно повредить, если вы вдруг дублируете или индексируете большой процент страниц, в ущерб тем страницам, которые вы хотите индексировать.
• Перенаправления. Посмотрите, вы склонны открывать переадрисации, в ущерб индексации основных страниц вашего сайта ?
• Частота сканирования. Концептуально это может быть очень полезно при попытке определить, есть ли активные страницы, которые вам действительно не нужны, и как может влиять распределение внутренних ссылок. Все ли они такие страницы не имеют родительской (т. е. они существуют, но не связаны с ними), или они встроены в навигацию сайта?
• Онлайн технические факторы. Это самая важная часть, поскольку она относится к определению того, является ли ситуация негативной атакой SEO или внутренней ошибкой. Инструменты сканирования могут помочь вам быстро найти, какие страницы имеют nofollow или noindex или конфликтуют из-за проблем с rel=canonnical.

Антиплагиат

• Насколько уникален ваш контент? Тщательно проверьте весь сайт. Самый простой способ -регулярная проверка с периодическим переобходом. Если вы являетесь объектом поддельных запросов Digital States Copyright Act (DMCA) или паразитных парсеров, которые пытаются как скопировать вас, так и обойти вас в более авторитетных доменах, это поможет вам найти такие проблемы.
• Внутреннее дублирование. В то время как большинство может предположить, что конкурент пытается украсть у них контент, большей проблемой может являться внутренне дублированное содержимое на сайте, из-за настройки категорий и тегов, и неправильной обработки URL-адресов.

Заключение

Хорошая идея — использовать сразу несколько инструментов, чтобы определить, стали ли вы жертвой SEO-злоумышленника. Они помогут вам быстро и подробно найти проблемы. Знание того, что вы под угрозой позволит составить подробный план по ее устранению в короткие сроки.

В следующем выпуске нашей серии Negative SEO мы рассмотрим, как быть опередить врага, и предотвратить негативную кампанию SEO.