Как SEO-специалист исправил странную проблему Crawled Currently Not Indexed

Google канонизировал фид над веб-страницей, что вызвало проблему Crawled Currently Not Indexed

3

Технический SEO-специалист опубликовал пример решения любопытной проблемы Crawled Currently Not Indexed на своем сайте. Хотя найденное им решение может не быть универсальным для других людей, столкнувшихся с этой проблемой, его метод выявления проблемы и ее решения представляет собой полезное руководство по решению технических SEO-проблем.

То, что произошло с индексацией его сайта, было действительно странным. Но его решение было простым и логичным.

Я обнаружил описание этой проблемы в твите Адама Гента (@Adoubleagent).

Во время недавней встречи в рамках Office-hours кто-то спросил, почему Google Search Console (GSC) показывает Crawled Not Indexed, но при переходе по ссылке оказывается, что они проиндексированы. Джон Мюллер ответил, что это просто задержка между отчетами.

В ходе другой встречи Джон Мюллер отметил, что для сайта совершенно нормально, когда многие страницы не индексируются.

Он отметил:

«…если у вас небольшой сайт и вы видите, что значительная часть ваших страниц не индексируется, то я бы сделал шаг назад и попытался пересмотреть общее качество сайта и не концентрироваться так сильно на технических проблемах этих страниц».

Еще одна вещь, которую следует иметь в виду в отношении индексации, — это совершенно нормально, что мы не индексируем все, что есть на сайте.

И со временем, когда на вашем сайте будет около 200 страниц, а мы проиндексируем 180 из них, этот процент станет немного меньше».

Адам Гент обнаружил совершенно другую проблему, которая оказалась проблемой алгоритма самого Google. С самим сайтом все было в порядке, проблема была в индексации Google.

Почему индексируется — в настоящее время не индексируется
Адам просмотрел отчет GSC Index Coverage и обнаружил, что Google просматривает и индексирует его ленту, как будто это HTML-страницы.

Он взял случайные слова с этих страниц и выполнил поиск по сайту: с этими словами и обнаружил, что содержимое страницы фида действительно индексируется.

Разблокировка (не предоставляется) с помощью Keyword Hero
Просматривайте все органические ключевые слова в GA и их конкретные показатели эффективности. Бесплатная пробная версия. Отмена в любое время. Профессиональная поддержка. 4-минутная настройка.

RSS-канал был сгенерирован WordPress
Странным в этом случае является то, что когда вы смотрите на страницу RSS-канала, она отображается как веб-страница, а не как обычно отображается XML-файл.

Скриншот кэша RSS-ленты
Скриншот кэшированной страницы RSS

Я могу ошибаться, но это не похоже на обычный RSS-канал. Она выглядит как HTML-страница.

Могло ли это сыграть роль в том, почему Google решил канонизировать ленту?

Трудно понять, как такое могло произойти, ведь существует так много сигналов, таких как внутренняя перелинковка, которые при обычных обстоятельствах заставили бы Google отдать предпочтение HTML-страницам как каноническим.

Как Адам устранил проблему
После того, как Адам понял, что произошло, он удалил эти страницы фида, сгенерированные WordPress, отправил URL-адреса фида на проверку, а затем удалил страницы 404.

После того как эти страницы были исключены из индекса, он отправил правильные URL в Google, и в течение нескольких дней проблема была устранена.

Я поспрашивал, и кто-то сказал мне, что, видимо, несколько лет назад Google начал индексировать фиды, но он считает, что эта проблема уже решена.

Я не эксперт по XML, но кажется необычным, что фид похож на HTML-страницу, а не на обычный XML-макет, который отображается без HTML-стилей.

Корм не выглядит нормально, поэтому кажется, что то, что заставляет его выглядеть таким образом, может быть основной причиной.

В любом случае, если у вас есть проблемы с Crawled Currently Not Indexed, это еще одна вещь, которую нужно проверить, если это происходит и с вами.

Вам также могут понравиться Еще от автора

Оставьте ответ

Ваш электронный адрес не будет опубликован.