Как выглядит индексирование Google от обнаружения до ранжирования

Мартин Сплитт из Google объясняет процесс индексирования Google от обнаружения до ранжирования и то, как рендеринг вписывается в эту очередь.

0

То, как сайт отображается, является частью очереди индексации и, как и другие части, влияет на SEO и ранжирование. Мартин Сплитт из Google объяснил на вебинаре, организованном компанией Duda, как рендеринг влияет на SEO и как выглядит процесс ползания от первоначального обнаружения до ранжирования.

Вебинар начался с того, что Бартош Горалевич рассказал о своих наблюдениях, согласно которым рендеринг и верстка стали проявляться как тенденция в Google примерно в 2011 году.

Его личная теория заключается в том, что это сыграло определенную роль в обновлениях качества.

Возможно, сегодня рендеринг и компоновка страниц играют более важную роль, чем в прошлом, из-за повышенного интереса к Core Web Vitals.

Можно сказать, что большая часть поискового сообщества более осведомлена о таких вещах, как технические аспекты верстки и рендеринга, чем в прошлом.

Рендеринг влияет на скорость загрузки веб-страницы и, следовательно, на продажи и, в некоторых случаях, на рейтинг.

Помогает ли рендеринг SEO ранжированию?
Бартош начал свое выступление с провокационного вопроса Мартину Сплитту:

«Может ли рендеринг SEO помочь мне лучше ранжироваться?».

Мартин сделал небольшую паузу, чтобы подумать, а затем ответил:

«Обычно я не отвечаю на вопросы о ранжировании. Здесь я сделаю исключение.

Вообще говоря, нет.

Но если говорить конкретно, если есть проблема, когда что-то ломает ваш рендеринг и контент не отображается, то если контент не отображается и Google не видит его должным образом, то это может нанести вам вред в смысле: мы не видим контент.

Поэтому мы можем не проиндексировать страницу или проиндексировать ее, но не ранжировать по содержанию, которое вас интересует.

Так что да, в конечном итоге это может иметь значение, и это может оказать влияние. Да, конечно».

Где рендеринг подходит для перехода от ползания к индексированию
Бартош задал вопрос о том, как рендеринг вписывается в процесс ползания и индексирования.

Он спросил:

«Какое место занимает рендеринг во всем этом сценарии? …Я всегда понимал это так: Google создает очередь, затем просматривает, рендерит и, очевидно, по желанию индексирует страницу. Не будет ли это чрезмерным упрощением?».

Мартин ответил:

«Это небольшое упрощение, но в основе своей оно верно».

Пропускная способность влияет на наползание веб-сайта
Это то, что, возможно, обсуждается недостаточно, а именно способность сервера справляться не только с Google, но и со всеми другими ботами и посетителями сайта, заходящими на сайт.

Google будет корректировать ползание, если покажется, что сервер не справляется с ползанием.

Это называется ограничением пропускной способности сервера (Crawl Capacity Limit). Подробнее: Почему бот GoogleBot не просматривает достаточное количество страниц на некоторых сайтах

Мартин Сплитт обсудил вопрос о пропускной способности и ее влиянии на ползание.

Мартин продолжил:

«Мы получаем множество ваших URL-адресов, и мы получаем так много URL-адресов, что не можем просматривать их все одновременно по очевидным причинам.

Мы не можем просматривать все URL одновременно по причинам пропускной способности. То есть существует только столько пропускной способности интернета, сколько вы можете использовать.

Если у вас есть интернет-магазин, и завтра вы откроете новый веб-сайт интернет-магазина, и у вас будет миллион URL-адресов товаров, ваш сервер может упасть, если мы проверим все эти миллионы URL-адресов одновременно.

Поэтому мы должны распределить это во времени, чтобы между обнаружением URL и его просмотром была очередь».

От ползания к рендерингу
Мартин объясняет следующие шаги на пути к индексированию контента.

Мартин:

«После того, как мы выползли, мы уже можем посмотреть HTML … мы можем посмотреть … HTTP-статус.

Если это HTTP-статус 404, то практически вся обработка на этом заканчивается. Если есть мета-тег robots, который говорит не индексировать, то наша работа на этом тоже заканчивается.

Но если мы получаем кучу HTML-контента и можем продолжить его обработку в остальной части конвейера, мы также ставим страницу в очередь на выполнение JavaScript, что можно назвать «рендерингом».

Вторая очередь очень непрозрачна в том смысле, что вы не видите, сколько времени у нас уходит на рендеринг.

Как и в случае с приемом, есть URL, который мы обнаруживаем, и результатом этого является либо индексированный документ, либо неиндексированный документ.

Это практически то, что может произойти здесь».

Как выглядит очередь индексирования
Далее Мартин представил упрощенную схему того, как выглядят ползание и индексирование.

Мартин сказал:

«Итак, есть дополнительная очередь, которую вы пропустили, и есть еще несколько сложностей, где упрощенная модель может быть неприменима, но вы можете предположить, что поток обычно состоит из обнаружения, ползания, очереди, рендеринга, индексирования и, возможно, последующего ранжирования».

От обнаружения к ранжированию
Мартин Сплитт представил полезный обзор того, как Google переходит от обнаружения веб-страницы к ее ранжированию (потенциально). Мартин, похоже, знает достаточно много о том, как работает Google внутри компании, поэтому всегда интересно, когда он делится тем, что знает.

Вам также могут понравиться Еще от автора

Оставьте ответ

Ваш электронный адрес не будет опубликован.