Почему Google индексирует ограниченные веб-страницы

Джон Мюллер из Google объяснил, почему Google индексирует закрытые страницы, также почему отчеты Search Console, связанные с этим, можно безопасно не учитывать.

Джон Мюллер из Google дал ответ на вопрос о том, почему Google индексирует страницы, которые запрещены для выполнения обхода с помощью файла robots.txt, и по какой причине можно игнорировать соответствующие отчеты Search Console об этих обходах.

Трафик ботов к URL-адресам с параметрами запроса

Человек, задающий вопрос, подтвердил, что боты создают ссылки на несуществующие URL-адреса с параметрами запросов (?q=xyz) на страницы с мета-тегами noindex, которые также блокированы в robots.txt. Вопрос был вызван тем, что Google проходит эти ссылки на страницы, блокируется в robots.txt (не видя мета-тег noindex), а затем докладывает об этом в Google Search Console как "Индексируется, хотя заблокировано robots.txt."

Человек спросил следующий вопрос:

"Но вот главный вопрос: почему Google индексирует страницы, когда он не может увидеть содержимое? В чем тут выгода?"

Джон Мюллер из Google подтвердил, что если они не могут обойти страницу, они не могут увидеть мета-тег noindex. Он также заметил оператор site:search, посоветовав не учитывать результаты, потому что "средние" пользователи не замечают их.

Он написал:

"Да, вы правы: если мы не можем проникнуть на страницу, мы не можем заметить noindex. Тем не менее, если мы не можем рикжаться страницы, для нас там мало что можно индексировать. Так что, хотя вы можете наблюдать некоторые из этих страниц с помощью целевого запроса site:, средний пользователь их не наблюдает, поэтому я бы не беспокоился. Noindex также функционирует (без запрета в robots.txt), это просто означает, что URL-адреса будут сканироваться (и попадут в отчет Search Console как 'обойдены/не индексируются' — ни один из этих статусов не создает проблем для остальной части сайта). Важно, чтобы вы не делали их доступными для обхода и индексации."

Связанный: Google напоминает сайтам использовать файл robots.txt для блокировки URL-адресов действий.

Выводы:

1. Ответ Мюллера подтверждает недостатки использования оператора Site:search для диагностических целей. Одной из причин является то, что он не ассоциирован с обычным поисковым индексом, это совсем отдельная вещь.

Джон Мюллер из Google заметил оператор site search в 2021 году:

"Короткий ответ заключается в том, что запрос site: не предназначен для всестороннего охвата, а также для диагностических целей.

Запрос site: — это определенный вид поиска, который ограничивает результаты конкретным веб-сайтом. Это, по сути, просто слово "site", двоеточие и затем домен веб-сайта.

Этот запрос уменьшает результаты специфическим веб-сайтом. Он не предназначен для того, чтобы быть исчерпывающей сборником всех страниц этого сайта."

Оператор site не отображает индекс поиска Google, что делает его ненадежным для понимания того, какие страницы Google уже проиндексировал или нет. Как и другие операторы подробного поиска Google, они ненадежны как инструменты для выяснения любых вопросов, связанных с тем, как Google оценивает или индексирует контент.

2. Мета-тег noindex без работы robots.txt подходит для таких ситуаций, когда бот составляет ссылки на отсутствующие страницы, которые выявляются Googlebot.

Мета-тег noindex на страницах, которые не запрещаются в robots.txt, дает возможность Google просмотреть страницу и понимать директиву noindex, гарантируя, что страница не появится в поисковом индексе, что предпочтительно, если цель состоит в том, чтобы не разрешить страницу в поисковый индекс Google.

3. URL-адреса с мета-тегом noindex породят в Search Console запись "обойдены/не индексируются", что не окажет негативного эффекта на остальную часть веб-сайта.

Эти записи в Search Console, в контексте страниц, которые специально заблокированы, лишь указывают на то, что Google просмотрел страницу, но не включил в индекс. По сути говоря, что это имело место, а не то, что (в этом специфическом контексте) есть что-то, что нужно поправить. Эта запись полезна для уведомления издателей о страницах, которые по недосмотру заблокированы мета-тегом noindex или по какой-либо другой причине, препятствующей индексации страницы. Тогда это стоит выяснить.