1. Сканирование и индексация вкратце Возьмите под свой контроль процесс сканирования и индексации своего...
2. Как работает индексирование?
3. Как взять под контроль сканирование и индексирование
4. Методы контроля сканирования и индексации
5. Конечная таблица на сканирование и индексирование
6. Директивы роботов
7. Канонические URL
8. Атрибут Hreflang
9. Атрибуты пагинации
10. Мобильный атрибут
11. Конечная таблица на сканирование и индексирование
12. Получить в качестве поисковых систем: поставить себя на их место
13. Другие ситуации, в которых Fetch as Googlebot пригодится
14. Часто задаваемые вопросы о сканировании и индексации
15. 2. Могу ли я замедлить сканеры, когда они сканируют мой сайт?
16. 3. Как запретить поисковым системам сканировать веб-сайт или страницу?
17. 4. Что означает индексация сайта?
18. 5. Является ли мой сайт индексируемым для поисковых систем?
19. 6. Как часто Google индексирует мой сайт?
20. 7. Сколько времени понадобится Google, чтобы проиндексировать мой новый сайт?
21. 8. Как запретить поисковым системам индексировать сайт или страницу?

Сканирование и индексация вкратце

Возьмите под свой контроль процесс сканирования и индексации своего сайта, сообщив свои предпочтения поисковым системам.

Это помогает им понять, на каких частях вашего веб-сайта следует сосредоточиться, а какие - игнорировать. Есть много способов сделать это, поэтому когда использовать какой метод?

В этой статье мы обсудим, когда использовать каждый из этих методов, а также рассмотрим плюсы и минусы.

Поисковые системы сканируют миллиарды страниц каждый день. Но они индексируют меньше страниц, чем это, и они показывают еще меньше страниц в своих результатах. Вы хотите, чтобы ваши страницы были среди них. Итак, как вы контролируете весь этот процесс и повышаете свой рейтинг?

Чтобы ответить на этот вопрос, сначала нам нужно посмотреть, как работает процесс сканирования и индексации. Затем мы обсудим все методы, которые вы можете использовать для управления этим процессом.

Как работает сканирование?

Сканерам поисковых систем поручено находить и сканировать как можно больше URL-адресов. Они делают это, чтобы увидеть, есть ли новый контент там. Эти URL могут быть как новыми, так и теми, о которых они уже знали. Новые URL-адреса обнаруживаются при сканировании уже известных им страниц. После сканирования они передают свои результаты индексатору. Страницы, которые поисковые системы могут сканировать, часто называют сканируемыми .

Как работает индексирование?

Индексаторы получают содержимое URL-адресов от сканеров. Затем индексаторы пытаются разобраться в этом контенте, анализируя его (включая ссылки, если таковые имеются). Индексатор обрабатывает канонизированные URL-адреса и определяет полномочия каждого URL-адреса. Индексатор также определяет, должны ли они индексировать страницу. Страницы, которые поисковые системы могут индексировать, часто называют индексируемыми .

Индексаторы также отображают веб-страницы и выполняют JavaScript. Если это приводит к обнаружению каких-либо ссылок, они возвращаются сканеру.

Как взять под контроль сканирование и индексирование

Возьмите под контроль процесс сканирования и индексации, сделав ваши настройки понятными для поисковых систем. Этим вы поможете им понять, какие разделы вашего сайта наиболее важны для вас.

В этой главе мы рассмотрим все методы и которые использовать когда. Мы также составили таблицу, чтобы проиллюстрировать, что они могут и не могут сделать.

Сначала давайте объясним некоторые понятия:

• Crawlable: могут ли поисковые системы сканировать URL?
• Индексируемый: поощряются ли поисковые системы индексировать URL?
• Предотвращает дублирование контента: предотвращает ли этот метод проблемы с дублированием контента ?
• Консолидация сигналов: поощряются ли поисковые системы к актуализации актуальности и Сигналы авторизации URL , как определено содержанием URL и ссылками?

Кроме того, важно понимать, что бюджет обхода является. Бюджет сканирования - это количество времени, которое сканеры поисковых систем проводят на вашем сайте. Вы хотите, чтобы они проводили это с умом, и вы можете дать им инструкции для этого.

Методы контроля сканирования и индексации

Robots.txt

файл robots.txt это центральное место, которое предоставляет основные правила для сканеров. Мы называем эти основные правила директивами . Если вы не хотите, чтобы сканеры сканировали определенные URL, ваш robots.txt - лучший способ сделать это.

Если сканерам не разрешено сканировать URL-адрес и запрашивать его содержимое, индексатор никогда не сможет анализировать его содержимое и ссылки. Это может предотвратить дублирование контента, а также означает, что рассматриваемый URL никогда не сможет ранжироваться. Кроме того, поисковые системы не смогут объединить актуальные сигналы релевантности и авторитета, когда они не знают, что находится на странице. Поэтому эти сигналы будут потеряны.

Конечная таблица на сканирование и индексирование

Часто ломая голову, какой метод использовать при управлении поисковыми системами? Сэкономьте время и выберите правильные методы!

Пример использования robots.txt
Раздел администратора сайта является хорошим примером того, где вы хотите применить файл robots.txt, чтобы сканеры не имели к нему доступа. Допустим, раздел администратора находится по адресу: https://www.example.com/admin/.

Запретить сканерам доступ к этому разделу с помощью следующей директивы в вашем файле robots.txt:

Disallow / admin

Не можете изменить файл robots.txt? Затем примените директива роботов noindex в раздел / admin.

Важные заметки
Обратите внимание, что URL-адреса, которые запрещены для сканирования поисковыми системами, могут по-прежнему появляться в результатах поиска. Это происходит, когда URL-адреса связаны с другими страницами или уже были известны поисковым системам до того, как они стали недоступными через robots.txt. Поисковые системы будут отображать фрагмент так:

Robots.txt не может решить существующие проблемы с дублированным содержимым. Поисковые системы не забудут URL просто потому, что не могут получить к нему доступ.

Добавление канонического URL-адреса или атрибута noindex мета-роботов к URL-адресу, заблокированному через robots.txt, не приведет к его деиндексации. Поисковые системы никогда не узнают о вашем запросе на деиндексирование, потому что ваш файл robots.txt не позволяет им это узнать.

Файл robots.txt является важным инструментом оптимизации бюджета сканирования на вашем веб-сайте. Используя файл robots.txt, вы можете запретить поисковым системам сканировать те части вашего сайта, которые для них не важны.

Что будет делать файл robots.txt:

• Не позволяйте поисковым системам сканировать определенные части вашего веб-сайта, тем самым сохраняя бюджет сканирования.
• Не позволяйте поисковым системам индексировать определенные части вашего сайта, если на них нет ссылок.
• Предотвратить новые проблемы с дублированием контента.

Что файл robots.txt не будет делать:

• Консолидация релевантности и авторитетности сигналов.
• Удалить контент, который уже проиндексирован *.

* Хотя Google поддерживает директива noindex и удалит URL из своего индекса, не рекомендуется использовать этот метод, поскольку это неофициальный стандарт. Это поддерживается только Google и не 100% доказательство дурака. Используйте только тогда, когда вы не можете использовать директивы роботов а также канонические URL ,

Хотите узнать больше о robots.txt?
Проверьте окончательный robots.txt справочное руководство ,

Директивы роботов

Директивы роботов инструктируют поисковые системы о том, как индексировать страницы, сохраняя при этом доступность страницы для посетителей. Часто он используется, чтобы дать указание поисковым системам не индексировать определенные страницы. Когда дело доходит до индексации, это более сильный сигнал, чем канонический URL.

Реализация директив robots обычно выполняется путем включения их в исходный код с использованием мета-тега robots. Для других документов, таких как PDF или изображения, это делается через HTTP-заголовок X-Robots-Tag.

Пример использования директив роботов
Скажем, у вас есть десять целевых страниц для трафика Google AdWords. Вы скопировали контент с других страниц, а затем немного изменили его. Вы не хотите, чтобы эти целевые страницы были проиндексированы, потому что это может вызвать проблемы с дублированием контента, поэтому вы включаете директиву robots с атрибутом noindex.

Важные заметки
Директивы robots помогают предотвратить дублирование контента, но не приписывают актуальность и полномочия другому URL. Это просто потеряно.

Помимо указания поисковым системам не индексировать страницу, директивы роботов также не позволяют поисковым системам сканировать страницу. Из-за этого сохраняется некоторый бюджет обхода.

В отличие от его имени, атрибут nofollow директив robots не будет влиять на сканирование страницы, имеющей атрибут nofollow. Однако, когда установлен атрибут nofollow директив robots, поисковые роботы не будут использовать ссылки на этой странице для сканирования других страниц и впоследствии не будут передавать полномочия этим другим страницам.

Что будут делать директивы роботов:

• Не позволяйте поисковым системам индексировать определенные части вашего сайта.
• Предотвращение дублирования проблем с контентом.

Что директивы роботов не будут делать:

• Не позволяйте поисковым системам сканировать определенные части вашего веб-сайта, сохраняя бюджет сканирования.
• Консолидировать большую часть релевантных и авторитетных сигналов.

Хотите узнать больше о директивах роботов?
Проверьте окончательное руководство по мета теги роботов ,

Канонические URL

Канонический URL сообщает каноническую версию страницы поисковым системам, поощряя поисковые системы индексировать каноническую версию. Канонический URL может ссылаться на себя или на другие страницы. Если для посетителей полезно иметь доступ к нескольким версиям страницы, и вы хотите, чтобы поисковые системы рассматривали их как одну версию, канонический URL - это путь. Когда одна страница ссылается на другую страницу с использованием канонического URL-адреса, большая часть ее актуальности и авторитета связана с целевым URL-адресом.

Пример использования канонического URL
Скажем, у вас есть сайт электронной коммерции с продуктом в трех категориях. Продукт доступен через три разных URL. Это хорошо для посетителей, но поисковые системы должны сосредоточиться только на сканировании и индексации одного URL. Выберите одну из категорий в качестве основной и канонизируйте две другие категории.

Важные заметки
Убедитесь, что 301 перенаправляет URL-адреса, которые больше не служат цели для посетителей, в каноническую версию. Это позволяет вам приписать всю их актуальную актуальность и авторитет канонической версии. Это также помогает заставить другие веб-сайты ссылаться на каноническую версию.

Канонический URL - это скорее директива, а не директива. Поисковые системы могут игнорировать это.

Применение канонического URL-адреса не сохранит бюджет сканирования, поскольку это не мешает поисковым системам сканировать страницы. Это предотвращает их возвращение для поисковых запросов, поскольку они объединены в каноническую версию URL.

Что будет делать канонический URL:

• Не позволяйте поисковым системам индексировать определенные части вашего сайта.
• Предотвращение дублирования проблем с контентом.
• Консолидировать большую часть релевантных и авторитетных сигналов.

Что канонический URL не будет делать:

• Не позволяйте поисковым системам сканировать определенные части вашего веб-сайта, тем самым сохраняя бюджет сканирования.

Хотите узнать больше о канонических URL?
Проверьте окончательный канонический справочник URL ,

Атрибут Hreflang

Атрибут ссылки rel = «alternate» hreflang = «x», или атрибут hreflang для краткости, используется для связи с поисковыми системами, на каком языке ваш контент и для какого географического региона он предназначен. Если вы используете один и тот же контент или похожий контент для таргетинга на несколько регионов, hreflang - это то, что вам нужно. Это позволяет вам ранжировать ваши страницы на ваших рынках.

Это помогает предотвратить дублирование контента, поэтому наличие двух страниц с одинаковым содержанием для Соединенного Королевства и Соединенных Штатов - это хорошо, когда вы внедрили hreflang. Помимо дублированного контента, самое главное - убедиться, что ваш контент рифмуется с аудиторией. Убедитесь, что ваша аудитория чувствует себя как дома, поэтому рекомендуется иметь (несколько) различный текст и визуальные эффекты для Соединенного Королевства и Соединенных Штатов.

Пример использования hreflang
Вы ориентируетесь на несколько англоязычных рынков, используя субдомены для каждого рынка. Каждый поддомен содержит английский контент, локализованный для своего рынка:

• www.example.com для рынка США
• ca.example.com для канадского рынка
• uk.example.com для рынка Великобритании
• au.example.com для австралийского рынка

На каждом рынке вы хотите получить рейтинг с нужной страницей. Вот где приходит hreflang.

Что будет делать атрибут hreflang:

• Помогите поисковым системам оценить правильный контент на правильном рынке.
• Предотвращение дублирования проблем с контентом.

Что не сделает атрибут hreflang:

• Не позволяйте поисковым системам сканировать определенные части вашего веб-сайта, тем самым сохраняя бюджет сканирования.
• Не позволяйте поисковым системам индексировать определенные части вашего сайта.
• Консолидация релевантности и авторитетности сигналов.

Хотите узнать больше о hreflang?
Проверьте окончательный справочное руководство hreflang ,

Атрибуты пагинации

Атрибуты ссылок rel = «prev» и rel = «next», для краткости атрибуты пагинации , используются для передачи отношений между сериями страниц поисковым системам. Для ряда похожих страниц, таких как страницы архива блогов с разбивкой по страницам или страницы категорий продуктов с разбивкой по страницам, настоятельно рекомендуется использовать атрибуты разбивки на страницы. Поисковые системы поймут, что страницы очень похожи, что устранит проблемы с дублированием контента.

В большинстве случаев поисковые системы не будут ранжировать другие страницы, кроме первой в разбивке на страницы.

Что будут делать атрибуты пагинации:

• Предотвращение дублирования проблем с контентом.
• Консолидация релевантности и авторитетных сигналов.

Что атрибуты пагинации не будут делать:

• Не позволяйте поисковым системам сканировать определенные части вашего веб-сайта, тем самым сохраняя бюджет сканирования.
• Не позволяйте поисковым системам индексировать определенные части вашего сайта.

Хотите узнать больше об атрибутах нумерации страниц?
Проверьте окончательный справочник по нумерации страниц ,

Мобильный атрибут

Мобильный атрибут rel = «alternate» или, если коротко, мобильный атрибут , сообщает поисковым системам связь между настольной версией веб-сайта и мобильной версией. Это помогает поисковым системам показывать правильный веб-сайт для правильного устройства и предотвращает проблемы с дублирующимся контентом в процессе.

Что будет делать мобильный атрибут:

• Предотвращение дублирования проблем с контентом.
• Консолидация релевантности и авторитетных сигналов.

Что мобильный атрибут не будет делать:

• Не позволяйте поисковым системам сканировать определенные части вашего веб-сайта, тем самым сохраняя бюджет сканирования.
• Не позволяйте поисковым системам индексировать определенные части вашего сайта.

Хотите узнать больше о мобильном атрибуте?
Проверьте окончательный справочник по мобильным атрибутам ,

Если вы не можете вносить (быстро) изменения в свой веб-сайт, вы можете настроить обработку параметров в Google Search Console и Bing Webmaster Tools. Обработка параметров определяет, как поисковые системы должны обращаться с URL-адресами, содержащими параметр. Используя это, вы можете запретить Google и Bing сканировать и / или индексировать определенные URL-адреса.

Чтобы настроить обработку параметров, вам нужны URL, которые можно идентифицировать по шаблону. Обработка параметров должна использоваться только в определенных ситуациях, например, для сортировки, фильтрации, перевода и сохранения данных сеанса.

Важная заметка
Имейте в виду, что настройка этого для Google и Bing не повлияет на то, как другие поисковые системы сканируют ваш сайт.

Что будет делать обработка параметров:

• Не позволяйте поисковым системам сканировать определенные части вашего веб-сайта, тем самым сохраняя бюджет сканирования.
• Не позволяйте поисковым системам индексировать определенные части вашего сайта.
• Предотвращение дублирования проблем с контентом.
• Консолидация релевантности и авторитетных сигналов.

Что обработка параметров не будет делать:

• Позволяет настроить сканирование и индексацию для отдельных URL-адресов.

HTTP-аутентификация требует, чтобы пользователи или машины входили в систему, чтобы получить доступ к (разделу) веб-сайта. Вот пример того, как это выглядит:

Без имени пользователя и пароля вы (или робот) не сможете пройти через экран входа в систему и не сможете получить доступ к чему-либо. HTTP-аутентификация - это отличный способ уберечь нежелательных посетителей - как людей, так и сканеры поисковых систем - от, например, тестовой среды. Google рекомендует использование HTTP-аутентификации для предотвращения доступа сканеров поисковых систем к тестовым средам:

Если у вас есть конфиденциальный или личный контент, который вы не хотите показывать в результатах поиска Google, самый простой и эффективный способ заблокировать появление частных URL-адресов - это сохранить их в защищенном паролем каталоге на сервере вашего сайта. Робот Google и другие веб-сканеры не могут получить доступ к содержимому в защищенных паролем каталогах.

Что будет делать аутентификация HTTP:

• Не позволяйте поисковым системам сканировать определенные части вашего веб-сайта, тем самым сохраняя бюджет сканирования.
• Не позволяйте поисковым системам индексировать определенные части вашего сайта.
• Предотвращение дублирования проблем с контентом.

Что HTTP-аутентификация не будет делать:

• Консолидация релевантности и авторитетных сигналов.

Конечная таблица на сканирование и индексирование

Быстро выберите правильный метод для решения проблем сканирования и индексации!

Получить в качестве поисковых систем: поставить себя на их место

Итак, как поисковые роботы видят ваши страницы и как они отображаются? Поставьте себя на их место, используя инструменты «Fetch and Render».

Функция Google «Получить как Googlebot» наиболее известна. Находится в консоли поиска Google и позволяет вам заполнить URL на вашем сайте, а затем Google покажет вам, что их сканеры видят по этому URL, и как они отображают URL. Вы можете сделать это как для настольных компьютеров, так и для мобильных устройств. Посмотрите ниже, как это выглядит:

Он отлично подходит для двойной проверки того, отвечают ли URL-адреса, как ожидается, но также для принудительной индексации URL-адреса («Индексация запросов»). В течение нескольких секунд вы можете сканировать и индексировать URL. Это не означает, что его содержимое немедленно обрабатывается и рейтинги корректируются, но это позволяет ускорить процесс сканирования и индексации.

Другие ситуации, в которых Fetch as Googlebot пригодится

Выбор Googlebot не только полезен для ускорения процесса сканирования и индексации отдельного URL, но и позволяет:

1. Ускорьте открытие новых разделов на вашем сайте
   Извлеките URL-адрес, с которого связаны новые разделы, и выберите «Запросить индекс» с параметром «Сканировать этот URL-адрес и его прямые ссылки».
2. Аудит мобильных пользователей на вашем сайте:
   Получить URL-адрес как «Мобильный телефон: смартфон».
3. Проверьте, правильно ли работают 301-перенаправления.
   Введите URL и проверьте ответ заголовка.

Заметки:

• Ситуация 3 может быть легче реализована, навалом внутри ContentKing.
• Google позволяет отправлять 500 URL-адресов в месяц для индексации.
• Google позволяет отправлять только 10 URL-адресов в месяц для индексации, при этом все URL-адреса, связанные с этим URL-адресом, также сканируются.
• Bing имеет аналогичный инструмент, который называется Получить как Bingbot ».

Часто задаваемые вопросы о сканировании и индексации

1. Как часто Google сканирует мой сайт?
2. Могу ли я замедлить сканеры, когда они сканируют мой сайт?
3. Как запретить поисковым системам сканировать веб-сайт или страницу?
4. Что означает индексация сайта?
5. Является ли мой сайт индексируемым для поисковых систем?
6. Как часто Google индексирует мой сайт?
7. Сколько времени понадобится Google, чтобы проиндексировать мой новый веб-сайт?
8. Как запретить поисковым системам индексировать сайт или страницу?

1. Как часто Google сканирует мой сайт?

Консоль поиска Google делится с вами своими правилами сканирования. Чтобы проверить это:

1. Войдите в консоль поиска Google и выберите веб-сайт.
2. Перейдите в раздел «Сканирование»> «Статистика сканирования» и там вы узнаете, как часто Google сканирует ваш сайт.

Если вы достаточно разбираетесь в технологиях, вы можете узнать, как часто Google сканирует ваш сайт, анализируя файлы журналов вашего сайта.

Стоит отметить, что Google определяет, как часто они должны сканировать ваш сайт, используя бюджет обхода для вашего сайта.

2. Могу ли я замедлить сканеры, когда они сканируют мой сайт?

Да, вы можете сделать это с помощью ползать задержки директива robots.txt. Google не будет слушать это все же. Если вы хотите, чтобы робот Googlebot сканировал медленнее, чем нужно настроить в консоли поиска Google. Независимо от метода не рекомендуется ограничивать сканеры Google и Bing. Их сканеры достаточно умны, чтобы знать, когда у вашего веб-сайта трудные времена, и они проверят позже в этом случае.

3. Как запретить поисковым системам сканировать веб-сайт или страницу?

Есть несколько способов запретить поисковым системам сканировать части вашего сайта или только определенные страницы:

• Robots.txt: может использоваться для предотвращения сканирования всего сайта, разделов и отдельных страниц.
• Обработка параметров: может использоваться для предотвращения сканирования URL-адресов, содержащих определенный параметр.
• HTTP-аутентификация: может использоваться для предотвращения сканирования всего сайта, разделов и отдельных страниц.

4. Что означает индексация сайта?

Это означает, что действия выполняются поисковой системой, чтобы понять веб-сайт и сделать его доступным через свою поисковую систему.

5. Является ли мой сайт индексируемым для поисковых систем?

Лучший способ ответить на это создать учетную запись с ContentKing оценить, насколько индексируем ваш сайт для поисковых систем. Как вы уже могли прочитать выше, есть много способов повлиять на то, как поисковые системы индексируют ваш сайт.

6. Как часто Google индексирует мой сайт?

Как часто Google сканирует ваш сайт. Его сканеры передают все, что они нашли, индексатору, который занимается индексацией сайтов.

7. Сколько времени понадобится Google, чтобы проиндексировать мой новый сайт?

На этот вопрос нет однозначного ответа, так как это зависит от продвижения нового сайта. Его продвижение ускоряет процесс сканирования и индексации. Если вы делаете это хорошо, небольшой сайт может быть проиндексирован за час. Кроме того, могут также потребоваться месяцы для индексации совершенно нового веб-сайта.

Обратите внимание, что индексирование вашего сайта поисковыми системами не означает, что ваши страницы начнут занимать высокие позиции сразу. Достижение высоких рейтингов занимает намного больше времени.

8. Как запретить поисковым системам индексировать сайт или страницу?

Поисковые системы могут быть защищены от индексации веб-сайта или страницы следующими способами:

• Meta Robots noindex tag: очень сильный сигнал для поисковых систем не индексировать страницу. Он не передает сигналы релевантности или авторитета другим страницам.
• Канонический URL: умеренно сильный сигнал для поисковых систем о том, какую страницу индексировать, а также приписывать релевантные и авторитетные сигналы.
• HTTP-аутентификация: только предотвратит сканирование и индексацию новых страниц с точки зрения SEO. Но все же в общем случае рекомендуется использовать проверку подлинности HTTP в тестовых средах, чтобы исключить нежелательные поисковые системы и пользователей.
• Robots.txt: можно использовать только для предотвращения сканирования и индексации новых страниц.
• Обработка параметров: может использоваться для предотвращения сканирования и индексации URL-адресов, содержащих определенный параметр.

Похожие

Комментарии