1. Что такое файл Robots.txt?
2. Другие примеры из реальной жизни Robots.txt ушли неправильно
3. Robots.txt Что нужно и что нельзя делать
4. Хотите быть в курсе последних тенденций поиска?
5. Хотите быть в курсе последних тенденций поиска?

Когда дело доходит до SEO Большинство людей понимают, что веб-сайт должен иметь контент: « поисковый движок дружественная »архитектура сайта / HTML и метаданные ( теги заголовка а также мета описания ).

Еще один метаэлемент, если он реализован неправильно, который также может сбить с толку сайты robots.txt , Мне недавно напомнили об этом при просмотре веб-сайта крупной компании, которая потратила немалые деньги на создание мобильной версии своего веб-сайта в подкаталоге. Это нормально, но наличие в своем файле robots.txt заявления о запрете означало, что веб-сайт был недоступен для поисковые системы (Disallow: / мобильный /)

Давайте рассмотрим, как правильно реализовать robots.txt, чтобы избежать проблем с поисковым рейтингом и нанести ущерб вашему бизнесу, а также как правильно запретить сканирование поисковых систем.

Что такое файл Robots.txt?

Проще говоря, если вы зайдете на domain.com/robots.txt, вы должны увидеть список каталогов сайта, который владелец сайта просит, чтобы поисковые системы «пропустили» (или «запретили»). Однако, если вы не будете осторожны при редактировании файла robots.txt, вы можете поместить в файл robots.txt информацию, которая действительно может повредить вашему бизнесу.

Тонны информации о файле robots.txt доступны на Страницы веб-роботов включая правильное использование запретить функцию и блокирование «плохих ботов» от индексации вашего сайта.

Общее правило - убедиться, что файл robots.txt существует в корне вашего домена (например, domain.com/robots.txt). Чтобы исключить всех роботов из индексации части вашего сайта, ваш файл robots.txt будет выглядеть примерно так:

Агент пользователя:
* Disallow: / cgi-bin /
Disallow: / tmp /
Disallow: / мусор /

Приведенный выше синтаксис говорит всем роботам не индексировать каталоги / cgi-bin /, / tmp / и / junk / на вашем веб-сайте.

Другие примеры из реальной жизни Robots.txt ушли неправильно

В прошлом я просматривал веб-сайт с хорошим содержанием и несколькими качественными обратные ссылки , Тем не менее, веб-сайт практически не присутствовал на страницах результатов поиска (SERP).

Что случилось? неустойка ? Ну нет. Владелец сайта включил запрещение «/». Они говорили роботам поисковых систем не сканировать какую-либо часть сайта.

В другом случае SEO компания отредактировал файл robots.txt, чтобы запретить индексацию всех частей сайта после того, как владелец сайта перестал платить SEO компания ,

Я также помню, как просматривал веб-сайт компании и заметил, что несколько каталогов, которые были частью их прежнего сайта, были запрещены в их файле robots.txt. Компания должна была создать 301 постоянное перенаправление передать значение со старых веб-страниц сайта новым страницам вместо того, чтобы запретить поисковым системам индексировать любые старые страницы. Таким образом, вся ценность была потеряна.

Robots.txt Что нужно и что нельзя делать

Есть много веских причин, чтобы помешать поисковым системам индексировать определенные каталоги на веб-сайте и разрешать другим для целей SEO. Давайте посмотрим на некоторые примеры.

Вот что вы должны сделать с robots.txt:

• Взгляните на все каталоги на вашем сайте. Скорее всего, есть каталоги, которые вы бы хотели запретить поисковым системам индексировать, включая каталоги, такие как / cgi-bin /, / wp-admin /, / cart /, / scripts / и другие, которые могут содержать конфиденциальные данные.
• Запретить поисковым системам индексировать определенные каталоги вашего сайта, которые могут включать дублированный контент , Например, некоторые веб-сайты имеют «печатные версии» веб-страниц и статей, которые позволяют посетителям легко их печатать. Вы должны разрешить поисковым системам индексировать только одну версию вашего контента.
• Убедитесь, что ничто не мешает поисковым системам проиндексировать основное содержание вашего сайта.
• Найдите на своем сайте определенные файлы, которые вы можете запретить индексировать поисковым системам, такие как определенные сценарии или файлы, которые могут содержать адреса электронной почты, номера телефонов или другие конфиденциальные данные.

Вот что вы не должны делать с robots.txt:

• Не используйте комментарии в вашем файл robots.txt ,
• Не перечисляйте все свои файлы в файле robots.txt. Список файлов позволяет людям находить файлы, которые вы не хотите, чтобы они находили.
• В файле robots.txt нет команды «/ allow», поэтому нет необходимости добавлять ее в файл robots.txt.

Внимательно изучив файл robots.txt на вашем сайте и убедившись, что синтаксис настроен правильно, вы избежите проблем с ранжированием в поисковых системах. Запретив поисковым системам индексировать дублирующийся контент на вашем веб-сайте, вы потенциально можете преодолеть проблемы с дублирующимся контентом, которые могут повлиять на рейтинг вашей поисковой системы.

И последнее замечание: если вы не уверены, что можете сделать это правильно, обратитесь к специалисту по SEO.

Хотите быть в курсе последних тенденций поиска?

Получить лучшие идеи и новости от наших экспертов по поиску.

Хотите быть в курсе последних тенденций поиска?

Получить лучшие идеи и новости от наших экспертов по поиску.

Похожие

Комментарии