1. Что такое robots.txt?
2. Зачем мне использовать robots.txt?
3. Как мне настроить robots.txt?

Происхождение robots.txt или «протокола исключения роботов» можно проследить до середины 1990-х годов, в первые дни, когда веб-пауки путешествовали по Интернету, чтобы читать сайты. Некоторые веб-мастера стали беспокоиться о том, какие пауки посещают их сайты. Файл, содержащий указания относительно того, какие разделы сайта следует сканировать, и который не должен предлагать владельцам сайтов больше возможностей контролировать, какие сканеры могут просматривать их URL-адреса и сколько ресурсов им разрешено использовать.

С тех пор robots.txt вырос, чтобы удовлетворить потребности современных веб-дизайнеров и владельцев сайтов. Текущие версии команд будут приниматься пауками, которые главные поисковые системы рассылают для сбора информации для соответствующих алгоритмов ранжирования. Таким образом, это общее соглашение между различными поисковыми системами делает robots.txt потенциально ценным, но часто упускаемым из виду инструментом для брендов в их SEO.

Что такое robots.txt?

Robots.txt - это серия команд, которая сообщает веб-роботам, обычно поисковым системам, какие страницы сканировать, а не сканировать. Когда поисковая система попадает на сайт, она ищет инструкции в файле robots.txt.

Может показаться нелогичным, что сайт хочет дать указание поисковой системе не сканировать свои страницы, но он также может дать веб-мастерам мощный контроль над бюджетом сканирования, о котором мы расскажем подробнее ниже.

При записи файла robots.txt вы будете использовать простые двухстрочные команды. В первой строке указано «пользователь-агент». В этой части команды указывается, к кому применяются инструкции, а звездочка « * », обычно называемая подстановочным знаком , будет означать, что команда применяется ко всем веб-роботам.

Под «пользовательским агентом» он скажет «запретить». Это говорит роботам, что они не могут сделать. Если есть « \ », это означает, что пауки не должны ничего сканировать на сайте. Если эта часть остается пустой, то пауки могут сканировать весь сайт.

Зачем мне использовать robots.txt?

Понимание того, как Google сканирует веб-сайты, поможет вам увидеть ценность использования robots.txt.

У Google есть бюджет на сканирование. Это описывает количество времени, которое они посвятят сканированию определенного сайта. Google рассчитывает этот бюджет на основе ограничения скорости сканирования и спроса на сканирование. Если Google обнаружит, что их сканирование сайта замедляет этот URL-адрес и, таким образом, ухудшает работу пользователей для любых обычных браузеров, они замедляют скорость сканирования. Это означает, что если вы добавите новый контент на свой сайт, Google не увидит его так быстро, что может повредить вашему SEO.

Вторая часть расчета бюджета, спрос, диктует, что URL-адреса с большей популярностью будут получать больше посещений от пауков Google.

Другими словами, как Google заявил «Вы не хотите, чтобы ваш сервер был перегружен сканером Google или тратить впустую бюджет на сканирование неважных или похожих страниц на вашем сайте». Robots.txt позволит вам лучше контролировать, куда и когда попадают сканеры поисковой системы, помогая вам чтобы избежать этой проблемы.

Помимо того, что robots.txt помогает направлять сканеры поисковых систем с менее важных или повторяющихся страниц вашего сайта, он также может служить другим важным целям:

• Это может помочь предотвратить появление дублированного контента. Иногда вашему веб-сайту может понадобиться более одной копии контента. Например, если вы создаете версию содержимого для печати, у вас может быть две разные версии. У Google есть хорошо известное наказание за дублирование контента. Это позволит вам избежать этого.
• Если вы переделываете части своего веб-сайта, вы можете использовать robots.txt, чтобы скрыть незаконченные страницы от индексации до их подготовки.
• У вас также, вероятно, есть страницы на вашем сайте, которые вы не хотите показывать широкой публике. Например, это может быть страница с благодарностью после того, как кто-то совершил покупку или отправил страницу входа. Эти страницы не должны появляться в поисковой системе, поэтому Google или другие поисковые системы не смогут их проиндексировать.

Согласно Google, вот некоторые из наиболее распространенных наборов правил robots.txt:

Важно отметить, что, отмечая различные полезные функции файла robots.txt, вы не пытаетесь использовать команду для сохранения конфиденциальной информации. Думайте о robots.txt как о запросе, но не как о команде. Хотя «хорошие» пауки, управляемые авторитетными организациями, такими как Google или Bing, будут прослушивать заказы robots.txt, для сканеров, созданных теми, у кого более гнусные намерения, остается вполне вероятным игнорировать robots.txt и сканировать страницу независимо от указанного кода.

Страницы также могут индексироваться другими способами. Например, если другой сайт или другая страница на вашем сайте ссылается на эту страницу, ваша скрытая страница может оказаться проиндексированной.

При планировании инфраструктуры вашего сайта важно различать ваши личные страницы. Являются ли эти страницы конфиденциальными и не подлежащими открытию исключительно по причинам SEO , или содержание контента на этих страницах недоступно для сканеров - проблема безопасности - например, раскрытие конфиденциальных данных клиентов? Ценность файла robots.txt заключается в стратегии SEO, а не в сохранении конфиденциальности конфиденциальной информации.

Как мне настроить robots.txt?

Настройка вашего robots.txt может быть простой, но сначала давайте рассмотрим, что означают две части команды:

• User-agent : относится к сканерам, к которым относится текст
• Disallow : указывает, что вы хотите заблокировать, что сканер не должен читать

В дополнение к этим двум основным частям вы также можете использовать третью часть, помеченную «разрешить», если вам это нужно. Этот раздел будет использоваться, если у вас есть подкаталог, который находится в заблокированном каталоге. Например, если вы хотите заблокировать большую часть каталога, но у вас есть один маленький подкаталог, самый быстрый способ настроить это - сказать:

user-agent: * (помните, что звездочка указывает, что команда применяется ко всем паукам)

disallow: / каталог

разрешить: / subdirectory1

Это скажет сканерам взглянуть на этот единственный подкаталог, даже если он находится в большем, заблокированном каталоге.

Если вы хотите, чтобы сканеры просматривали весь сайт, оставьте пустую часть 'disallow'.

Если вы хотите настроить robots.txt для блокировки определенных страниц, таких как страница входа или страница благодарности, то в части «запретить» файла robots.txt вы поместите часть своего URL, которая идет после '.com'.

Размышляя о страницах, которые вы, возможно, захотите заблокировать, рассмотрите эти типы контента и посмотрите, есть ли у вас какие-либо на вашем сайте.

• Страницы входа
• Страницы с благодарностью за то, что кто-то что-то скачал или купил
• Необходим дублированный контент, например, PDF или версия для печати на веб-странице
• Новые страницы, которые вы начали разрабатывать, но пока не хотите, чтобы поисковые системы их проиндексировали.

Хотя robots.txt выглядит просто, есть несколько правил, которые необходимо соблюдать, чтобы гарантировать правильную интерпретацию кода.

• • Используйте все строчные буквы для имени файла, «robots.txt»
  • Команды должны находиться в каталоге верхнего уровня веб-сервера.
  • Вы можете иметь только один «запрет» для каждого URL на сайте
  • Для поддоменов, имеющих общий корневой домен, нужны разные файлы robots.txt

После настройки файла robots.txt вы должны протестировать свой сайт с помощью своей учетной записи Google Webmasters. Под меню будет опция «Сканирование». Нажав на это, вы откроете выпадающее меню, которое будет включать в себя опцию robots.txt Tester.

Если Google говорит, что текст разрешен, это означает, что ваш текст написан правильно.

Robots.txt может быть полезным инструментом в руках оптимизаторов, которые понимают ценность контроля того, как и когда пауки сканируют свои сайты. Подумайте, как это может принести пользу вашему сайту, и сделайте следующий шаг в SEO.

Похожие

Комментарии