Новости

Значение Robots.txt: вывод вашего SEO на новый уровень

  1. Что такое robots.txt?
  2. Зачем мне использовать robots.txt?
  3. Как мне настроить robots.txt?

Происхождение robots.txt или «протокола исключения роботов» можно проследить до середины 1990-х годов, в первые дни, когда веб-пауки путешествовали по Интернету, чтобы читать сайты. Некоторые веб-мастера стали беспокоиться о том, какие пауки посещают их сайты. Файл, содержащий указания относительно того, какие разделы сайта следует сканировать, и который не должен предлагать владельцам сайтов больше возможностей контролировать, какие сканеры могут просматривать их URL-адреса и сколько ресурсов им разрешено использовать.

С тех пор robots.txt вырос, чтобы удовлетворить потребности современных веб-дизайнеров и владельцев сайтов. Текущие версии команд будут приниматься пауками, которые главные поисковые системы рассылают для сбора информации для соответствующих алгоритмов ранжирования. Таким образом, это общее соглашение между различными поисковыми системами делает robots.txt потенциально ценным, но часто упускаемым из виду инструментом для брендов в их SEO.

Что такое robots.txt?

Robots.txt - это серия команд, которая сообщает веб-роботам, обычно поисковым системам, какие страницы сканировать, а не сканировать. Когда поисковая система попадает на сайт, она ищет инструкции в файле robots.txt.

Может показаться нелогичным, что сайт хочет дать указание поисковой системе не сканировать свои страницы, но он также может дать веб-мастерам мощный контроль над бюджетом сканирования, о котором мы расскажем подробнее ниже.

При записи файла robots.txt вы будете использовать простые двухстрочные команды. В первой строке указано «пользователь-агент». В этой части команды указывается, к кому применяются инструкции, а звездочка « * », обычно называемая подстановочным знаком , будет означать, что команда применяется ко всем веб-роботам.

Под «пользовательским агентом» он скажет «запретить». Это говорит роботам, что они не могут сделать. Если есть « \ », это означает, что пауки не должны ничего сканировать на сайте. Если эта часть остается пустой, то пауки могут сканировать весь сайт.

Зачем мне использовать robots.txt?

Понимание того, как Google сканирует веб-сайты, поможет вам увидеть ценность использования robots.txt.

У Google есть бюджет на сканирование. Это описывает количество времени, которое они посвятят сканированию определенного сайта. Google рассчитывает этот бюджет на основе ограничения скорости сканирования и спроса на сканирование. Если Google обнаружит, что их сканирование сайта замедляет этот URL-адрес и, таким образом, ухудшает работу пользователей для любых обычных браузеров, они замедляют скорость сканирования. Это означает, что если вы добавите новый контент на свой сайт, Google не увидит его так быстро, что может повредить вашему SEO.

Вторая часть расчета бюджета, спрос, диктует, что URL-адреса с большей популярностью будут получать больше посещений от пауков Google.

Другими словами, как Google заявил «Вы не хотите, чтобы ваш сервер был перегружен сканером Google или тратить впустую бюджет на сканирование неважных или похожих страниц на вашем сайте». Robots.txt позволит вам лучше контролировать, куда и когда попадают сканеры поисковой системы, помогая вам чтобы избежать этой проблемы.

Помимо того, что robots.txt помогает направлять сканеры поисковых систем с менее важных или повторяющихся страниц вашего сайта, он также может служить другим важным целям:

  • Это может помочь предотвратить появление дублированного контента. Иногда вашему веб-сайту может понадобиться более одной копии контента. Например, если вы создаете версию содержимого для печати, у вас может быть две разные версии. У Google есть хорошо известное наказание за дублирование контента. Это позволит вам избежать этого.
  • Если вы переделываете части своего веб-сайта, вы можете использовать robots.txt, чтобы скрыть незаконченные страницы от индексации до их подготовки.
  • У вас также, вероятно, есть страницы на вашем сайте, которые вы не хотите показывать широкой публике. Например, это может быть страница с благодарностью после того, как кто-то совершил покупку или отправил страницу входа. Эти страницы не должны появляться в поисковой системе, поэтому Google или другие поисковые системы не смогут их проиндексировать.

Согласно Google, вот некоторые из наиболее распространенных наборов правил robots.txt:

Важно отметить, что, отмечая различные полезные функции файла robots.txt, вы не пытаетесь использовать команду для сохранения конфиденциальной информации. Думайте о robots.txt как о запросе, но не как о команде. Хотя «хорошие» пауки, управляемые авторитетными организациями, такими как Google или Bing, будут прослушивать заказы robots.txt, для сканеров, созданных теми, у кого более гнусные намерения, остается вполне вероятным игнорировать robots.txt и сканировать страницу независимо от указанного кода.

Страницы также могут индексироваться другими способами. Например, если другой сайт или другая страница на вашем сайте ссылается на эту страницу, ваша скрытая страница может оказаться проиндексированной.

При планировании инфраструктуры вашего сайта важно различать ваши личные страницы. Являются ли эти страницы конфиденциальными и не подлежащими открытию исключительно по причинам SEO , или содержание контента на этих страницах недоступно для сканеров - проблема безопасности - например, раскрытие конфиденциальных данных клиентов? Ценность файла robots.txt заключается в стратегии SEO, а не в сохранении конфиденциальности конфиденциальной информации.

Как мне настроить robots.txt?

Настройка вашего robots.txt может быть простой, но сначала давайте рассмотрим, что означают две части команды:

  • User-agent : относится к сканерам, к которым относится текст
  • Disallow : указывает, что вы хотите заблокировать, что сканер не должен читать

В дополнение к этим двум основным частям вы также можете использовать третью часть, помеченную «разрешить», если вам это нужно. Этот раздел будет использоваться, если у вас есть подкаталог, который находится в заблокированном каталоге. Например, если вы хотите заблокировать большую часть каталога, но у вас есть один маленький подкаталог, самый быстрый способ настроить это - сказать:

user-agent: * (помните, что звездочка указывает, что команда применяется ко всем паукам)

disallow: / каталог

разрешить: / subdirectory1

Это скажет сканерам взглянуть на этот единственный подкаталог, даже если он находится в большем, заблокированном каталоге.

Если вы хотите, чтобы сканеры просматривали весь сайт, оставьте пустую часть 'disallow'.

Если вы хотите настроить robots.txt для блокировки определенных страниц, таких как страница входа или страница благодарности, то в части «запретить» файла robots.txt вы поместите часть своего URL, которая идет после '.com'.

Размышляя о страницах, которые вы, возможно, захотите заблокировать, рассмотрите эти типы контента и посмотрите, есть ли у вас какие-либо на вашем сайте.

  • Страницы входа
  • Страницы с благодарностью за то, что кто-то что-то скачал или купил
  • Необходим дублированный контент, например, PDF или версия для печати на веб-странице
  • Новые страницы, которые вы начали разрабатывать, но пока не хотите, чтобы поисковые системы их проиндексировали.

Хотя robots.txt выглядит просто, есть несколько правил, которые необходимо соблюдать, чтобы гарантировать правильную интерпретацию кода.

    • Используйте все строчные буквы для имени файла, «robots.txt»
    • Команды должны находиться в каталоге верхнего уровня веб-сервера.
    • Вы можете иметь только один «запрет» для каждого URL на сайте
    • Для поддоменов, имеющих общий корневой домен, нужны разные файлы robots.txt

После настройки файла robots.txt вы должны протестировать свой сайт с помощью своей учетной записи Google Webmasters. Под меню будет опция «Сканирование». Нажав на это, вы откроете выпадающее меню, которое будет включать в себя опцию robots.txt Tester.

Если Google говорит, что текст разрешен, это означает, что ваш текст написан правильно.

Robots.txt может быть полезным инструментом в руках оптимизаторов, которые понимают ценность контроля того, как и когда пауки сканируют свои сайты. Подумайте, как это может принести пользу вашему сайту, и сделайте следующий шаг в SEO.

Подумайте, как это может принести пользу вашему сайту, и сделайте следующий шаг в SEO

Похожие

SEO
Мы слышали о новом термине «Информационные технологии и маркетинг», который означает «поисковая оптимизация» - инновационную технику для продвижения бизнеса и веб-сайтов в различных поисковых системах,
SEO: SEO
Есть несколько моделей SEO. Тот, который называется естественные ссылки и коммерческое SEO. Все они 2 платные, но есть некоторые различия, чтобы не забывать о SEO вашего сайта. Мы объясним большие различия между этими двумя решениями для SEO вашего сайта. ЕСТЕСТВЕННЫЕССЫЛКИ КОММЕРЧЕСКИЕ ССЫЛКИ (Красная зона
Что такое SEO?
Что такое SEO Оптимизация сайта - определение? Когда вы ищете Google , Yahoo или Бинг , вы вводите поисковый запрос в поле поиска. Искатель выкидывает результаты. Оптимизация сайта для поисковых систем означает принятие определенных мер, чтобы
SEO Статьи - Дарвин Агентство
09/10/2018 - SEO Что такое БрайтонСЕО? Читать дальше → 08/12/2017 - SEO SEO, как и другие рычаги в веб-маркетинге, может позволить
Как твой SEO?
Роб Коци Это первая страница поиска «обновлений в Калгари», который я сделал (извините, их немного сложно прочитать,
Что такое SEO-копирайтинг?
SEO-копирайтинг - это механизм преобразования текста в текст для сайта, где текст создается по ключевым словам. Это, в свою очередь, помогает пользователям найти то, что они ищут в Интернете.
SEO исследование
В компании глобальных веб-решений и SEO Барселоны и в Валенсии, Seo Solutions , у нас есть
SEO пенальти
Главная » SEO »SEO пенальти Рекомендации по восстановлению Google Penalty
Мобильное SEO
Как клиенты находят ваш бизнес на мобильном устройстве? Мобильный сайт вашего бизнеса должен быть найден потенциальными клиентами, которые ищут ваш продукт или услугу. Одним
Видео SEO
Видео, которые вы размещаете на своем сайте, может быть ранжировано в обычных результатах поиска. Понимание основных видео SEO может помочь вашим видео быть обнаруженными в результатах поиска и привлечь внимание к вашему видеоконтенту. Видео с рейтинга www.leanwithluke.co.uk в результатах органического поиска
SEO SEO: что это такое и как это сделать

Комментарии

Мы уже знаем, что местный SEO как стратегия может сделать для вашего бизнеса, но зачем вам нанимать местное агентство SEO?
Мы уже знаем, что местный SEO как стратегия может сделать для вашего бизнеса, но зачем вам нанимать местное агентство SEO? Локальное SEO, хотя и простое по своей сути, - это сложная и детальная стратегия, которая требует много тяжелой работы и опыта. Мало того, что требуется время, чтобы освоить, но это работа на полный рабочий день сама по себе, что означает, что вам нужно иметь время, чтобы последовательно посвятить свою кампанию. Управление местным бизнесом - непростая
Вы уже изучили, что такое SEO, но как именно вы начнете его использовать?
Вы уже изучили, что такое SEO, но как именно вы начнете его использовать? Что вы должны сделать, чтобы получить более высокую позицию в Google? В этом блоге я дам вам 5 советов по SEO, с которыми вы можете начать прямо сейчас. Эти советы приведены в инфографике, и я объясню вам дальше вниз по странице. Начните свой онлайн успех сегодня!
Но все это очень технически, так как вы поймете, как это работает, и как вы сможете показать разработчику, как правильно кодировать в Ajax, оставаясь при этом совместимым с SEO?
Но все это очень технически, так как вы поймете, как это работает, и как вы сможете показать разработчику, как правильно кодировать в Ajax, оставаясь при этом совместимым с SEO? Демо-версия «Поиск в предвидении» Чтобы помочь понять принцип метода, рекомендованного Google, мы опубликовали онлайн-демонстрацию использования подхода, поддерживаемого Google, в двух типичных случаях: загрузка содержимого страницы в Ajax бесконечная страница прокрутки
Seo Seminar Berlin: Что такое Seo и каково значение поисковой оптимизации для вас?
Seo Seminar Berlin: Что такое Seo и каково значение поисковой оптимизации для вас? Итак, вы сначала знаете, что поисковая оптимизация точно определена Википедия Seo следующим образом: «Поисковая оптимизация или поисковая оптимизация (SEO) - это название действий, призванных повысить рейтинг поисковых систем в неоплачиваемых результатах поиска (естественные списки)». Специально для малых и средних
Что касается оптимизации вашего сайта, что может быть лучше, чем использование фантастического инструмента SEO?
Что касается оптимизации вашего сайта, что может быть лучше, чем использование фантастического инструмента SEO? Если вы хотите работать лучше и умнее, использование инструментов SEO - один из лучших вариантов. В этом посте приведен список из десяти лучших инструментов SEO, которые помогут вам повысить рейтинг вашего бизнеса. Приятно иметь ряд инструментов, обладающих полным потенциалом для облегчения вашей работы.
Что такое CDN, как его установить и почему он повышает производительность вашего сайта?
Что такое CDN, как его установить и почему он повышает производительность вашего сайта? Не зная об этом, мы ежедневно используем CDN (не путать с Credit du Nord ). Например, прочитанная статья доставляется CDN, как в случае просмотра видео на YouTube. Что такое CDN? CDN или Content Delivery Network - это глобальная «умная» сеть, предназначенная для доставки веб-контента
Что такое Alexa и что такое Alexa Rank?
Что такое Alexa и что такое Alexa Rank? Alexa (переходит в руки Amazon и всемогущего Джеффа Безоса) - это компания, которая управляет данными о трафике через веб-сайты, и она наиболее известна своей информацией о рейтинге сайтов, которая называется Alexa Rank . Глобальный рейтинг Alexa показывает, насколько популярен ваш сайт во всем мире, а локальный рейтинг Alexa показывает популярность в стране, где зарегистрирован домен. Здесь вы найдете рейтинг
Вкратце, что такое SEO веб SEO?
Вкратце, что такое SEO веб SEO? Традиционно SEO определяется методами оптимизации для улучшения позиционирования сайта в результатах поиска Google и других поисковых систем. Но мы будем продвигать определение SEO SEO, чтобы охватить все, что попадает в веб-маркетинг, то есть мы будем включать: - ссылки и внутренняя оптимизация веб-страниц (ключевые слова, метаданные ...) - внешние естественные ссылки «обратные ссылки» (приобретение
Что такое контент-маркетинг и как мы можем помочь вам использовать его для привлечения большего количества клиентов?
Что такое контент-маркетинг и как мы можем помочь вам использовать его для привлечения большего количества клиентов? Контент-маркетинг - это постоянная маркетинговая стратегия, которая опирается на производство высококачественного контента для привлечения, обучения и конвертации зрителей, которые он приносит на ваш сайт. Цель состоит в том, чтобы нацеливать популярные ключевые слова (продукты, услуги, города, почтовые индексы) на создание высококачественного контента,
Что такое отрицательный SEO и как себя защитить?
Что такое отрицательный SEO и как себя защитить? Уже несколько лет тема негативного SEO упоминается в специализированной прессе. В чем конкретно состоит эта дисциплина? Речь идет о применении методов SEO, чтобы не увеличивать свои позиции в результатах поиска, а подрывать позиции своих конкурентов. Какое-то SEO агентство, например https://www.sitepenalise.fr/ , даже сделали коммерческий ракурс сам по себе, о чем свидетельствует
Что такое SEO SEO?
Что такое SEO SEO? Yoast SEO - это плагин WordPress, который позволяет настраивать элементы SEO на вашем веб-сайте и помогает реализовывать стратегию SEO, предоставляя информацию о вашем контенте с точки зрения SEO. Это не надежный инструмент, но это определенно то, на что я всегда полагаюсь как профессионал SEO. Йост помогает позаботиться о SEO на странице и на сайте заставляя ваш сайт общаться с

Txt?
Txt?
Txt?
Txt?
Txt?
Txt?
Что такое SEO Оптимизация сайта - определение?
Мы уже знаем, что местный SEO как стратегия может сделать для вашего бизнеса, но зачем вам нанимать местное агентство SEO?
Вы уже изучили, что такое SEO, но как именно вы начнете его использовать?
Что вы должны сделать, чтобы получить более высокую позицию в Google?