Новости

🥇 🥇 ROBOTS.TXT и META ROBOTS: в чем разница?

  1. Транскрипция видео о Robots.txt и Meta Robots Базовый уровень [Редакция июля 2017]
  2. Что такое Robots.txt? [Второй 52]
  3. Какая польза от Robots.txt?
  4. Что такое мета-роботы? [Минута 2:00]
  5. Что обозначает каждый из этих ярлыков?
  6. Практические примеры [Минута 3:00]
  7. Анализ мета-роботов с кричащей лягушкой [Минута 4:56]
  8. Примеры Robots.txt [Минута 6:26]
  9. # 2 - Какие комбинации мета-роботов можно сделать?
  10. # 3 - Так в чем же разница между Robots.txt и мета-роботами?
  11. заключение

Сколько раз вы спрашивали себя, в чем разница между файлом robots.txt и мета-тегом robots ? Хотя они и похожи, они имеют разные функции. Сегодня Иван Торренте сделает это очень ясно в этом видео.

Благодаря этому SEO обучение вы получите знания для улучшения бюджета сканирования вашей сети или времени, которое Google назначает своим роботам для отслеживания страниц в сети.

Кроме того, в видео есть примеры файла robots.txt и таких инструментов, как Screaming Frog, с помощью которых можно за считанные секунды проанализировать мета-метку робота широкого набора страниц.

Время пришло Хит игры и наслаждайтесь!

Транскрипция видео о Robots.txt и Meta Robots Базовый уровень [Редакция июля 2017]

Вы хотите, чтобы весь контент видео был в письменной форме? Вот оно у вас и с расширениями!

Не упускайте ни одной детали обучения, которое наш партнер дал в этом видео, к которому мы добавили несколько частых вопросов и данных, которые подкрепляют изучение этих ключевых концепций в веб-позиционировании.

Привет, SEO друзья! Меня зовут Иван Торренте, консультант команды Webpositer. В сегодняшнем видео мы узнаем, как улучшить бюджет сканирования, бюджет сканирования поисковой системы с помощью robots.txt и metarobots. Вперед!

Что такое Robots.txt? [Второй 52]

[Второй 52]

Первое, что я объясню в сегодняшнем видео, это что такое robots.txt.

Это файл, который висит из корня нашего домена , обычно это имя нашего домена robots.txt bar.

ПРИМЕР -> mydomain.com/robots.txt

+ ИНФОРМАЦИЯ:

Файл robots.txt - это метод, предотвращающий добавление ненужной информации в результаты поиска определенными ботами, которые анализируют веб-сайты, или другими роботами, которые исследуют весь или часть доступа к веб-сайту.

Robots.txt, также известный как протокол исключения роботов, состоит из текстового файла, который необходимо вставить в основную папку вашего веб-сайта , цель которого заключается в том, чтобы сообщить ботам Google, какие URL мы хотим индексировать, а какие мы хотим, чтобы они были пропущены и поэтому не сохранялись в базе данных Google и не отображались в результатах поиска.

Какая польза от Robots.txt?

Этот файл используется для блокировки любого каталога или URL, которые мы не хотим, чтобы поисковая система сканировала, и не теряли время. Таким образом, мы сэкономим бюджет отслеживания, известный бюджет сканирования, чтобы он был выделен для других более важных URL-адресов.

+ ИНФОРМАЦИЯ:

Использование этого файла необходимо, чтобы избежать индексации тех страниц, которые мы не хотим, чтобы Google учитывал , что делает невозможным их отслеживание и, следовательно, их индексацию. Без наличия файла robots.txt роботы будут сканировать весь ваш сайт и индексировать все URL-адреса, которые у вас на пути.

Роботы Google, прежде чем начать поиск, будут искать файл robots.txt, чтобы узнать маршрут, по которому они должны следовать , поэтому важно четко указать в файле, какие URL-адреса мы хотим индексировать, а какие - нет.

Отсюда мы работаем с директивой Disallow . Это может быть с параметрами, заказами или фильтрами, это зависит. Например, в WordPress мы можем заблокировать типичного wp-admin, мы можем заблокировать для prestashop порядок по или отфильтровать, если у нас есть различия в категориях. Мы собираемся заблокировать все это, чтобы не иметь дублированный контент нет URL

Важно знать, что файл robots.txt является одним из наиболее читаемых поисковой системой , поэтому мы должны указать, где находится файл . Карта сайта ,

Мы сделаем это в нижней части файла robots.txt, обычно это midominio.com/sitemap.xml .

Что такое мета-роботы? [Минута 2:00]

[Минута 2:00]

Мета-роботы - это HTML-тег, который обычно отображается в верхней части каждого URL-адреса. Каждый URL нашего сайта должен иметь разных мета-роботов, в зависимости от того, что нас интересует. Они могут быть помечены как « Нет указателя / индекса» или «Нет подписки / подписки» .

+ ИНФОРМАЦИЯ:

Мета-тег robots сообщает Google, какие страницы нашего веб-сайта не нужно индексировать или отображать в результатах поиска.

Он работает аналогично файлу robots.txt, особенно в том смысле, что метатеги robots и директива неиндексации не позволяют ботам индексировать URL-адрес в Google, но не отслеживают его , а это означает, что Google читает контент и он знает, что эти страницы присутствуют, но в конце концов он не добавляет их в свою базу данных.

Одна из особенностей тега meta robots заключается в том, что он позволяет предлагать Google информацию не только о URL-адресах, которые вы хотите индексировать или нет, но также о внутренних ссылках, изображениях или файлах любого типа .

Что обозначает каждый из этих ярлыков?

  • Нет индекса служит для того, чтобы URL не был проиндексирован.

  • Индекс используется для индексации URL.

  • No Follow используется для того, чтобы не передавать полномочия ссылкам, которые они имеют в этом внутреннем URL.

  • Следуй так, чтобы он передавал власть. В коде мы поиграем с индексом и последующим, как он показывает, примером мета-робота html-тега :.

  • В зависимости от наших интересов мы будем играть с разными комбинациями ярлыков. [Больше информации в разделе часто задаваемых вопросов на Robots.txt и Meta Robots]

Практические примеры [Минута 3:00]

Теперь, когда компьютер находится впереди, мы увидим несколько практических примеров как robots.txt, так и тега meta robots.

В качестве примера мы берем сеть Zalando.es и видим ее исходный код. Если мы нажмем на сочетание клавиш «Control + F», мы найдем роботов. Например, в этом случае в доме у вас есть это в указателе, следуйте. Мы можем сделать это более визуально с Расширения Google Chrome для SEO в качестве Seerobots ,

Без необходимости вводить исходный код, он говорит нам, что такое индекс, следуйте за этой страницей.

Мы работаем большую часть времени с ScreamingFrog один из самых мощных инструментов для моделирования того, как движок Google сканирует нашу сеть.

Просто вам нужно открыть Screaming Frog, вставить Zalando.es, и он начнет отслеживать его.

Мы не собираемся ждать его полного сканирования, потому что это бесконечная сеть, но мы позволяем ему отслеживать несколько URL-адресов, и мы остановимся, чтобы увидеть, если мы видим различия между No Index и Index.

Кричащая лягушка делит все, что мы нашли в столбце, и мы будем искать столбец мета-роботов. Мы можем принять это к началу, если мы хотим работать с ним более комфортно.

Анализ мета-роботов с кричащей лягушкой [Минута 4:56]

Мы видим, что мета-роботы появляются слева, а затем URL-адреса.

Таким образом, мы можем видеть, какие страницы обычно имеют метку No Index в мета-роботах:

Все эти страницы должны иметь индекс без индекса, потому что они не интересны для вашего позиционирования в поисковой системе . Однако у них должен быть параметр Follow , чтобы они могли передавать полномочия по имеющимся ссылкам.

Например, в Заландо мы видим, что в качестве индекса отсутствуют некоторые категории или размеры, возможно, потому что он их исключил. Это будет зависеть от случая вашего сайта, мы можем работать так или иначе.

Если мы собираемся использовать полноэкранный режим в Google, я обнаружил, что, выполняя site: zalando.es inurl: size "s , мы видим все URL-адреса, которые есть у Zalando со статьями размера S.

Если мы откроем их, то увидим, что «См. Роботы» означает, что эта страница не имеет индекса.

Что делает Заландо? Когда я готовил этот мини-курс, я обнаружил, что этот тип URL ставит No Index, а затем блокирует его с помощью robots.txt.

ВАЖНО: Прежде чем блокировать что-либо в robots.txt, оно должно быть проиндексировано . Почему? Потому что, если мы заблокируем перед вставкой «Нет индекса» в мета-роботов, он не будет проиндексирован, потому что Google не сможет отследить его и правильно проиндексировать.

Примеры Robots.txt [Минута 6:26]

Любой любопытный пример robots.txt? Королевский Дом, я полагаю, ты знаешь. Если мы посмотрим, мы увидим, что г-н Урдангарин заблокирован.

Vodafone использовал это, чтобы дать некоторую рекламу. Роботы дают вам вирусную точку зрения, чтобы комментировать позже в блогах.

FAQ о ROBOTS.TXT и METAROBOTS

# 1 - Как создать файл Robots.txt?

Для создания файла robots.txt вы можете использовать записную книжку вашего компьютера, где вам нужно будет вставить соответствующий контент, который укажет Google путь, по которому должны следовать ваши боты.

  • Пользователь-агент: [имя паука / бот Google]

  • Disallow: [каталог или файл]

  • Разрешить: [каталог или файл]

  • Карта сайта: [XML-карта сайта URL]

Пользовательский агент - это официальное имя, полученное ботом Google (Googlebot, googlebot-image, googlebot-mobile и т. Д.)

Команда «disallow » указывает на то содержимое, которое мы не хотим индексировать, а «allow» делает обратное.

А с помощью команды " sitemap " мы показываем Google URL-адрес нашей XML-карты сайта, помогая быстрее индексировать.

Если вы хотите знать robots.txt любого веб-сайта, вам просто нужно ввести соответствующий URL-адрес, сопровождаемый командой /robots.txt → www.example.com/robots.txt.

# 2 - Какие комбинации мета-роботов можно сделать?

С помощью тега meta robots вы можете создавать различные комбинации в зависимости от того, как вы хотите, чтобы Google действовал:

  • Индексировать, следуйте. Таким образом, вы будете сообщать Google, что ваши боты будут сканировать, а затем индексировать страницу →.

  • Нет индекса, следуйте : с этой комбинацией индексация исключается, но отслеживание разрешено. Это наиболее эффективный вариант, если вы хотите запретить отображение определенной страницы в результатах поиска →.

  • Index, No Follow : позволяет индексировать URL, но не отслеживать. Эта комбинация рекомендуется, когда у вас есть страница со ссылками, которые вы хотите оставить незамеченными для Google →.

  • Нет индекса, нет следования : избегаются как индексирование, так и отслеживание →.

Если вы работаете с CMS, мы рекомендуем вам использовать плагин, который позволяет вам правильно его настроить, например, Yoast SEO или SEO Ultimate.

# 3 - Так в чем же разница между Robots.txt и мета-роботами?

txt и мета-роботами

Основное различие между обоими элементами заключается в том, что, хотя файл robots.txt сообщает ботам о страницах, которые они не должны отслеживать , мета-робот- тег позволяет отслеживать страницы, но не индексировать .

При обоих вариантах страницы должны быть полностью невидимы в поисковой выдаче Google, но при блокировке с помощью robots.txt будут блокироваться как страница, так и любая ссылка, содержащаяся на этой странице, если вы выберете мета-роботов, страница не будет проиндексирована, но будет отслеживались , следуя пути включенных ссылок и передавая значение этих ссылок.

Если принять во внимание, что Google использует ссылки для перехода с одного URL-адреса на другой, мы обнаружим очевидное преимущество в мета-теге robots , поскольку он дает вам возможность избежать индексации нужных страниц, без того, чтобы они стали препятствие для поисковых систем при сканировании новых страниц.

С другой стороны, robots.txt более эффективен, чем мета-тег robots, когда речь идет о блокировке полных каталогов , поскольку ботам не нужно заходить на страницу, чтобы узнать, сканировать ее или нет, что позволяет намного быстрее читать и что При каждом посещении робота можно отслеживать большее количество страниц.

Ключ к успеху заключается в том, чтобы знать, как объединить обе техники , блокируя с robots.txt и используя метатег robots для всего, что мы не можем охватить файлом протокола исключения роботов.

заключение

Здесь у вас есть две основные концепции веб-оптимизации, потому что благодаря файлу robots.txt мы можем предотвратить сканирование страницы ботом Google, но не ее индексацию. Со своей стороны, метатег-тег не позволяет индексировать URL, но не сканирует его, поэтому эта страница не будет отображаться в результатах Google.

Поэтому, хотя оба варианта используются для предотвращения появления страницы в поисковой выдаче великой поисковой системы, каждый из них действует определенным образом, поэтому необходимо знать его природу и выбирать наилучшую альтернативу в соответствии с нашими целями.

Мы надеемся, что и видео, и статья помогли вам увидеть свет в конце туннеля этих двух концепций, которые очень похожи, но различны одновременно.

У тебя есть сомнения? Оставьте нам свои комментарии ниже.


Похожие

Что такое SEO-копирайтинг?
SEO-копирайтинг - это механизм преобразования текста в текст для сайта, где текст создается по ключевым словам. Это, в свою очередь, помогает пользователям найти то, что они ищут в Интернете.
Что такое SEO?
... чтобы сайт оказался в верхней части результатов. Это ничего не значит для сайта, если он появляется на третьей или четвертой странице результатов Google, потому что редко выходит за пределы первой, возможно, другой стороны. Но если он находится на первой странице и даже наверху, это приносит больше посещений сайта. Если сайт плохо цитируется в Google, то наличие такого сайта похоже на наличие онлайн-визитки - будет просматриваться только та, которую вы дали, то есть сайт будет видеть
Видео SEO
... идео, которые вы размещаете на своем сайте, может быть ранжировано в обычных результатах поиска. Понимание основных видео SEO может помочь вашим видео быть обнаруженными в результатах поиска и привлечь внимание к вашему видеоконтенту. Видео с рейтинга www.leanwithluke.co.uk в результатах органического поиска
Значение Robots.txt: вывод вашего SEO на новый уровень
Происхождение robots.txt или «протокола исключения роботов» можно проследить до середины 1990-х годов, в первые дни, когда веб-пауки путешествовали по Интернету, чтобы читать сайты. Некоторые веб-мастера стали беспокоиться о том, какие пауки посещают их сайты. Файл, содержащий указания относительно того, какие разделы сайта следует сканировать, и который не должен предлагать владельцам сайтов больше возможностей контролировать, какие сканеры могут просматривать их URL-адреса и сколько ресурсов
Что такое «Фокус ключевое слово»?
Ключевое слово focus в SEO Product Optimizer позволяет вам ориентировать свои продукты на определенные ниши с помощью набора ключевых слов. Скажем, если вы продаете рождественские украшения, общее ключевое слово, например, " Рождественская елка ", будет иметь большой объем поиска. Однако вы вряд ли сможете оценить свою веб-страницу по этому ключевому
DFM объясняет, что такое SERP
Недавно один из наших клиентов спросил нас, что означает термин «SERP». Для тех из вас, кто не знает, этот термин на самом деле является аббревиатурой. Это означает «Страница результатов поиска». SERP - это списки веб-страниц, которые возвращают результаты поиска на основе запроса ключевого слова. Таким образом, по сути, когда вы создаете запрос
Что такое ссылка ниндзя-SEO-блог-новости-определения
... чтобы завоевать доверие главных поисковых систем для ранжирования. Что делает ссылка ниндзя? Связанные ниндзя должны быть умелыми и умными, чтобы выполнить свои задачи по связыванию. Некоторые из их основных рабочих обязанностей и обязанностей включают в себя: Создание и реализация стратегий построения ссылок для получения качественные ссылки-рекомендации для вашего сайта
SEO анализ сайтов
... иболее важной SEO-деятельностью является анализ сайта. Термин «анализ» означает серию проверок, реальную проверку обоих факторов Оптимизация на месте оба фактора Внешняя оптимизация , Также в этом случае именно Интернет предоставляет нам некоторые совершенно бесплатные инструменты анализа , но несомненно, что разница
Видео: на странице SEO советы и стратегии
Несколько недель назад мы рассмотрели некоторые из основные аспекты поисковой оптимизации , В этом видео мы подробно расскажем о SEO на странице, в том числе о функциях страниц, которые поисковые системы используют в качестве факторов ранжирования и стратегий, которые вы должны использовать, чтобы дать веб-страницам наилучшие шансы появляться в результатах поиска. Когда дело доходит до этого, оптимизация
Правильное SEO и файл Robots.txt
... txt-1.jpg" alt="Когда дело доходит до SEO Большинство людей понимают, что веб-сайт должен иметь контент: « поисковый движок дружественная »архитектура сайта / HTML и метаданные ( теги заголовка а также мета описания )"> Когда дело доходит до SEO Большинство людей понимают, что веб-сайт должен иметь контент: « поисковый
Разница между SEO и SEM (Google Adwords)
Для тех, кто знает мир цифрового маркетинга, они должны быть знакомы с терминами SEO и SEM правильно! но прежде чем я хочу объяснить немного о SEM по определению значение слова и определение большинства людей. По данным сайта Searchengineland.com SEM является зонтиком SEO и Платные поисковые операции, но большинство людей называют SEM только Платными поисковыми

Комментарии

Так что же делать, какие платформы использовать и какие тренды попробовать?
Так что же делать, какие платформы использовать и какие тренды попробовать? Вот семь на новый год: Социальное слушание Прямая трансляция и видео Влияние маркетинга Facebook продолжает устанавливать темп Повышенная вовлеченность на платформах обмена
Так в чем же разница между традиционным SEO и локальным SEO?
Так в чем же разница между традиционным SEO и локальным SEO? Вот объяснение от BrightLocal: «Локальное SEO - это очень эффективная форма локального онлайн-маркетинга. Это позволяет местным предприятиям продвигать свои услуги местным клиентам именно в то время, когда они ищут ваш тип бизнеса ». В практическом плане это результаты поиска, возвращаемые для локальных поисков. Например, «Автосалоны Мельбурна» или «Автосалоны
Так что с опасностью, связанной с обратной связью, как это можно сделать правильно и безопасно?
Так что с опасностью, связанной с обратной связью, как это можно сделать правильно и безопасно? Поиск безопасных высококачественных обратных ссылок Чтобы найти безопасные возможности для обратных ссылок, вы должны дать мне одно обещание, вы никогда не будете покупать обратные ссылки. Это прямой билет в собачью будку Google. Но, учитывая сказанное, знаете ли вы, что 55,24% рейтинговых страниц в Интернете имеют нулевые обратные ссылки, указывающие
Юнг говорит, что его жена больна в постели, так что же может значить Ли?
Юнг говорит, что его жена больна в постели, так что же может значить Ли? Затем Ли говорит, что говорит о рождении матери Юн Сео. Дерьмо официально поразило поклонника. Юн Соо и ее мама в больнице навещают мать Юнга, которая, предположительно, снова в последний раз, когда Йи звонит Юнг. Он спрашивает, где она, и она говорит ему, что его мать снова нездорова. Они поднимаются в комнату, и Йи немедленно начинает жаловаться на то, как старая птица снова вырывается. Юнг входит и спрашивает,
Так что же SEO сделать для своего сайта?
Юнг говорит, что его жена больна в постели, так что же может значить Ли? Затем Ли говорит, что говорит о рождении матери Юн Сео. Дерьмо официально поразило поклонника. Юн Соо и ее мама в больнице навещают мать Юнга, которая, предположительно, снова в последний раз, когда Йи звонит Юнг. Он спрашивает, где она, и она говорит ему, что его мать снова нездорова. Они поднимаются в комнату, и Йи немедленно начинает жаловаться на то, как старая птица снова вырывается. Юнг входит и спрашивает,
Что такое Alexa и что такое Alexa Rank?
Что такое Alexa и что такое Alexa Rank? Alexa (переходит в руки Amazon и всемогущего Джеффа Безоса) - это компания, которая управляет данными о трафике через веб-сайты, и она наиболее известна своей информацией о рейтинге сайтов, которая называется Alexa Rank . Глобальный рейтинг Alexa показывает, насколько популярен ваш сайт во всем мире, а локальный рейтинг Alexa показывает популярность в стране, где зарегистрирован домен. Здесь вы найдете рейтинг
Сначала вы должны определить уровень сервиса, который вы ищете, объем текста, который вы хотите, и задать себе следующий вопрос: какая разница в бюджете между Францией и Мадагаскаром?
Сначала вы должны определить уровень сервиса, который вы ищете, объем текста, который вы хотите, и задать себе следующий вопрос: какая разница в бюджете между Францией и Мадагаскаром? Вам нужно несколько тысяч общих текстов? Вы обязательно найдете свое счастье с веб-агентством на Мадагаскаре. Вы хотите, чтобы десятки технических текстов или тематических статей, которые обеспечивают соответствующий анализ, что автора? Вы должны искать одного или нескольких независимых веб-редакторов,
1. Так что же такое Open Graph?
1. Так что же такое Open Graph? По сути, Open Graph - это своего рода тег заголовка и мета-описание для социальных сетей. Это то, что сообщает таким сайтам, как Facebook, о чем ваша страница и как отображать вашу страницу в любое время, когда она публикуется в этой сети. Он может включать заголовок, описание, изображение и многое другое. Вот пример:
Так что же такое GTIN?
Так что же такое GTIN? Google говорит, что «эти идентификаторы включают UPC (в Северной Америке), EAN (в Европе), JAN (в Японии) и ISBN (для книг). Вы можете включить любое из этих значений в этот атрибут. Если доступно, вы должны предоставить как минимум два атрибута «brand», «mpn» и «gtin». Пожалуйста, прочитайте больше о предоставление надежных идентификаторов ». Зачем тебе это? Это потому, что
Так что же такое белая бумага?
Так что же такое белая бумага? Белая книга - это нечто среднее между журнальной статьей и корпоративной брошюрой. Поскольку официальные документы обладают как познавательными качествами журнальной статьи, так и убедительными качествами корпоративной брошюры, они считаются одним из самых мощных инструментов для контент-маркетинга, генерации потенциальных клиентов, брендинга и многого другого! Как вы можете использовать официальные документы в вашей стратегии контент-маркетинга?
Хорошо, если функция та же самая, в чем разница между Google AdWords и SEO?
Хорошо, если функция та же самая, в чем разница между Google AdWords и SEO? а какой из них больше подходит для вашего бизнеса / бизнеса? Вы скоро найдете ответ в этой статье. Заварите свой кофе прямо сейчас. 1. Различия во взглядах на первой странице Google Обратите внимание на следующие скриншоты, чтобы вы хорошо понимали, где Google AdWords и SEO Ты

Txt?
Txt?
Что такое мета-роботы?
Txt и мета-роботами?
Txt?
Txt?
Что такое мета-роботы?
Что обозначает каждый из этих ярлыков?
Что делает Заландо?
Почему?