1. Транскрипция видео о Robots.txt и Meta Robots Базовый уровень [Редакция июля 2017]
2. Что такое Robots.txt? [Второй 52]
3. Какая польза от Robots.txt?
4. Что такое мета-роботы? [Минута 2:00]
5. Что обозначает каждый из этих ярлыков?
6. Практические примеры [Минута 3:00]
7. Анализ мета-роботов с кричащей лягушкой [Минута 4:56]
8. Примеры Robots.txt [Минута 6:26]
10. # 2 - Какие комбинации мета-роботов можно сделать?
11. # 3 - Так в чем же разница между Robots.txt и мета-роботами?
12. заключение

Сколько раз вы спрашивали себя, в чем разница между файлом robots.txt и мета-тегом robots ? Хотя они и похожи, они имеют разные функции. Сегодня Иван Торренте сделает это очень ясно в этом видео.

Благодаря этому SEO обучение вы получите знания для улучшения бюджета сканирования вашей сети или времени, которое Google назначает своим роботам для отслеживания страниц в сети.

Кроме того, в видео есть примеры файла robots.txt и таких инструментов, как Screaming Frog, с помощью которых можно за считанные секунды проанализировать мета-метку робота широкого набора страниц.

Время пришло Хит игры и наслаждайтесь!

Транскрипция видео о Robots.txt и Meta Robots Базовый уровень [Редакция июля 2017]

Вы хотите, чтобы весь контент видео был в письменной форме? Вот оно у вас и с расширениями!

Не упускайте ни одной детали обучения, которое наш партнер дал в этом видео, к которому мы добавили несколько частых вопросов и данных, которые подкрепляют изучение этих ключевых концепций в веб-позиционировании.

Привет, SEO друзья! Меня зовут Иван Торренте, консультант команды Webpositer. В сегодняшнем видео мы узнаем, как улучшить бюджет сканирования, бюджет сканирования поисковой системы с помощью robots.txt и metarobots. Вперед!

Что такое Robots.txt? [Второй 52]

Первое, что я объясню в сегодняшнем видео, это что такое robots.txt.

Это файл, который висит из корня нашего домена , обычно это имя нашего домена robots.txt bar.

ПРИМЕР -> mydomain.com/robots.txt

+ ИНФОРМАЦИЯ:

Файл robots.txt - это метод, предотвращающий добавление ненужной информации в результаты поиска определенными ботами, которые анализируют веб-сайты, или другими роботами, которые исследуют весь или часть доступа к веб-сайту.

Robots.txt, также известный как протокол исключения роботов, состоит из текстового файла, который необходимо вставить в основную папку вашего веб-сайта , цель которого заключается в том, чтобы сообщить ботам Google, какие URL мы хотим индексировать, а какие мы хотим, чтобы они были пропущены и поэтому не сохранялись в базе данных Google и не отображались в результатах поиска.

Какая польза от Robots.txt?

Этот файл используется для блокировки любого каталога или URL, которые мы не хотим, чтобы поисковая система сканировала, и не теряли время. Таким образом, мы сэкономим бюджет отслеживания, известный бюджет сканирования, чтобы он был выделен для других более важных URL-адресов.

+ ИНФОРМАЦИЯ:

Использование этого файла необходимо, чтобы избежать индексации тех страниц, которые мы не хотим, чтобы Google учитывал , что делает невозможным их отслеживание и, следовательно, их индексацию. Без наличия файла robots.txt роботы будут сканировать весь ваш сайт и индексировать все URL-адреса, которые у вас на пути.

Роботы Google, прежде чем начать поиск, будут искать файл robots.txt, чтобы узнать маршрут, по которому они должны следовать , поэтому важно четко указать в файле, какие URL-адреса мы хотим индексировать, а какие - нет.

Отсюда мы работаем с директивой Disallow . Это может быть с параметрами, заказами или фильтрами, это зависит. Например, в WordPress мы можем заблокировать типичного wp-admin, мы можем заблокировать для prestashop порядок по или отфильтровать, если у нас есть различия в категориях. Мы собираемся заблокировать все это, чтобы не иметь дублированный контент нет URL

Важно знать, что файл robots.txt является одним из наиболее читаемых поисковой системой , поэтому мы должны указать, где находится файл . Карта сайта ,

Мы сделаем это в нижней части файла robots.txt, обычно это midominio.com/sitemap.xml .

Что такое мета-роботы? [Минута 2:00]

Мета-роботы - это HTML-тег, который обычно отображается в верхней части каждого URL-адреса. Каждый URL нашего сайта должен иметь разных мета-роботов, в зависимости от того, что нас интересует. Они могут быть помечены как « Нет указателя / индекса» или «Нет подписки / подписки» .

+ ИНФОРМАЦИЯ:

Мета-тег robots сообщает Google, какие страницы нашего веб-сайта не нужно индексировать или отображать в результатах поиска.

Он работает аналогично файлу robots.txt, особенно в том смысле, что метатеги robots и директива неиндексации не позволяют ботам индексировать URL-адрес в Google, но не отслеживают его , а это означает, что Google читает контент и он знает, что эти страницы присутствуют, но в конце концов он не добавляет их в свою базу данных.

Одна из особенностей тега meta robots заключается в том, что он позволяет предлагать Google информацию не только о URL-адресах, которые вы хотите индексировать или нет, но также о внутренних ссылках, изображениях или файлах любого типа .

Что обозначает каждый из этих ярлыков?

• Нет индекса служит для того, чтобы URL не был проиндексирован.

• Индекс используется для индексации URL.

• No Follow используется для того, чтобы не передавать полномочия ссылкам, которые они имеют в этом внутреннем URL.

• Следуй так, чтобы он передавал власть. В коде мы поиграем с индексом и последующим, как он показывает, примером мета-робота html-тега :.

• В зависимости от наших интересов мы будем играть с разными комбинациями ярлыков. [Больше информации в разделе часто задаваемых вопросов на Robots.txt и Meta Robots]

Практические примеры [Минута 3:00]

Теперь, когда компьютер находится впереди, мы увидим несколько практических примеров как robots.txt, так и тега meta robots.

В качестве примера мы берем сеть Zalando.es и видим ее исходный код. Если мы нажмем на сочетание клавиш «Control + F», мы найдем роботов. Например, в этом случае в доме у вас есть это в указателе, следуйте. Мы можем сделать это более визуально с Расширения Google Chrome для SEO в качестве Seerobots ,

Без необходимости вводить исходный код, он говорит нам, что такое индекс, следуйте за этой страницей.

Мы работаем большую часть времени с ScreamingFrog один из самых мощных инструментов для моделирования того, как движок Google сканирует нашу сеть.

Просто вам нужно открыть Screaming Frog, вставить Zalando.es, и он начнет отслеживать его.

Мы не собираемся ждать его полного сканирования, потому что это бесконечная сеть, но мы позволяем ему отслеживать несколько URL-адресов, и мы остановимся, чтобы увидеть, если мы видим различия между No Index и Index.

Кричащая лягушка делит все, что мы нашли в столбце, и мы будем искать столбец мета-роботов. Мы можем принять это к началу, если мы хотим работать с ним более комфортно.

Анализ мета-роботов с кричащей лягушкой [Минута 4:56]

Мы видим, что мета-роботы появляются слева, а затем URL-адреса.

Таким образом, мы можем видеть, какие страницы обычно имеют метку No Index в мета-роботах:

Все эти страницы должны иметь индекс без индекса, потому что они не интересны для вашего позиционирования в поисковой системе . Однако у них должен быть параметр Follow , чтобы они могли передавать полномочия по имеющимся ссылкам.

Например, в Заландо мы видим, что в качестве индекса отсутствуют некоторые категории или размеры, возможно, потому что он их исключил. Это будет зависеть от случая вашего сайта, мы можем работать так или иначе.

Если мы собираемся использовать полноэкранный режим в Google, я обнаружил, что, выполняя site: zalando.es inurl: size "s , мы видим все URL-адреса, которые есть у Zalando со статьями размера S.

Если мы откроем их, то увидим, что «См. Роботы» означает, что эта страница не имеет индекса.

Что делает Заландо? Когда я готовил этот мини-курс, я обнаружил, что этот тип URL ставит No Index, а затем блокирует его с помощью robots.txt.

ВАЖНО: Прежде чем блокировать что-либо в robots.txt, оно должно быть проиндексировано . Почему? Потому что, если мы заблокируем перед вставкой «Нет индекса» в мета-роботов, он не будет проиндексирован, потому что Google не сможет отследить его и правильно проиндексировать.

Примеры Robots.txt [Минута 6:26]

Любой любопытный пример robots.txt? Королевский Дом, я полагаю, ты знаешь. Если мы посмотрим, мы увидим, что г-н Урдангарин заблокирован.

Vodafone использовал это, чтобы дать некоторую рекламу. Роботы дают вам вирусную точку зрения, чтобы комментировать позже в блогах.

FAQ о ROBOTS.TXT и METAROBOTS

# 1 - Как создать файл Robots.txt?

Для создания файла robots.txt вы можете использовать записную книжку вашего компьютера, где вам нужно будет вставить соответствующий контент, который укажет Google путь, по которому должны следовать ваши боты.

• Пользователь-агент: [имя паука / бот Google]

• Disallow: [каталог или файл]

• Разрешить: [каталог или файл]

• Карта сайта: [XML-карта сайта URL]

Пользовательский агент - это официальное имя, полученное ботом Google (Googlebot, googlebot-image, googlebot-mobile и т. Д.)

Команда «disallow » указывает на то содержимое, которое мы не хотим индексировать, а «allow» делает обратное.

А с помощью команды " sitemap " мы показываем Google URL-адрес нашей XML-карты сайта, помогая быстрее индексировать.

Если вы хотите знать robots.txt любого веб-сайта, вам просто нужно ввести соответствующий URL-адрес, сопровождаемый командой /robots.txt → www.example.com/robots.txt.

# 2 - Какие комбинации мета-роботов можно сделать?

С помощью тега meta robots вы можете создавать различные комбинации в зависимости от того, как вы хотите, чтобы Google действовал:

• Индексировать, следуйте. Таким образом, вы будете сообщать Google, что ваши боты будут сканировать, а затем индексировать страницу →.

• Нет индекса, следуйте : с этой комбинацией индексация исключается, но отслеживание разрешено. Это наиболее эффективный вариант, если вы хотите запретить отображение определенной страницы в результатах поиска →.

• Index, No Follow : позволяет индексировать URL, но не отслеживать. Эта комбинация рекомендуется, когда у вас есть страница со ссылками, которые вы хотите оставить незамеченными для Google →.

• Нет индекса, нет следования : избегаются как индексирование, так и отслеживание →.

Если вы работаете с CMS, мы рекомендуем вам использовать плагин, который позволяет вам правильно его настроить, например, Yoast SEO или SEO Ultimate.

# 3 - Так в чем же разница между Robots.txt и мета-роботами?

Основное различие между обоими элементами заключается в том, что, хотя файл robots.txt сообщает ботам о страницах, которые они не должны отслеживать , мета-робот- тег позволяет отслеживать страницы, но не индексировать .

При обоих вариантах страницы должны быть полностью невидимы в поисковой выдаче Google, но при блокировке с помощью robots.txt будут блокироваться как страница, так и любая ссылка, содержащаяся на этой странице, если вы выберете мета-роботов, страница не будет проиндексирована, но будет отслеживались , следуя пути включенных ссылок и передавая значение этих ссылок.

Если принять во внимание, что Google использует ссылки для перехода с одного URL-адреса на другой, мы обнаружим очевидное преимущество в мета-теге robots , поскольку он дает вам возможность избежать индексации нужных страниц, без того, чтобы они стали препятствие для поисковых систем при сканировании новых страниц.

С другой стороны, robots.txt более эффективен, чем мета-тег robots, когда речь идет о блокировке полных каталогов , поскольку ботам не нужно заходить на страницу, чтобы узнать, сканировать ее или нет, что позволяет намного быстрее читать и что При каждом посещении робота можно отслеживать большее количество страниц.

Ключ к успеху заключается в том, чтобы знать, как объединить обе техники , блокируя с robots.txt и используя метатег robots для всего, что мы не можем охватить файлом протокола исключения роботов.

заключение

Здесь у вас есть две основные концепции веб-оптимизации, потому что благодаря файлу robots.txt мы можем предотвратить сканирование страницы ботом Google, но не ее индексацию. Со своей стороны, метатег-тег не позволяет индексировать URL, но не сканирует его, поэтому эта страница не будет отображаться в результатах Google.

Поэтому, хотя оба варианта используются для предотвращения появления страницы в поисковой выдаче великой поисковой системы, каждый из них действует определенным образом, поэтому необходимо знать его природу и выбирать наилучшую альтернативу в соответствии с нашими целями.

Мы надеемся, что и видео, и статья помогли вам увидеть свет в конце туннеля этих двух концепций, которые очень похожи, но различны одновременно.

У тебя есть сомнения? Оставьте нам свои комментарии ниже.

Похожие

Комментарии