1. Что такое файл Robot.txt Robots.txt представляет собой текстовый файл. он дает указание сканерам...
2. Запретить всем роботам
3. Разрешить всем роботам
4. Запретить некоторые URL
5. Запретить определенный каталог
6. Запретить отдельный каталог

Что такое файл Robot.txt

Robots.txt представляет собой текстовый файл. он дает указание сканерам поисковых систем об индексировании и кэшировании веб-страницы, файла веб-сайта или каталога, домена. Используя этот файл, вы также можете заблокировать поисковую систему для сканирования. Используйте файл robotz.txt, чтобы запретить поисковым системам индексировать выбранные области ваших сайтов.

Проще говоря, используя файл robots.txt, вы можете разрешить или запретить сканерам поисковых систем посещать ваш сайт (разрешить или заблокировать поисковую систему на вашем сайте).

Файл Robots.txt в основном использует два ключевых слова: User-agent и Disallow. Другое одно ключевое слово - Разрешить.

• Агенты пользователей - это роботы поисковых систем (или программное обеспечение для веб-сканирования).
• Disallow - это команда для пользовательского агента, которая запрещает доступ к определенному URL.

Синтаксис

User-agent: [имя робота, к которому применяется следующее правило] Disallow: [URL-путь, который вы хотите заблокировать] Разрешить: [URL-путь, который вы хотите разблокировать]

Запретить всем роботам

Пользователь-агент: * Disallow: /

User-agent: * означает, что этот раздел относится ко всем роботам. Disallow: / сообщает роботу, что он не должен посещать какие-либо страницы на сайте.

Разрешить всем роботам

Пользователь-агент: * Disallow:

User-agent: * означает, что этот раздел применяется ко всем роботам (* представляет все). Разрешить: / сообщает роботу о посещении всех страниц сайта.

Запретить некоторые URL

Пользовательский агент: * Disallow: / cgi-bin / Disallow: / private_file.html

Примечание: файл robots.txt хранится в каталоге www или public_html на вашем веб-сайте.

правильное расположение файла robots.txt на вашем сайте: www.tutorial4us.com/robots.txt
вы можете увидеть наш файл robots.txt Кликните сюда

Запретить определенный каталог

В приведенном ниже синтаксисе мы запрещаем всем поисковым системам посещать или сканировать каталог или папку java и seo, это означает, что ни один URL не индексируется из этих двух каталогов или папок.

Запретить отдельный каталог

User-agent: * Disallow: / java / Disallow: / seo / Заблокировать поисковую систему Синтаксический блок Весь сайт User-agent: * Disallow: / Заблокировать каталог и его содержимое User-agent: * Disallow: / sample-directory / Block prticular url User-agent: * Disallow: /private_file.html Заблокировать определенное изображение User-agent: * Disallow: /images/cats.jpg Заблокировать определенное изображение из Google Images User-agent: Googlebot-Image Disallow: /images/dogs.jpg Заблокировать все изображений на вашем сайте из Google Images User-agent: Googlebot-Image Disallow: / Блокировка файлов определенного типа (.pdf) User-agent: * Disallow: /*.pdf$

Похожие

Комментарии