Как создать идеальный robots.txt для WordPress

👍 Научим создавать сайты на WordPress бесплатно за 19 уроков. Подробнее →

Чтобы помочь поисковым системам правильно индексировать ваш блог, нужно сделать правильный файл Robots txt для WordPress. Посмотрим как его создать и чем наполнить.

Что дает Robots.txt?

Он нужен для поисковых систем, для правильной индексации ими веб-ресурса. Содержимое файла “говорит” поисковому роботу, какие страницы нужно показывать в поиске, а какие скрыть. Это позволяет управлять контентом в поисковой выдаче.

Наполнять robots.txt нужно уже на этапе разработки сайта. Его изменения вступают в силу не сразу. Может пройти неделя или несколько месяцев.

Где находится Robots?

Этот обычный тестовый файл лежит в корневом каталоге сайта. Его можно получить по адресу

https://site.ru/robots.txt

Движок изначально Роботс не создает. Это нужно делать вручную или пользоваться инструментами, которые создают его автоматически.

Не могу найти этот файл

Если по указанному адресу содержимое файл отображается, но на сервере его нет, то значит он создан виртуально. Поисковику все равно. Главное, чтобы он был доступен.

Из чего состоит

Из 4 основных директив:

  • User-agent — правила поисковым роботам.
  • Disalow — запрещает доступ.
  • Allow — разрешает.
  • Sitemap — полный URL-адрес карты XML.

Правильный robots.txt для ВордПресс

Вариантов много. Инструкции на каждом сайте отличаются.

Вот пример правильного Роботс, в котором учтены все разделы сайта. Коротко разберем директивы.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /license.txt
Disallow: /readme.html
Disallow: /trackback/
Disallow: /comments/feed/
Disallow: /*?replytocom
Disallow: */feed
Disallow: */rss
Disallow: /author/
Disallow: /?
Disallow: /*?
Disallow: /?s=
Disallow: *&s=
Disallow: /search
Disallow: *?attachment_id=
Allow: /*.css
Allow: /*.js
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-content/plugins/
Sitemap: https://site.ru/sitemap_index.xml

В первой строке указывается, что ресурс доступен для всех поисковых роботов (краулеров).

Директивы Disallow запрещают выдавать в поиске служебные каталоги и файлы, закэшированные страницы, разделы авторизации и регистрации, ленты RSS (Feed), страницы авторов, поиска и вложений.

Allow разрешают добавлять в индекс скрипты, стили, файлы загрузок, тем и плагинов.

Последняя – это адрес XML-карты.

Как создать robots.txt для сайта

Рассмотрим несколько методов.

Вручную

Это можно сделать например, в Блокноте (если локальный сервер) или через FTP-клиент (на хостинге).

Также этого можно добиться ВП-плагинами. Разберем лучшие из них.

Clearfy Pro

Clearfy Pro создает виртуальный файл. Для этого:

  1. Перейдите в админ-меню Clearfy Pro.
  2. На вкладке SEO задействуйте опцию
  3. Заполните содержимое файла.
  4. Сохраните изменения.

Всегда можно отредактировать содержимое Robots. Просто измените/дополните его нужным содержимым и сохраните изменения.

Создание и настройка файла robots.txt в плагине Clearfy Pro

Активировать промокод на 15%

Yoast SEO

Этот мощный СЕО-модуль для WP также решит задачу.

  1. Перейдите SEO > Инструменты.
  2. Нажмите Редактор файлов.Инструменты плагина Yoast SEO
  3. Если в корневом каталоге этого файла нет, кликните Создать файл robots.txt.Создание файла robots.txt в Yoast SEO
    Если есть, то откроется редактор для внесения изменений.Редактирование robots.txt в плагине Yoast SEO
  4. Нажмите Сохранить изменения в robots.txt.

All in One SEO Pack

Это решение тоже “умеет” работать с Robots. Для этого:

  1. Откройте All in One SEO > Модули.
  2. Выберите одноименное название модуля и нажмите Activate.Активация модуля для работы с robots.txt в All in One SEO Pack
  3. Перейдите All in One SEO > Robots.txt.
  4. В полях добавьте директивы.Редактирование robots.txt в All in One SEO Pack

Настройка для интернет-магазинов (WooCommerce)

Для WordPress-ресурсов с использованием этого расширения просто добавьте эти правила:

Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*
Disallow: /my-account/

Нажмите, пожалуйста, на одну из кнопок, чтобы узнать понравилась статья или нет.

Создай свой первый сайт на WordPress
Если Вам понравилась статья — поделитесь с друзьями
Михаил Петров
Привет! Меня зовут Михаил Петров. Я копирайтер и занимаюсь этим с 2013 года. Скрупулезность и ответственность - моя фишка! Не могу делать как попало и добиваюсь, чтоб заказчик сказал минимум “неплохо”. За все время своей работы пришлось написать и отредактировать немало разной “текстовухи”, включая SEO-тексты, отзывы и прочую чушь. На сегодняшний день специализируюсь на написании информационных статей и руководств технического направления. Вижу смысл и светлое будущее в текстах для людей, а не для машин.
Задать вопрос