robots txt


Для того чтобы понять роль robots txt, представьте его в виде дворецкого, который встречает гостей (поисковиков), показывает им хорошие и скрывает плохое. Без robots, они будут бродить по вашему блогу где попало и совать нос куда не следует, а на нормальные страницы могут даже не зайти.

 

Создание правильного робота, положительно влияет на продвижение сайта, является хорошим тоном поисковой оптимизации и повышает доверие к проекту. В этой статье мы рассмотрим как сделать robots txt для WordPress, на базе плагина All In One SEO Pack.

Где robots.txt на WordPress


Чтобы создать robots.txt в WordPress активируйте специальный модуль, как показано на рисунке

схема

Интерфейс 

Правильный robots txt

Чтобы его настроить перейдите во вкладку.

Правильный robots txt


Правильный robots txt можете посмотреть под спойлером, для подавляющего большинства веб мастеров он идеально подойдет, так – что смела копируйте текст и вставляйте себе в редактор.

Рекомендуемые настройки файла роботс
Sitemap: https://chibaka.ru/sitemap.xml

# global
User-agent: *
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: chibaka.ru

Не забудьте заменить адреса на свои, те что выделены красным.

Синтаксис на случай появления желания покопаться (не советую)

  • User-agent – для какого будут применяться данные правила (* – для всех, yandex – для яндекса и.т.д.)
  • Disallow – укажите здесь разделы, которые ненужно индексировать.
  • Host – url главного зеркала .
  • Sitemap – путь к XML карте.

Присоединяйтесь к нашей группе «Работа в интернете»  В Контакте  и Одноклассники