robots txt для WordPress


WordPress robots txt находится в инструментах SEO оптимизации и применяется для настройки элементов вашего сайта подлежащих индексации поисковыми системами.

WordPress robots txt — это текстовый файл, расположенный в корне проекта, содержащий инструкции по индексации сайта. В robots txt прописывают всё что следует скрыть, указывают url главного зеркала и адрес XML карты сайта.

.


Правильно написанный robots txt положительно влияет на продвижение сайта, является хорошим тоном поисковой оптимизации и повышает доверие к сайту. 

В этой статье мы рассмотрим, как сделать robots txt для WordPress, на базе плагина All In One SEO Pack.

Как сделать robots txt на WordPress


Чтобы создать robots.txt в WordPress установите плагин All In One SEO Pack, перейдите в меню управления модулями, выберите robots.txt и нажмите кнопку активировать, как показано на рисунке внизу. 

Как сделать robots txt на WordPress

В меню интерфейса появятся две новые вкладки:

  • robots.txt (интерфейс робота тхт в котором увидите правила, имя агента и путь к каталогу, а также пустое поле для текстовых опций.);
  • Редактор файлов (инструмент для написания робота).

Создать робота можно в любом окне интерфейса, но лучше в редакторе файлов.

Как создать робот тхт

Для создания robots.txt перейдите в редактор файлов и впишите все правила по очереди, с новой строки, без знаков препинания, а также адрес сайта и карты, после чего нажмите кнопку обновить.

Правильный robots txt для wordpress


Правильный robots txt для WordPress должен обеспечить качественный доступ к информации без дублирования ресурсов, показов черновиков, копий и скрытых частей сайта. Правильным роботом должны быть закрыты временный файлы, данные пользователей, политика конфиденциальности и другая информация неподлежащая публичной огласки.

Правильный robots txt для wordpress

  • Useragent: *
  • Disallow: /cgibin
  • Disallow: /wpadmin
  • Disallow: /wpincludes
  • Disallow: /wpcontent/plugins
  • Disallow: /wpcontent/cache
  • Disallow: /wpcontent/themes

  • Disallow: */trackback
  • Disallow: */feed
  • Disallow: /*?
  • Disallow: /author/
  • Disallow: /transfers.js
  • Disallow: /go.php
  • Disallow: /xmlrpc.php

Правильный robots txt для Yandex

  • Useragent: Yandex
  • Disallow: /cgibin
  • Disallow: /wpadmin
  • Disallow: /wpincludes
  • Disallow: /wpcontent/plugins
  • Disallow: /wpcontent/cache
  • Disallow: /wpcontent/themes

  • Disallow: */trackback
  • Disallow: */feed
  • Disallow: /*?
  • Disallow: /author/
  • Disallow: /transfers.js
  • Disallow: /go.php
  • Disallow: /xmlrpc.php

Правильный robots txt для Google

  • Useragent: Googlebot
  • Allow: *.css
  • Allow: *.js
  • Allow: /wpincludes/*.js
  • Disallow: /cgibin/
  • Disallow: /wpadmin/
  • Disallow: /wpincludes/
  • Disallow: /wpcontent/cache

  • Disallow: */trackback
  • Disallow: */feed
  • Disallow: /author/
  • Disallow: /transfers.js
  • Disallow: /go.php
  • Disallow: /xmlrpc.php
  • Disallow: /*?

Также нужно указать адрес карты сайта Sitemap: http://********/sitemap.xml для этого вместо звёздочек поставьте имя своего домена.

Настройка robots txt

Синтаксис для настройки робота:

  • User-agent – назначение данного правила (* – для всех, Yandex – для Яндекс, Googlebotи – Google и т.д..);
  • Disallow – запретить индексировать;
  • Allow – разрешить индексировать;
  • Host – url главного зеркала;
  • Sitemap – путь к XML карте.

Настройку robots.txt лучше самому ни делать так-как в большей части он универсальный и подходит всем без исключения, а значит лучше взять готовый, сделанный спецами.