robots txt для WordPress

WordPress robots txt находится в инструментах SEO оптимизации и применяется для настройки элементов вашего сайта подлежащих индексации поисковыми системами.

WordPress robots txt — это текстовый файл, расположенный в корне проекта, содержащий инструкции по индексации сайта. В robots txt прописывают всё что следует скрыть, указывают url главного зеркала и адрес XML карты сайта.

Правильно написанный robots txt положительно влияет на продвижение сайта, является хорошим тоном поисковой оптимизации и повышает доверие к сайту. 

В этой статье мы рассмотрим, как сделать robots txt для WordPress, на базе плагина All In One SEO Pack.

Как сделать robots txt на WordPress


Чтобы создать robots.txt в WordPress установите плагин All In One SEO Pack, перейдите в меню управления модулями, выберите robots.txt и нажмите кнопку активировать, как показано на рисунке внизу. 

Как сделать robots txt на WordPress

В меню интерфейса появятся две новые вкладки:

  • robots.txt (интерфейс робота тхт в котором увидите правила, имя агента и путь к каталогу, а также пустое поле для текстовых опций.);
  • Редактор файлов (инструмент для написания робота).

Создать робота можно в любом окне интерфейса, но лучше в редакторе файлов.

Как создать робот тхт

Для создания robots.txt перейдите в редактор файлов и впишите все правила по очереди, с новой строки, без знаков препинания, а также адрес сайта и карты, после чего нажмите кнопку обновить.

Правильный robots txt для wordpress


Правильный robots txt для WordPress должен обеспечить качественный доступ к информации без дублирования ресурсов, показов черновиков, копий и скрытых частей сайта. Правильным роботом должны быть закрыты временный файлы, данные пользователей, политика конфиденциальности и другая информация неподлежащая публичной огласки.

Правильный robots txt для wordpress

    • Useragent: *
    • Disallow: /cgibin
    • Disallow: /wpadmin
    • Disallow: /wpincludes
    • Disallow: /wpcontent/plugins
    • Disallow: /wpcontent/cache
  • Disallow: /wpcontent/themes

    • Disallow: */trackback
    • Disallow: */feed
    • Disallow: /*?
    • Disallow: /author/
    • Disallow: /transfers.js
    • Disallow: /go.php
  • Disallow: /xmlrpc.php

Правильный robots txt для Yandex

    • Useragent: Yandex
    • Disallow: /cgibin
    • Disallow: /wpadmin
    • Disallow: /wpincludes
    • Disallow: /wpcontent/plugins
    • Disallow: /wpcontent/cache
  • Disallow: /wpcontent/themes

    • Disallow: */trackback
    • Disallow: */feed
    • Disallow: /*?
    • Disallow: /author/
    • Disallow: /transfers.js
    • Disallow: /go.php
  • Disallow: /xmlrpc.php

Правильный robots txt для Google

    • Useragent: Googlebot
    • Allow: *.css
    • Allow: *.js
    • Allow: /wpincludes/*.js
    • Disallow: /cgibin/
    • Disallow: /wpadmin/
    • Disallow: /wpincludes/
  • Disallow: /wpcontent/cache

    • Disallow: */trackback
    • Disallow: */feed
    • Disallow: /author/
    • Disallow: /transfers.js
    • Disallow: /go.php
    • Disallow: /xmlrpc.php
  • Disallow: /*?

Также нужно указать адрес карты сайта Sitemap: http://********/sitemap.xml для этого вместо звёздочек поставьте имя своего домена.

Настройка robots txt

Синтаксис для настройки робота:

  • User-agent – назначение данного правила (* — для всех, Yandex – для Яндекс, Googlebotи — Google и т.д..);
  • Disallow – запретить индексировать;
  • Allow — разрешить индексировать;
  • Host – url главного зеркала;
  • Sitemap – путь к XML карте.

Настройку robots.txt лучше самому ни делать так-как в большей части он универсальный и подходит всем без исключения, а значит лучше взять готовый, сделанный спецами.