Как запретить роботам индексировать страницы архива в WordPress

Зачем запрещать индексацию страниц архива в WordPress

Страницы архива WordPress, такие как архивы по дате, категориям, меткам или автору, генерируются автоматически. Они могут создавать дублированный контент и увеличивать количество проиндексированных страниц, что негативно влияет на SEO сайта. Например, если у вас активны архивы по датам, поисковые системы могут считать несколько страниц с похожим содержанием, что снижает уникальность и качество индексации.

В большинстве случаев страницы архива не несут дополнительной ценности для пользователей и поисковиков, поэтому целесообразно запретить их индексацию. Это можно сделать несколькими способами: через мета-теги robots, через файл robots.txt или с помощью плагинов. Ниже разберём конкретные решения с примерами кода и рекомендациями.

Запрет индексации через мета-тег robots в header

Самый надёжный способ — добавить мета-тег <meta name="robots" content="noindex,follow"> на страницы архива. Это скажет поисковикам не индексировать страницу, но продолжать переходить по ссылкам на ней, чтобы сохранить ссылочный вес.

Чтобы добавить этот тег программно в WordPress, можно использовать хуки wp_head и условные теги для определения архивных страниц. Например:

function wpsource_noindex_archives() {
    if (is_archive() || is_date() || is_author()) {
        echo '<meta name="robots" content="noindex,follow">\n';
    }
}
add_action('wp_head', 'wpsource_noindex_archives');

Этот код добавит тег на все архивы, включая категории, метки, даты и авторов. Если нужно запретить индексацию только определённых типов архивов, можно уточнить условие, например, is_date() или is_author().

Как проверить, что мета-тег работает

После добавления кода очистите кеш сайта и откройте страницу архива в браузере. В исходном коде страницы найдите meta name="robots" и убедитесь, что там стоит noindex,follow. Также можно использовать инструменты типа Google Search Console или SEO-плагины для проверки.

Использование плагинов для управления индексацией

Если вы предпочитаете не править код напрямую, есть плагины, которые позволяют гибко управлять индексацией архивов и других страниц:

• Clearfy Pro — плагин оптимизации, который включает настройки для SEO, в том числе запрет индексации архивов и таксономий. Можно быстро выключить индексацию архивов без кода.
• Подробнее о Clearfy Pro на WpShop.ru
• Yoast SEO — популярный SEO-плагин с возможностью управлять индексацией различных типов страниц, включая архивы категорий и тегов.
• Rank Math SEO — аналог Yoast с расширенными настройками индексации и возможностью легко выключить страницы архива.

Преимущество плагинов — удобный интерфейс и дополнительные SEO-функции, но они увеличивают нагрузку на сайт. Для минималистичных сайтов лучше использовать код.

Запрет индексации через robots.txt

Другой способ — добавить запрет в файл robots.txt. Например, чтобы запретить индексацию всех архивов:

User-agent: *
Disallow: /category/
Disallow: /tag/
Disallow: /author/
Disallow: /date/

Однако этот метод менее гибкий и не всегда рекомендуем, так как поисковики могут игнорировать robots.txt для некоторых запросов. Кроме того, robots.txt блокирует сканирование, но не всегда предотвращает индексацию, если на страницу есть ссылки.

Рекомендации по использованию robots.txt

Используйте robots.txt для блокировки путей, которые вы действительно не хотите сканировать, но лучше комбинировать с мета-тегом noindex для надёжного результата.

Пример комплексного решения с кодом и плагином

Оптимальным будет добавить мета-тег с помощью кода и при этом использовать Clearfy Pro для удобства управления SEO. Например, в functions.php добавить:

function wpsource_noindex_selected_archives() {
    if (is_date() || is_author()) {
        echo '<meta name="robots" content="noindex,follow">\n';
    }
}
add_action('wp_head', 'wpsource_noindex_selected_archives');

А для категорий и тегов включить запрет индексации в Clearfy Pro. Это позволит гибко управлять разными типами архивов без избыточного кода.

Как проверить результат в поисковых системах

После внесения изменений используйте Google Search Console:

• В разделе «Покрытие» проверяйте, какие страницы проиндексированы.
• Отправляйте на переобход страницы архива, чтобы убедиться, что поисковик видит новый мета-тег.
• Следите за отчётами о проблемах с дублированным контентом и индексацией.

В Яндексе можно использовать Яндекс.Вебмастер с аналогичными инструментами.

Заключение

Запрет индексации страниц архива в WordPress — важная задача для улучшения SEO и исключения дублированного контента. Лучший способ — добавить мета-тег noindex через код с использованием хуков wp_head и условных тегов, а при необходимости — использовать SEO-плагины вроде Clearfy Pro для удобного управления. Комбинируйте с настройкой robots.txt для комплексного подхода.

Если хотите быстро и эффективно оптимизировать сайт, советую обратить внимание на Clearfy Pro — он существенно упрощает работу с SEO и безопасностью.