Страницы пагинации вроде /page/2/, /page/3/ и дальше часто попадают в индекс поисковых систем, хотя пользы от них для сайта может быть мало. Но закрывать их от индексации не всегда правильно: в некоторых случаях это ухудшает обход сайта и мешает поиску находить внутренние страницы. Поэтому сначала нужно понять, действительно ли пагинация мешает, а уже потом выбирать способ.
Короткий ответ такой: если у вас обычный блог, новостной раздел или архивы, и страницы пагинации дублируют основную выдачу без самостоятельной ценности, их можно закрыть от индексации. Если же через пагинацию поисковик добирается до важных материалов, а сами страницы помогают пользователю и не создают проблем с дублями, лучше оставить их доступными для обхода и индексации.
Когда пагинацию лучше не трогать
Пагинация нужна не только для удобства посетителя. Для поискового робота это тоже способ пройти глубже по архивам, категориям, тегам и спискам записей. Если вы просто уберёте страницы пагинации из индекса, но при этом не позаботитесь о внутренней перелинковке, часть материалов может стать хуже доступна для обхода.
Оставлять пагинацию в индексе обычно разумно, если:
- на страницах пагинации есть уникальные ссылки на записи, которые нельзя нормально добрать с первой страницы;
- архивы большие, и робот использует пагинацию как путь к новым материалам;
- страницы пагинации не создают явных дублей по контенту и не засоряют индекс;
- у вас нет задачи специально сокращать количество индексируемых URL ради чистки индекса.
Если сайт небольшой, а страницы /page/2/ и дальше почти не несут самостоятельной ценности, тогда закрытие от индексации может быть оправдано. Но важно не путать индексацию и обход: поисковику часто полезно видеть ссылки на этих страницах, даже если сам URL не должен ранжироваться.
Что именно нужно закрыть: индексирование или обход
Для WordPress это принципиальный момент. Часто пользователь хочет «убрать из индекса», но на практике пытается запретить и индексацию, и обход сразу. Это не одно и то же.
Если поставить запрет в robots.txt, робот может перестать заходить на страницы пагинации. Но это не гарантирует их удаление из индекса, если URL уже известен поисковой системе. Кроме того, вы теряете возможность передавать роботу сигналы через ссылки на этих страницах.
Если использовать noindex, страница может оставаться доступной для обхода, но не попадать в индекс. Для задачи «убрать из индекса страницы пагинации» это обычно более точный вариант. Именно его чаще и стоит выбирать.
Самый безопасный способ: noindex для страниц пагинации
В WordPress удобнее всего закрывать пагинацию от индексации через SEO-плагин, который умеет задавать мета-тег robots или HTTP-заголовок X-Robots-Tag. Это предпочтительнее ручного редактирования шаблонов, если вы не хотите править тему и следить за обновлениями.
Если у вас уже стоит SEO-плагин, проверьте, есть ли в нём настройка для архивов, категорий и пагинации. В разных плагинах логика отличается, но смысл один: для страниц /page/2/ и дальше должен появляться noindex, а не index.
Если плагин позволяет задать правило только для архивов целиком, этого может быть достаточно, но не всегда удобно. Иногда лучше закрывать именно пагинацию, а не весь архив. Это зависит от того, как устроен ваш сайт и какие страницы должны оставаться в поиске.
Когда ручная настройка через код уместна
Если вы не используете SEO-плагин или хотите точечно управлять мета-тегами, можно добавить правило в тему или дочернюю тему. Для этого подходит фильтр wp_robots, который есть в современных версиях WordPress. Он позволяет изменить директивы robots без вмешательства в шаблоны каждой страницы.
Пример ниже добавляет noindex, follow только для страниц пагинации. Это означает, что поисковик не должен индексировать саму страницу, но может переходить по ссылкам на ней.
add_filter( 'wp_robots', function( array $robots ) : array {
if ( is_paged() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Этот код лучше размещать в дочерней теме или в небольшом функциональном плагине. Не вставляйте его в основную тему, если она обновляется: после обновления изменения могут пропасть.
Если у вас старая версия WordPress, где фильтр wp_robots недоступен, тогда решение зависит от темы и плагинов. В таком случае проще и надёжнее использовать SEO-плагин, чем собирать собственную реализацию вручную.
Почему не стоит просто закрывать пагинацию в robots.txt
Это частая ошибка. Запрет в robots.txt выглядит просто, но для задачи удаления из индекса он не лучший вариант. Если поисковик уже знает URL, он может сохранить его в базе без содержимого страницы. В результате в выдаче останется адрес, а не нормальная очищенная индексация.
Кроме того, блокировка в robots.txt мешает роботу увидеть страницу целиком. Если на пагинации есть важные ссылки на записи, робот может хуже обходить сайт. Поэтому для большинства WordPress-сайтов правильнее использовать noindex, а не запрет в robots.
Исключение бывает только тогда, когда вы осознанно хотите закрыть от обхода целый технический раздел и понимаете последствия. Для обычных архивов и страниц списков это не тот случай.
Как проверить, что страницы пагинации действительно закрыты
После настройки не стоит полагаться только на ощущение. Нужно проверить исходный код страницы /page/2/ или любой другой пагинации.
Откройте страницу в браузере и посмотрите исходный код или ответ сервера. На странице должен быть либо мета-тег вида <meta name="robots" content="noindex,follow">, либо соответствующий HTTP-заголовок X-Robots-Tag. Конкретный формат зависит от того, как именно вы внедрили правило.
Дальше проверьте, не осталось ли в robots.txt жёсткого запрета на эти URL, если вы не планировали блокировать обход. Для этого достаточно открыть /robots.txt в браузере и посмотреть, нет ли там правил, которые перекрывают вашу настройку.
Если страницы уже были в индексе, удаление может занять время. Поисковик не всегда убирает URL сразу после изменения мета-тега. Обычно нужно дождаться повторного обхода. Если у вас есть доступ к панели вебмастера, можно отправить страницу на переобход или проверить статус индексации там.
Что делать, если пагинация уже засорила индекс
Если в индексе уже накопились десятки или сотни URL вида /page/2/, /page/3/ и так далее, одной настройки noindex мало. Нужно ещё убрать причины, по которым эти страницы активно индексировались раньше.
Проверьте три вещи:
- нет ли в sitemap.xml страниц пагинации, если ваш генератор карты сайта добавляет их туда по ошибке;
- не дублируются ли архивы по нескольким адресам из-за настроек темы или плагинов;
- не ведут ли внутренние ссылки на пагинацию с лишними параметрами, которые создают дополнительные URL.
Если проблема только в старых URL, обычно помогает комбинация: noindex для пагинации, корректная карта сайта и нормальная внутренняя структура ссылок. После этого поисковик постепенно вычистит лишние страницы.
Когда лучше оставить пагинацию в индексе
Иногда попытка «почистить индекс» приносит больше вреда, чем пользы. Это особенно заметно на крупных сайтах с большим количеством материалов, где пагинация реально помогает поисковому роботу добраться до новых записей.
Оставить пагинацию в индексе стоит, если:
- страницы архива сами по себе полезны пользователю и не выглядят как технический мусор;
- по ним есть стабильный трафик из поиска;
- робот хуже обходит сайт без этих страниц;
- вы не видите проблем с дублями и каннибализацией запросов.
В таких случаях не нужно бороться с самой пагинацией. Лучше улучшить заголовки, структуру архивов, перелинковку и качество страниц записей. Тогда пагинация останется рабочим элементом сайта, а не проблемой.
Если вам нужно именно убрать из индекса страницы пагинации в WordPress, ориентируйтесь на noindex, а не на грубую блокировку. Это более точный и предсказуемый способ, особенно если сайт уже живёт и индексируется поисковиками. А решение «закрывать или оставлять» зависит не от моды, а от того, как поисковик проходит по вашему сайту и какую роль эти страницы реально играют.