Массовая проверка noindex и nofollow: как не потерять тысячи страниц из индекса Google

Теги noindex и nofollow — это не «мелкие настройки». Это инструкции для Google: «Не индексируй эту страницу» и «Не передавай ссылочный вес». Если они применены массово, ошибочно или случайно — вы можете полностью удалить из индекса десятки тысяч страниц. И даже не заметите, пока трафик не упадёт на 80%.

• noindex на страницах с уникальным контентом: например, товары, статьи, отзывы — случайно закрыты
• nofollow на внутренних ссылках: Google не «видит» структуру сайта, теряется вес страниц
• noindex в robots.txt: это НЕ работает! Google игнорирует noindex в robots.txt — только метатеги
• дублирующиеся noindex/nofollow: несколько тегов на одной странице — конфликт
• noindex по умолчанию на всех новых страницах: шаблон CMS забыли переопределить
• noindex в meta robots + X-Robots-Tag: перекрытие сигналов — Google берёт самый строгий

Важное замечание: Тег <meta name="robots" content="noindex"> — это запрет на индексацию. Он не «временно отключен» — он удаляет страницу из индекса. И если вы не знаете, где он стоит — вы рискуете потерять весь ваш контент.

Используйте:

• Screaming Frog — перейдите в «Response Codes» → фильтр «Indexability» → выберите «Noindex», «Nofollow»
• Ahrefs Site Audit — отчёт «Pages with noindex» и «Internal links with nofollow»
• Sitebulb — детальный анализ «Robots Meta Tags» и «X-Robots-Tag»
• Google Search Console — раздел «Покрытие» → ищите страницы с меткой «Исключено: noindex»
• Python + BeautifulSoup — сканируйте все страницы и выгружайте список с noindex/nofollow в Excel

Пример из практики: У клиента — интернет-магазин с 8500 товаров. После обновления CMS все страницы фильтров («цена от 500 до 1000») получили noindex. Google перестал индексировать 3200 страниц с уникальными товарами. После исправления — органический трафик вырос на +127% за 4 месяца.

• После обновления CMS, плагинов SEO или шаблона сайта
• Перед запуском масштабной рекламы — чтобы не тратить бюджет на закрытые страницы
• При резком падении трафика — первое, что нужно проверить
• После миграции сайта или смены хостинга
• Раз в 1–2 месяца — как обязательный пункт SEO-аудита

Важный вопрос: Что будет, если вы не проверите noindex? — Google может удалить из индекса 1000+ страниц, и вы даже не узнаете об этом. Вы будете думать: «Почему мы не в топе?» — а ответ прост: Google просто не видит ваши страницы.

• noindex — используйте ТОЛЬКО для:
  • Страниц с дублями (фильтры, сортировка)
  • Страницы личного кабинета, корзины, регистрации
  • Тестовые/временные страницы
• nofollow — используйте ТОЛЬКО для:
  • Внешних ссылок (реклама, партнерки)
  • Комментарии пользователей
  • Не доверенные ссылки (спам)
• Никогда не ставьте noindex на страницы с уникальным контентом: товары, статьи, отзывы
• Всегда проверяйте: нет ли noindex в метатеге + X-Robots-Tag одновременно
• Автоматизируйте: добавьте в шаблон CMS проверку — «если это товар/статья → noindex запрещён»
• Создайте чек-лист: «Что нельзя закрывать от индексации» — и вешайте его на всех разработчиков

Теги noindex и nofollow — это не «настройка SEO», а бомба замедленного действия. Они могут уничтожить вашу видимость в Google без единого предупреждения. Массовая проверка этих тегов — это обязательная операция для любого крупного сайта.

Если вы не проверяете их — вы рискуете потерять десятки тысяч страниц, которые вы не видите, но Google уже удалил.

Контролируйте noindex — и вы контролируете индексацию. Контролируйте индексацию — и вы контролируете трафик.