Робот Googlebot на развилке дублирующихся URL-адресов со скобками

Ловушка квадратных скобок: как дубли URL ломают SEO в поиске

TL;DR: • Поисковые роботы спотыкаются на фасетных фильтрах интернет-магазинов, где параметры передаются в виде массивов с квадратными скобками [ ]. • Google Разделяет сырые скобки [ ] и их UTF-8 аналоги %5B%5D.

Дублирование страниц из-за некорректной обработки GET-массивов — это критическая техническая уязвимость, которая представляет собой главную причину скрытого падения позиций сайта в СНГ и на Западе. Главная цель краулеров Googlebot и YandexBot заключается в быстром сканировании уникального контента, однако стандартная спецификация разбора URL со спецсимволами содержит опасный дефект. Поисковые роботы спотыкаются на фасетных фильтрах интернет-магазинов, где параметры передаются в виде массивов с квадратными скобками [ ].

Если ваша CMS генерирует ссылки вида ?size[xl]=1, поисковые системы начинают бесконечно гонять роботов по идентичным страницам. Чтобы предотвратить падение трафика, изучите наше руководство и разверните готовый алгоритм нормализации ссылок.

Различия в логике поисковиков: Технический лог

Спецификация алгоритмов Google и Яндекса обрабатывает квадратные скобки по совершенно разным математическим моделям, но обе системы в итоге ломают продвижение:

Поисковая система🛠️ Вектор проблемы с URL🛑 Последствия для индекса✅ Метод лечения дефекта
GoogleРазделяет сырые скобки [ ] и их UTF-8 аналоги %5B%5D.Паук считает их разными адресами, тратя краулинговый бюджет на дубли.Серверный 301-редирект + тег canonical.
ЯндексСтроит бесконечные комбинации параметров в очередях парсинга.Помечает целевые категории как «малоценные или неоригинальные».Директива Clean-param в файле robots.txt.

Пошаговый алгоритм исправления для Google: Инструкция

Инструкция по устранению дубликатов в Google требует жесткой склейки канонических адресов. Чтобы настроить автоматическую нормализацию на стороне сервера и в коде, выполните следующие действия:

Шаг 1. Настройка серверного редиректа в Nginx

Используйте это regex-правило в конфигурационном файле вашего хоста, чтобы принудительно перенаправлять закодированные спецсимволы %5B и %5D на стандартные квадратные скобки, не давая Googlebot плодить лог мусорных страниц:

# Нормализация закодированных квадратных скобок в URL
if ($request_uri ~* "(.*)(%5B|%5b)(.*)(%5D|%5d)(.*)") {
    return 301 $1[$3]$5;
}

Шаг 2. Внедрение динамического тега canonical

Спецификация требует, чтобы на всех страницах фильтрации стоял жесткий указатель на чистую родительскую категорию. Внедрите в блок <head> HTML-кода разметку:

<!-- Защита от дублей фильтрации Google -->
<link rel="canonical" href="https://site.ru" />

Пошаговый алгоритм исправления для Яндекса: Инструкция

Главное отличие робота Яндекса — его можно мгновенно успокоить без переписывания серверных конфигов. Для этого используется специализированный инструмент очистки параметров.

  • Действие: Откройте ваш корневой файл robots.txt и пропишите межпрограммную директиву Clean-param. Она приказывает роботу склеивать все входящие чанки массивов, игнорируя перестановку скобок в адресе.
User-agent: Yandex
# Склеиваем массивы размеров и цветов для всех страниц каталога
Clean-param: size[]&color[] /catalog/

Чтобы проверить, не заблокировал ли этот лог важные посадочные страницы для ИИ-выдачи, прогоните структуру через Онлайн-генератор llms.txt v2.1 под ИИ-агентов и сверьтесь с данными в Генераторе ai.txt онлайн.

Безопасно ли закрывать URL с квадратными скобками через Disallow в robots.txt?

Нет, это грубая ошибка. Если вы просто закроете параметры через Disallow, Google и Яндекс перестанут видеть тег canonical и директиву Clean-param. Ссылочный вес продолжит утекать на дубли, а страницы выпадут из индекса.

Как проверить, страдает ли мой интернет-магазин от этой проблемы?

Проверьте логи сервера за последние 7 дней. Если вы видите, что User-Agent поисковиков запрашивает адреса с %5B%5D чаще, чем основные разделы, ваш краулинговый бюджет сливается впустую. Также используйте наш Симулятор ИИ-ответов онлайн (GEO Snippet Predictor) для оценки видимости чистых URL.