TL;DR: • Поисковые роботы спотыкаются на фасетных фильтрах интернет-магазинов, где параметры передаются в виде массивов с квадратными скобками [ ]. • Google Разделяет сырые скобки [ ] и их UTF-8 аналоги %5B%5D.
Дублирование страниц из-за некорректной обработки GET-массивов — это критическая техническая уязвимость, которая представляет собой главную причину скрытого падения позиций сайта в СНГ и на Западе. Главная цель краулеров Googlebot и YandexBot заключается в быстром сканировании уникального контента, однако стандартная спецификация разбора URL со спецсимволами содержит опасный дефект. Поисковые роботы спотыкаются на фасетных фильтрах интернет-магазинов, где параметры передаются в виде массивов с квадратными скобками [ ].
Если ваша CMS генерирует ссылки вида ?size[xl]=1, поисковые системы начинают бесконечно гонять роботов по идентичным страницам. Чтобы предотвратить падение трафика, изучите наше руководство и разверните готовый алгоритм нормализации ссылок.
Различия в логике поисковиков: Технический лог
Спецификация алгоритмов Google и Яндекса обрабатывает квадратные скобки по совершенно разным математическим моделям, но обе системы в итоге ломают продвижение:
| Поисковая система | 🛠️ Вектор проблемы с URL | 🛑 Последствия для индекса | ✅ Метод лечения дефекта |
|---|---|---|---|
Разделяет сырые скобки [ ] и их UTF-8 аналоги %5B%5D. | Паук считает их разными адресами, тратя краулинговый бюджет на дубли. | Серверный 301-редирект + тег canonical. | |
| Яндекс | Строит бесконечные комбинации параметров в очередях парсинга. | Помечает целевые категории как «малоценные или неоригинальные». | Директива Clean-param в файле robots.txt. |
Пошаговый алгоритм исправления для Google: Инструкция
Инструкция по устранению дубликатов в Google требует жесткой склейки канонических адресов. Чтобы настроить автоматическую нормализацию на стороне сервера и в коде, выполните следующие действия:
Шаг 1. Настройка серверного редиректа в Nginx
Используйте это regex-правило в конфигурационном файле вашего хоста, чтобы принудительно перенаправлять закодированные спецсимволы %5B и %5D на стандартные квадратные скобки, не давая Googlebot плодить лог мусорных страниц:
# Нормализация закодированных квадратных скобок в URL
if ($request_uri ~* "(.*)(%5B|%5b)(.*)(%5D|%5d)(.*)") {
return 301 $1[$3]$5;
}
Шаг 2. Внедрение динамического тега canonical
Спецификация требует, чтобы на всех страницах фильтрации стоял жесткий указатель на чистую родительскую категорию. Внедрите в блок <head> HTML-кода разметку:
<!-- Защита от дублей фильтрации Google -->
<link rel="canonical" href="https://site.ru" />
Пошаговый алгоритм исправления для Яндекса: Инструкция
Главное отличие робота Яндекса — его можно мгновенно успокоить без переписывания серверных конфигов. Для этого используется специализированный инструмент очистки параметров.
- Действие: Откройте ваш корневой файл
robots.txtи пропишите межпрограммную директивуClean-param. Она приказывает роботу склеивать все входящие чанки массивов, игнорируя перестановку скобок в адресе.
User-agent: Yandex
# Склеиваем массивы размеров и цветов для всех страниц каталога
Clean-param: size[]&color[] /catalog/
Чтобы проверить, не заблокировал ли этот лог важные посадочные страницы для ИИ-выдачи, прогоните структуру через Онлайн-генератор llms.txt v2.1 под ИИ-агентов и сверьтесь с данными в Генераторе ai.txt онлайн.
Безопасно ли закрывать URL с квадратными скобками через Disallow в robots.txt?
Нет, это грубая ошибка. Если вы просто закроете параметры через Disallow, Google и Яндекс перестанут видеть тег canonical и директиву Clean-param. Ссылочный вес продолжит утекать на дубли, а страницы выпадут из индекса.
Как проверить, страдает ли мой интернет-магазин от этой проблемы?
Проверьте логи сервера за последние 7 дней. Если вы видите, что User-Agent поисковиков запрашивает адреса с %5B%5D чаще, чем основные разделы, ваш краулинговый бюджет сливается впустую. Также используйте наш Симулятор ИИ-ответов онлайн (GEO Snippet Predictor) для оценки видимости чистых URL.












