В середине сентября 2026 года тысячи сайтов рискуют полностью вылететь из поиска Google. Причина — скрытое изменение в логике защиты Cloudflare. Если вы пытались защитить свой контент от кражи искусственным интеллектом, вы могли случайно поставить крест на классическом SEO.
Великий бан Googlebot: что изменится 15 сентября
Сетевой гигант Cloudflare официально меняет правила фильтрации трафика. Начиная с 15 сентября, система начнет распознавать роботов Googlebot и Bingbot как гибридные краулеры. Теперь для Cloudflare они не просто поисковики, а инструменты, которые одновременно собирают данные для обучения ИИ.
В чем смертельная ловушка для вебмастера:
Если в панели Cloudflare у вас включен популярный тумблер «Block AI bots» (Блокировать ИИ-ботов), система сработает автоматически. Вместе с роботами OpenAI под раздачу попадет и стандартный Googlebot. Поисковик просто наткнется на стену, не сможет проиндексировать новые страницы, и сайт начнет стремительно терять позиции в классической выдаче.
Обязательно зайдите в настройки Cloudflare до 15 сентября и проверьте правила исключений, чтобы не остаться без органического трафика.
Правило 200 символов: как ChatGPT на самом деле видит ваш сайт
Пока все паникуют из-за Cloudflare, французские исследователи из компании Resoneo вскрыли изнутри поисковый индекс OpenAI. Они изучали логи трафика ChatGPT и выяснили, как нейросеть сканирует обычные веб-страницы.
Многие думали, что бесплатным сайтам без многомиллионных контрактов с OpenAI ловить в ИИ-выдаче нечего. Но данные показали: ChatGPT индексирует и выводит маленькие ресурсы точно так же, как и своих официальных лицензированных партнеров. Контракты не дают блата в выдаче.
Однако исследователи нашли жесткое техническое ограничение. Внутренний индекс ChatGPT сохраняет от вашей страницы всего две вещи:
- Title (Заголовок страницы).
- Около 200 символов текста с самого верха кода.
Если верстка вашего сайта устроена так, что перед первым абзацем статьи идет тяжелое навигационное меню, код баннеров, плашки куки или технические скрипты, то ChatGPT «съест» именно этот мусор. Вся полезная суть статьи просто не поместится в лимит, и ИИ решит, что страница пустая.
Вывод простой: поднимайте главный контент и страницы как можно выше в коде. У вас есть всего 200 символов, чтобы зацепить робота.
Почему Cloudflare решил блокировать Googlebot?
Cloudflare не блокирует его намеренно. Он лишь выполняет команду вебмастера «не отдавать контент для обучения ИИ». Поскольку Google теперь официально собирает данные для своих моделей через основных поисковых роботов, Cloudflare вынужден перекрыть им доступ, если включена защита.
Стоит ли отключать блокировку ИИ-ботов из-за этого апдейта?
Полностью отключать не нужно. Достаточно настроить точечные правила (Custom Rules) в Cloudflare, которые заблокируют агрессивных ИИ-парсеров (например, ByteSpider), но оставят «зеленый коридор» для легальных роботов Google и Bing.
Могут ли 200 символов в индексе ChatGPT измениться со временем?
Да, OpenAI постоянно дорабатывает инфраструктуру. Но сейчас, из-за экономии бюджетов на хранение данных, они берут только самую верхнюю выжимку. Чистый код без лишних скриптов в шапке сайта — это стандарт веба, который теперь критически важен для ИИ.
