Отрезаем хвосты ИИ: почему бот ChatGPT-User игнорирует robots.txt и как закрыть сайт на уровне сервера

Многие вебмастера спят спокойно, прописав блокировки для GPTBot или Google-Extended. В нашей прошлой статье мы подробно разбирали, как закрыть сайт от ИИ-роботов через robots.txt. Спешим вас расстроить: ваша защита больше не работает. Компания OpenAI официально подтвердила, что их новый краулер ChatGPT-User имеет полное право игнорировать стандартные директивы robots.txt.

Пока вы думаете, что скрыли от искусственного интеллекта приватные разделы, коммерческие базы или уникальные платные статьи, ИИ-агенты свободно сканируют их в реальном времени.

Разбираемся, как работает эта лазейка и как жестко заблокировать сервер от наглых роботов.

Юридический трюк OpenAI: в чем разница между ботами

Разработчики ChatGPT разделили своих поисковых роботов на два лагеря. У них абсолютно разные задачи и правила поведения.

1. GPTBot. Это автономный комбайн. Он послушно соблюдает инструкции в robots.txt. Бот ходит по сети, собирает терабайты текстов и уносит их в базу для обучения будущих моделей (например, GPT-5 или GPT-6).
2. ChatGPT-User. Это бот реального времени. Он активируется только тогда, когда живой пользователь в чате ChatGPT отправляет прямую ссылку на ваш сайт или просит ИИ: «Найди мне свежие цены на этом ресурсе».

И вот здесь OpenAI включила юридическую хитрость. Они заявляют: раз бот действует по прямой указке человека, он является обычным браузером (как Chrome или Safari). А обычному браузеру плевать на ограничения robots.txt, ведь он просто показывает страницу конечному пользователю.

Итог: robots.txt для ChatGPT-User — пустой звук. Если страница физически доступна в сети, ChatGPT её прочитает.

Как защитить приватные данные: блокировка на уровне сервера

Если классический robots.txt бессилен, защиту нужно переносить на уровень выше — туда, где сервер обрывает соединение еще до того, как страница начнет загружаться.

Ниже приведены три рабочих способа заблокировать ChatGPT-User.

Способ 1. Настройка через .htaccess (для серверов Apache)

Если ваш сайт работает на хостинге с Apache (например, популярные CMS вроде WordPress), добавьте эти строки в самый верх файла .htaccess в корневой папке сайта:

apacheRewriteEngine On
RewriteCond %{HTTP_USER_AGENT} .*ChatGPT-User.* [NC]
RewriteRule ^(.*)$ - [F,L]

Как это работает: Сервер проверяет юзер-агент (имя) посетителя. Если там есть слово ChatGPT-User, робот мгновенно получает ошибку 403 Forbidden (Доступ запрещен).

Способ 2. Настройка через Nginx

Если вы администрируете сервер на Nginx самостоятельно, добавьте это правило в блок server вашего конфигурационного файла:

if ($http_user_agent ~* "ChatGPT-User") {
    return 403;
}

После добавления кода не забудьте перезагрузить конфигурацию командой nginx -s reload.

Способ 3. Жесткий блок через Cloudflare WAF (самый надежный путь)

Если ваш сайт защищен через Cloudflare, вам даже не нужно править код на сервере. Настройте бесплатное правило безопасности:

1. Зайдите в панель Cloudflare ➔ Security ➔ WAF ➔ Custom Rules.
2. Нажмите Create rule.
3. В поле Field выберите User Agent, в Operator — contains, в Value впишите ChatGPT-User.
4. В самом низу в графе Choose action выберите Block.
5. Нажмите Deploy.

теперь бот споткнется о защиту Cloudflare еще на подлете к сайту.

Выводы для вебмастера

Мир GEO (оптимизации под ИИ) меняется слишком быстро. Старые методы защиты из 1990-х годов больше не справляются с умными ИИ-агентами.

Если на вашем сайте есть контент, который вы не хотите бесплатно дарить корпорациям для их ИИ-ответов, закрывайте его технически на уровне сервера. Надеяться на честность и правила robots.txt в 2026 году — непозволительная роскошь.