Блокировка ИИ-ботов на сервере: как закрыть сайт в Nginx и .htaccess

Вебмастерам все чаще приходится решать задачу, как заблокировать ботов на уровне сервера, так как обычный robots.txt перестал защищать уникальный контент. Каждый день сотни роботов искусственного интеллекта (LLM-краулеров) скачивают информацию из рунета. Они делают это бесплатно, чтобы обучать нейросети (ChatGPT, Claude, Gemini) или отдавать готовые ответы пользователям в ИИ-выдаче, полностью лишая коммерческие сайты целевого трафика.

Чтобы гарантированно защитить интеллектуальную собственность и снизить нагрузку на хостинг, нужно переходить на жесткую блокировку на уровне веб-сервера (Nginx или Apache/.htaccess).

Блокировка ИИ-ботов в .htaccess (Apache)

Если ваш сайт работает на сервере Apache, блокировка настраивается через файл .htaccess в корневом каталоге. Метод основан на проверке сигнатуры User-Agent, которую передает краулер.

Добавьте этот код в начало файла .htaccess:

RewriteEngine On
# Блокировка популярных ИИ-краулеров
RewriteCond %{HTTP_USER_AGENT} (ChatGPT-User|GPTBot|ClaudeBot|PerplexityBot|Omgilibot|FacebookBot|ByteSpider) [NC]
RewriteRule .* - [F,L]

Как это работает: Модуль mod_rewrite перехватывает запрос бота до того, как начнет грузиться CMS (например, WordPress). Бот моментально получает жесткий ответ 403 Forbidden и разрыв соединения, сохраняя ресурсы вашей базы данных.

Жесткая блокировка в конфигурации Nginx

Для высоконагруженных проектов на Nginx блокировка через регулярные выражения в nginx.conf — самый эффективный способ. Нам не нужно обрабатывать тяжелые скрипты: сервер отсечет бота «на лету».

Вставьте это правило внутрь блока server вашей конфигурации:

if ($http_user_agent ~* (ChatGPT-User|GPTBot|ClaudeBot|PerplexityBot|Omgilibot|FacebookBot|ByteSpider)) {
    return 443; 
}

Совет: Вместо стандартной ошибки 403 можно возвращать код 444. В спецификации Nginx это означает «закрыть соединение без отправки заголовков». Бот вообще ничего не получит в ответ.

Обратная сторона: Настройка CORS для ИИ-поисковиков

Блокировать нужно «серых» роботов, которые крадут тексты для обучения моделей. Но если вы создали файлы для ИИ-поиска (например, llms.txt), их, наоборот, нужно сделать максимально доступными. Поскольку ИИ-агенты нового поколения (GEO) часто обращаются к вашему сайту через сторонние облачные JS-приложения, они могут натыкаться на блокировку со стороны браузерной политики безопасности (CORS). Чтобы llms.txt считывался без ошибок, для него нужно принудительно отдать разрешающие заголовки.

Настройка CORS в Nginx для llms.txt:

location ~* /(llms\.txt|llms-author\.txt)$ {
    add_header 'Access-Control-Allow-Origin' '*';
    add_header 'Access-Control-Allow-Methods' 'GET, OPTIONS';
    try_files $uri =404;
}

Настройка CORS в .htaccess для llms.txt:

<FilesMatch "^(llms\.txt|llms-author\.txt)$">
    Header set Access-Control-Allow-Origin "*"
    Header set Access-Control-Allow-Methods "GET, OPTIONS"
</FilesMatch>

Это позволит легальным ИИ-ассистентам (вроде Perplexity или Claude) беспрепятственно забирать чистую структуру вашего сайта и правильно цитировать ваш бренд, не вызывая галлюцинаций нейросети

.Советы по защите

1. Изучите логи сервера через Анализатор логов ИИ, чтобы составить индивидуальный черный список IP.
2. Пропишите мягкие правила для легальных ботов через наш Генератор robots.txt и Генератор ai.txt онлайн.
3. Защитите код сервера с помощью Интерактивного генератора защиты от плохих ботов .htaccess / Nginx.