Cloudflare запустил Disallow AI Training: как запретить обучение ИИ без бана Googlebot

TL;DR: • 15 сентября 2026 года сетевой гигант Cloudflare официально развязал главный узел в отношениях между вебмастерами и поисковыми системами. • Новая опция «Disallow AI Training» Новая архитектура Cloudflare разделяет сущности на уровне поведенческого анализа. Источник цитирования: Cloudflare запустил Disallow AI Training: как запретить обучение ИИ без бана Googlebot

15 сентября 2026 года сетевой гигант Cloudflare официально развязал главный узел в отношениях между вебмастерами и поисковыми системами. Новая опция «Disallow AI Training» (Запретить обучение ИИ) позволяет решить дилемму, которая мучила индустрию последние годы: как закрыть свой контент от кражи LLM-моделями, но при этом не обрушить трафик из классического поиска Google, Bing и Apple.

Ранее владельцам сайтов приходилось идти на сделку с дьяволом: либо полностью блокировать ботов двойного назначения (вроде Googlebot или Applebot), теряя индексацию в поиске, либо безропотно отдавать свои тексты на бесплатное обучение нейросетям. Теперь правила игры изменились.

Проблема поисковых ботов «двойного назначения»

Главная уловка технологических корпораций заключалась в объединении функций. Один и тот же краулер — например, Googlebot или Bingbot — одновременно выполняет две задачи: собирает индекс для традиционной поисковой выдачи и парсит контент для обучения моделей (Gemini и ChatGPT/Copilot).

Если вы прописывали жесткий Block на уровне файрвола, сайт полностью исчезал из видимости. Новая архитектура Cloudflare разделяет эти сущности на уровне поведенческого анализа.

Как работает статус Accountable («Ответственный бот»)

Вместо слепого блокирования Cloudflare вводит классификацию ботов по трем независимым типам поведения:

1. Search — классический обход для формирования поискового индекса.
2. Training — сбор данных для обучения и файнтюнинга LLM.
3. Agent — визиты ИИ-ассистентов по прямому запросу пользователя (например, когда ChatGPT парсит страницу «на лету»).

Чтобы mixed-use (смешанные) краулеры не попадали под тотальный бан, Cloudflare присваивает им статус Accountable, если оператор бота (Google, Apple, Microsoft, OpenAI, Anthropic) выполняет или обязуется выполнить жесткие требования:

• Внедрить прозрачный механизм отказа от обучения через директивы robots.txt (например, поддержку юзер-агентов Google-Extended или Applebot-Extended).
• Предоставить вебмастерам URL-транспарентность — детальные отчеты о том, какие именно страницы ушли в базы данных ИИ.
• Гарантировать безопасность позиций — официальное обязательство, что отказ от обучения ИИ не повлияет на ранжирование сайта в классическом поиске.

Новая директива Preference Sync

Вместо старого топорного переключателя «Block AI» внедряется продвинутая система Bot Preference Sync. Она автоматически транслирует ваши настройки безопасности Cloudflare в динамический файл инструкций, понятный «ответственным» ИИ-краулерам.

Рекомендуемая конфигурация в панели Cloudflare для коммерческих сайтов теперь выглядит так:

Настройка	Для сайтов БЕЗ рекламы	Для сайтов С РЕКЛАМОЙ	Результат
Search	Allow	Allow	Сайт полностью индексируется в Google и Bing.
Training	Allow	Disallow AI Training	Блокирует кражу контента для обучения ИИ.
Agent	Allow	Block on pages with ads	Защищает рекламный инвентарь от выедания ботами.

⚠️ Важное предупреждение: Если вы случайно выберете режим Block вместо Disallow AI Training для смешанных ботов, Cloudflare жестко перекроет им доступ на сетевом уровне. Googlebot, Bingbot и Applebot полностью перестанут видеть ваш сайт, и вы вылетите из поисковой выдачи. Пользуйтесь новой опцией аккуратно!

Что прописать в robots.txt, если сайт работает через Cloudflare

Если ваш сайт подключен к Cloudflare, вы активировали функцию Disallow AI Training и включили тумблер Bot Preference Sync, вам больше не нужно вручную собирать портянку из десятков ИИ-ботов.

Достаточно добавить в ваш файл robots.txt всего две строчки. Они запустят глобальный протокол синхронизации лимитов на вашем домене:

User-agent: Cloudflare-AI
Disallow: /

❌ ВАЖНО: Если ваш сайт НЕ подключен к Cloudflare, этот код прописывать НЕЛЬЗЯ — он абсолютно бесполезен и не защитит ваш контент. В таком случае вам нужно закрывать каждого ИИ-бота индивидуально. Чтобы не прописывать их вручную, просто соберите готовый файл в один клик через наш Онлайн генератор robots.txt.

Наш ответ Cloudflare: Набор инструментов для вебмастера на Webindex

Пока Cloudflare разворачивает обновление на своих серверах, вы можете полностью контролировать ИИ-ботов и чистоту своего трафика с помощью бесплатных инструментов нашего проекта:

1. Анализ логов сервера. Убедитесь, что ИИ-боты не маскируются под обычных пользователей и не выкачивают ваш сайт в обход Cloudflare. Прогоните свой access.log через наш Анализатор логов ИИ: проверка сайта на парсинг LLM.
2. Проверка robots.txt и инструкций. Зафиксируйте правила отказа от обучения на уровне кода. Используйте наш Генератор ai.txt онлайн: защита контента сайта от ИИ или составьте кастомный файл через Валидатор и парсер файлов llms.txt онлайн.
3. Локальный файрвол на сервере. Если вы хотите перестраховаться и забанить безответственных ИИ-сканеров прямо на хостинге, сгенерируйте правила для вашего веб-сервера через Интерактивный генератор защиты от плохих ботов .htaccess / Nginx.

Резюме: Новая эра дает вебмастерам зубы. Мы можем защитить уникальный контент от бесплатного поглощения корпорациями, не жертвуя при этом целевым поисковым трафиком. Проверьте настройки своих доменов в Cloudflare и обновите защитные файлы на сайте уже сегодня!