Добро пожаловать в открытый аналитический хаб WEBINDEX. В этом реестре собраны все актуальные ИИ-боты, скрейперы и обучающие краулеры, которые сканируют сайты в 2026 году. Здесь вы найдете полные строки User-Agent, инструкции по аудиту логов сервера и готовые коды блокировки для файлов robots.txt и Cloudflare WAF.
ChatGPT-User
Точечный робот OpenAI. Сканирует контент под живые поисковые запросы пользователей в веб-поиске чата.
Google-Media AI
Специализированные агенты Googlebot-Image и Googlebot-Video. Сбор картинок и видео для генерации медиа-ответов в Gemini.
GPTBot
Промышленный обучающий краулер. Массово выкачивает терабайты данных для обучения будущих моделей LLM.
Applebot-Extended
ИИ-агент экосистемы Apple Intelligence. Настройка прав доступа, аудит логов хостинга и правила фильтрации.
Claude & Claude Code
Юзер-агенты компании Anthropic. Анализ поведения роботов, точечная блокировка claude-code и директивы для robots.txt.
Google-Extended
Обучающий краулер моделей Google Gemini. Инструкции по защите контента от скрейпинга и директивы для robots.txt.
GoogleOther
Вспомогательный краулер Google для сбора ИИ-данных, скрытого тестирования и прототипирования новых поисковых функций.
Meta-ExternalAgent
Основной обучающий краулер корпорации Meta. Сбор текстового контента для тренировки открытых языковых моделей Llama.
PerplexityBot
Поисковый агент диалоговой системы Perplexity AI. Сканирование веб-страниц в реальном времени для генерации ответов.