Добро пожаловать в открытый аналитический хаб WEBINDEX. В этом реестре собраны все актуальные ИИ-боты, скрейперы и обучающие краулеры, которые сканируют сайты в 2026 году. Здесь вы найдете полные строки User-Agent, инструкции по аудиту логов сервера и готовые коды блокировки для файлов robots.txt и Cloudflare WAF.
ChatGPT-User
Точечный робот OpenAI. Сканирует контент под живые поисковые запросы пользователей в веб-поиске чата.
Google-Media AI
Специализированные агенты Googlebot-Image и Googlebot-Video. Сбор картинок и видео для генерации медиа-ответов в Gemini.
GPTBot
Промышленный обучающий краулер. Массово выкачивает терабайты данных для обучения будущих моделей LLM.
Applebot-Extended
ИИ-агент экосистемы Apple Intelligence. Настройка прав доступа, аудит логов хостинга и правила фильтрации.
Claude & Claude Code
Юзер-агенты компании Anthropic. Анализ поведения роботов, точечная блокировка claude-code и директивы для robots.txt.
Google-Extended
Обучающий краулер моделей Google Gemini. Инструкции по защите контента от скрейпинга и директивы для robots.txt.
GoogleOther
Вспомогательный краулер Google для сбора ИИ-данных, скрытого тестирования и прототипирования новых поисковых функций.
Meta-ExternalAgent
Основной обучающий краулер корпорации Meta. Сбор текстового контента для тренировки открытых языковых моделей Llama.
PerplexityBot
Поисковый агент диалоговой системы Perplexity AI. Сканирование веб-страниц в реальном времени для генерации ответов.
Amazonbot
Официальный веб-краулер компании Amazon. Сбор данных для веб-поиска, улучшения систем идентификации и обучения ИИ-сервисов экосистемы.
Bytespider
Агрессивный краулер корпорации ByteDance (владелец TikTok). Масштабный сбор текстового и медиа-контента для обучения языковых моделей и ИИ-алгоритмов рекомендаций.
YandexGPTBot
ИИ-краулер Яндекса. Индексация страниц для генерации ответов в Яндекс Нейро, обучения генеративных нейросетей семейства YandexGPT и обогащения выдачи.
OAI-SearchBot
Поисковый робот OpenAI. Используется для работы прототипа SearchGPT и выдачи ответов в реальном времени внутри диалогов ChatGPT без обучения моделей.
CCBot
Краулер некоммерческой базы данных Common Crawl. Сканирует весь интернет; собранные им датасеты открыто используются для обучения большинства мировых LLM (включая GPT и Claude).
cohere-ai
Корпоративный ИИ-краулер Cohere. Собирает открытые текстовые данные для обучения языковых моделей и специализированных enterprise-решений текстового анализа.
FacebookBot
Официальный ИИ-краулер корпорации Meta. Предназначен для масштабного сбора текстовой и медийной информации в целях улучшения генеративных систем разметки.
iaskspider
ИИ-краулер поисковой системы iAsk.AI. Сканирует веб-страницы для мгновенной генерации ответов на сложные вопросы пользователей в окне нейропоиска.
Diffbot
Коммерческий ИИ-скрейпер данных. Использует компьютерное зрение и NLP для автоматического преобразования неструктурированных веб-страниц в базы знаний.
OpenAI Dots
Персональный ИИ-агент нового поколения от OpenAI. Анализирует структуру сайтов и выполняет сложные многошаговые действия в веб-интерфейсах по запросу пользователя.
Meta Muse
Автономный персональный ИИ-агент корпорации Meta. Исследует веб-ресурсы для выполнения сложных пользовательских сценариев и контекстного поиска информации.
Webz.io
Коммерческий ИИ-агрегатор данных. Корпоративный робот-парсер, преобразующий терабайты веб-страниц, новостей и блогов в структурированные каналы данных для ИИ-разработчиков.
DeepSeekBot
Высокопроизводительный краулер китайской ИИ-лаборатории DeepSeek. Массово выкачивает терабайты данных для обучения рассуждающих моделей (Reasoning LLMs).