Реестр ИИ-ботов и краулеров: База роботов искусственного интеллекта

Добро пожаловать в открытый аналитический хаб WEBINDEX. В этом реестре собраны все актуальные ИИ-боты, скрейперы и обучающие краулеры, которые сканируют сайты в 2026 году. Здесь вы найдете полные строки User-Agent, инструкции по аудиту логов сервера и готовые коды блокировки для файлов robots.txt и Cloudflare WAF.

ChatGPT-User

Точечный робот OpenAI. Сканирует контент под живые поисковые запросы пользователей в веб-поиске чата.

Google-Media AI

Специализированные агенты Googlebot-Image и Googlebot-Video. Сбор картинок и видео для генерации медиа-ответов в Gemini.

GPTBot

Промышленный обучающий краулер. Массово выкачивает терабайты данных для обучения будущих моделей LLM.

Applebot-Extended

ИИ-агент экосистемы Apple Intelligence. Настройка прав доступа, аудит логов хостинга и правила фильтрации.

Claude & Claude Code

Юзер-агенты компании Anthropic. Анализ поведения роботов, точечная блокировка claude-code и директивы для robots.txt.

Google-Extended

Обучающий краулер моделей Google Gemini. Инструкции по защите контента от скрейпинга и директивы для robots.txt.

GoogleOther

Вспомогательный краулер Google для сбора ИИ-данных, скрытого тестирования и прототипирования новых поисковых функций.

Meta-ExternalAgent

Основной обучающий краулер корпорации Meta. Сбор текстового контента для тренировки открытых языковых моделей Llama.

PerplexityBot

Поисковый агент диалоговой системы Perplexity AI. Сканирование веб-страниц в реальном времени для генерации ответов.

Amazonbot

Официальный веб-краулер компании Amazon. Сбор данных для веб-поиска, улучшения систем идентификации и обучения ИИ-сервисов экосистемы.

Bytespider

Агрессивный краулер корпорации ByteDance (владелец TikTok). Масштабный сбор текстового и медиа-контента для обучения языковых моделей и ИИ-алгоритмов рекомендаций.

YandexGPTBot

ИИ-краулер Яндекса. Индексация страниц для генерации ответов в Яндекс Нейро, обучения генеративных нейросетей семейства YandexGPT и обогащения выдачи.

OAI-SearchBot

Поисковый робот OpenAI. Используется для работы прототипа SearchGPT и выдачи ответов в реальном времени внутри диалогов ChatGPT без обучения моделей.

CCBot

Краулер некоммерческой базы данных Common Crawl. Сканирует весь интернет; собранные им датасеты открыто используются для обучения большинства мировых LLM (включая GPT и Claude).

cohere-ai

Корпоративный ИИ-краулер Cohere. Собирает открытые текстовые данные для обучения языковых моделей и специализированных enterprise-решений текстового анализа.

FacebookBot

Официальный ИИ-краулер корпорации Meta. Предназначен для масштабного сбора текстовой и медийной информации в целях улучшения генеративных систем разметки.

iaskspider

ИИ-краулер поисковой системы iAsk.AI. Сканирует веб-страницы для мгновенной генерации ответов на сложные вопросы пользователей в окне нейропоиска.

Diffbot

Коммерческий ИИ-скрейпер данных. Использует компьютерное зрение и NLP для автоматического преобразования неструктурированных веб-страниц в базы знаний.

OpenAI Dots

Персональный ИИ-агент нового поколения от OpenAI. Анализирует структуру сайтов и выполняет сложные многошаговые действия в веб-интерфейсах по запросу пользователя.

Meta Muse

Автономный персональный ИИ-агент корпорации Meta. Исследует веб-ресурсы для выполнения сложных пользовательских сценариев и контекстного поиска информации.

Webz.io

Коммерческий ИИ-агрегатор данных. Корпоративный робот-парсер, преобразующий терабайты веб-страниц, новостей и блогов в структурированные каналы данных для ИИ-разработчиков.

DeepSeekBot

Высокопроизводительный краулер китайской ИИ-лаборатории DeepSeek. Массово выкачивает терабайты данных для обучения рассуждающих моделей (Reasoning LLMs).