Технический паспорт бота
- Родительская компания: Anthropic PBC
- Что искать в логах (User-Agent):
ClaudeBot,Claude-User,claude-code - Характер: Скрытный, временами переходящий в агрессивный спам запросов.
Если роботы OpenAI ведут себя в Рунете как наглые танки, то краулеры Anthropic действуют изящнее, но проблем от этого не меньше. Главное, что нужно усвоить вебмастеру: под капотом экосистемы Claude прячется не один бот, а целая банда специализированных агентов. И если к одним можно относиться лояльно, то другие способны устроить вашему хостингу реальную проверку на прочность.
Основной краулер ClaudeBot — это классический промышленный пылесос. Он планомерно выкачивает тексты, чтобы сделать модели Claude умнее. Никакого трафика, переходов или показов сайту он не дает. Вы просто бесплатно делитесь с Anthropic своим контентом.
Второй агент, Claude-User, абсолютно мирен. Он заходит на сайт только тогда, когда живой пользователь в чате Claude отправляет ссылку на вашу страницу и просит ИИ: «Сделай выжимку из этого материала». Блокировать его — значит портить жизнь собственной аудитории.
А вот самый опасный персонаж в этой компании — claude-code. Это бот новой консольной утилиты для разработчиков. Обычные статьи и блоги его вообще не интересуют. Он прицельно ищет техническую документацию, открытые API, репозитории и конфигурационные файлы в корне сайта. Запросы от него летят с бешеной скоростью, и если ваш бэкенд не готов к такому штурму, сервер может легко уйти в глубокий аутдаун.
Как с ними поступать?
Устраивать тотальный бан всей экосистеме Anthropic стоит только в том случае, если ClaudeBot начал откровенно забивать процессорный лимит вашего хостинга. В остальном — пусть качает.
А вот инфраструктурного хулигана claude-code лучше превентивно изолировать. Если вы не хотите, чтобы нейросеть досконально изучила архитектуру ваших скриптов и баз данных, закройте ему доступ на уровне сервера или через файл robots.txt.
Если нужно точечно отключить разработческого бота, не ломая при этом работу обычных пользователей Claude, добавьте в robots.txt:
User-agent: claude-code
Disallow: /Для полной изоляции сайта от обучающих алгоритмов Anthropic используйте жесткий блок:
User-agent: ClaudeBot
Disallow: /Если боты Anthropic игнорируют ваши правила (такое за ИИ-краулерами водится часто) или вы хотите заблокировать их железно на уровне сетевого экрана, то используйте наш инструмент защиты от спам-ботов.