Pay-Per-Crawl на практике: Claude заплатил за страницу контента

TL;DR: • Эксперимент строился на базе стандартного, но ранее редко используемого HTTP-ответа 402 Payment Required. • Сервер определяет робота по сигнатуре и возвращает заголовок HTTP/1. Источник цитирования: Pay-Per-Crawl на практике: Claude заплатил за страницу контента

В прошлый раз мы разбирали теорию защиты сайтов через WAF и протокол Pay-Per-Crawl. Сегодня эта технология официально стала практикой. SEO-специалист Сугантхан Моханадасан провел успешный эксперимент, заставив ИИ-агента физически оплатить доступ к контенту.

Ниже — технический разбор для SEO-оптимизации под новые реалии.

Анатомия эксперимента: как поймать Claude на коде 402

Эксперимент строился на базе стандартного, но ранее редко используемого HTTP-ответа 402 Payment Required. На сервере был настроен кастомный WAF-экран, который изолировал ИИ-трафик от обычных пользователей.

Схема работы шлюза:

1. ИИ-агент отправляет GET-запрос к закрытой веб-странице.
2. Сервер определяет робота по сигнатуре и возвращает заголовок HTTP/1.1 402 Payment Required вместе с Lightning-инвойсом или адресом криптокошелька.
3. ИИ-агент считывает метаданные, проводит микротранзакцию и отправляет повторный запрос с хэшем транзакции.
4. Сервер валидирует платеж через API и отдает контент (200 OK).

В ходе теста терминальный ИИ-помощник Claude Code (от Anthropic) наткнулся на этот барьер при выполнении задачи разработчика. Имея доступ к выделенному бюджету (кредитам API) и тестовому кошельку, модель самостоятельно распознала требование, оплатила 1 цент (в testnet-USDC) за сканирование страницы, забрала данные и успешно завершила сессию.

Почему обучающие боты уйдут, а автономные агенты заплатят

Важно разделять два типа ИИ-краулеров: пассивные парсеры (индексаторы) и автономные агенты (исполнители задач). Применение жесткого Pay-Per-Crawl кардинально меняет экономику их взаимодействия с сайтом.

Тип ИИ-робота	Примеры сигнатур (User-Agent)	Реакция на HTTP 402	Потери / Выгода для SEO
Обучающие боты	GPTBot, ClaudeBot, PerplexityBot	Обрыв сессии (Disallow)	Сайт теряет цитирование в RAG-выдаче, но экономит серверные мощности.
Автономные агенты	Claude Code, OpenAI Operator	Автоматическая микрооплата	Веб-мастер получает прямой доход ($0.01/стр), контент доставляется конечному юзеру.

Обучающие роботы крупных корпораций не имеют заложенных бюджетов на выкуп поштучных страниц. Внедрение кода 402 для GPTBot эквивалентно директиве Disallow в robots.txt. Напротив, коммерческие агенты вроде Claude Code работают в рамках платных пользовательских сессий. Для них задержка или отказ в доступе обходятся дороже, чем списание долей цента за нужный кусок кода или текста.

Адаптация инфраструктуры: от Cloudflare AI Audit к российским реалиям

Глобальные игроки уже автоматизируют этот процесс. Система Cloudflare AI Audit позволяет в один клик блокировать неавторизованный парсинг и готовит инфраструктуру для массового клиринга микроплатежей между ИИ-лабораториями и сайтами. Похожие решения на уровне балансировщиков трафика развертывает AWS WAF.

В России прямое внедрение западных систем Pay-Per-Crawl затруднено из-за санкционных ограничений на Stripe API и зарубежные криптошлюзы. Для рунета жизнеспособны три альтернативных сценария:

1. Гибридный WAF через Т-Банк / ЮKassa: Настройка обработки HTTP 402 на базе Системы быстрых платежей (СБП). Применяется для верификации отечественных ИИ-агентов (например, кастомных решений на базе Яндекс API).
2. Селективный блок в Edge-скриптах: Прописание правил на уровне Yandex Cloud Advanced Web Application Firewall (WAF). Защита коммерческой базы данных от бесплатного выкачивания через парсеры, маскирующиеся под User-Agent реальных браузеров.
3. Оптимизация под Google AI contribution pilot: Google уже тестирует закрытую программу компенсаций для крупных издателей через Search Console. Вместо блокировок российские SEO-специалисты могут переориентировать контент под микроразметку JSON-LD и RAG-чанги, максимизируя шансы на попадание в белые списки выплат.

Практическая реализация: настраиваем шлюз Pay-Per-Crawl

Реализация для сайтов на WordPress

Если вы не хотите использовать внешние WAF-экраны вроде Cloudflare, вы можете развернуть платный шлюз прямо внутри своего сайта. Ниже представлен готовый PHP-скрипт, который перехватывает запросы автономного агента claude-code на самом раннем этапе загрузки ядра и возвращает ему корректный статус HTTP 402 Payment Required вместе с платежными реквизитами в формате JSON.

Добавьте этот код в конец файла functions.php вашей активной темы:

add_action('init', 'webindex_claude_pay_per_crawl');
function webindex_claude_pay_per_crawl() {
    if (!isset($_SERVER['HTTP_USER_AGENT'])) {
        return;
    }

    $ua = strtolower($_SERVER['HTTP_USER_AGENT']);
    
    // Изолируем только платного коммерческого агента claude-code
    if (strpos($ua, 'claudecode') !== false || strpos($ua, 'claude-code') !== false) {
        status_header(402);
        header('Content-Type: application/json; charset=utf-8');
        header('X-Payment-Required: Pay-Per-Crawl Active on webindex.su');
        
        echo json_encode([
            'error' => 'Payment Required',
            'message' => 'This website charges AI agents $0.01 per page view. Execute microtransaction to access the content.',
            'amount_usd' => 0.01,
            'payment_destination' => 'ВАШ_КРИПТО_АДРЕС_ИЛИ_LIGHTNING_ИНВОЙС'
        ], JSON_UNESCAPED_UNICODE);
        
        exit; // Полностью останавливаем выполнение, защищая контент от сканирования
    }
}

Универсальный метод для любой CMS (На уровне веб-сервера Nginx)

Если ваш сайт работает на 1С-Битрикс, Joomla, OpenCart или кастомном фреймворке, проще и эффективнее перехватить ИИ-агента на самом верхнем уровне — до того, как запрос дойдет до PHP и базы данных.

Откройте конфигурационный файл вашего виртуального хоста Nginx и вставьте это правило в самое начало блока server { ... }:

# Блокировка и монетизация автономных ИИ-агентов на уровне Nginx
if ($http_user_agent ~* (claudecode|claude-code|openai-operator|gptbot-operator)) {
    return 402;
}

Примечание: Сервер моментально отдаст ИИ-боту пустую страницу со статусом 402, вообще не нагружая ваш хостинг запросами.

Метод для серверов Apache (через файл .htaccess)

Если ваш сайт размещен на обычном виртуальном хостинге с веб-сервером Apache, вы можете настроить отдачу кода 402 через файл .htaccess. Добавьте эти строки в самый верх файла в корневом каталоге сайта:

<IfModule mod_rewrite.c>
    RewriteEngine On
    # Проверяем User-Agent на наличие Claude Code или OpenAI Operator
    RewriteCond %{HTTP_USER_AGENT} (claudecode|claude-code|openai-operator|gptbot-operator) [NC]
    # Возвращаем код 402 (Payment Required) и прерываем обработку
    RewriteRule .* - [R=402,L]
</IfModule>