Технический паспорт бот
- Родительская компания: Google LLC [1.1]
- Что искать в логах (User-Agent):
Google-Extended[1.1] - Характер: Наглый, скрытный, системный.
Текст для внутренней страницы бота
Если обычный Googlebot годами приносил вам трафик, позиции и клиентов, то его новый ИИ-брат Google-Extended пришел исключительно грабить. Этот точечный краулер создан Корпорацией добра с одной целью — бесплатно выкачивать терабайты вашего уникального контента, чтобы скармливать его моделям Google Gemini. Никаких кликов, переходов или упоминаний в органической выдаче взамен этот бот сайту не дает.
Что самое циничное: Google-Extended не является отдельным сетевым пауком. Google просто использует мощности своего стандартного поискового бота, но прикрывается отдельным юзер-агентом в правилах. Если вы тратите месяцы на написание экспертных лонгридов, этот бот просто заберет их, чтобы ИИ выдавал ваши мысли в качестве своих ответов.
Как с ним поступать
Блокировать без тени сомнения. Закрытие Google-Extended никак не влияет на ваши позиции в классическом поиске Google. Ваша главная страница, статьи и картинки будут ранжироваться точно так же, но ИИ-модели корпорации потеряют право воровать ваши тексты.
Директива для robots.txt
User-agent: Google-Extended
Disallow: /