Пока весь мир обсуждает закрытые коммерческие модели от OpenAI и Google, корпорация Meta делает ставку на свои бесплатные открытые нейросети семейства Llama [1.1]. Но чтобы эти модели оставались умными и понимали контекст, им нужно колоссальное количество свежего контента. Для этой цели Цукерберг спустил с цепи специализированного робота — Meta-ExternalAgent [1.1].
Этот краулер не имеет никакого отношения к индексации страниц для Фейсбука или Инстаграма. Его единственная задача — заходить на информационные сайты, блоги и e-commerce платформы, чтобы бесплатно выкачивать текстовую базу. Никаких переходов, органических кликов или роста трафика вашему сайту этот бот не принесет. Вы просто отдаете свои экспертные тексты, чтобы на них обучался чужой искусственный интеллект.
Технический паспорт бота
- Родительская компания: Meta Platforms Inc. (признана экстремистской в РФ) [1.1]
- What to find in logs (User-Agent):
Meta-ExternalAgent[1.1] - Характер: Бессистемный, агрессивный, прожорливый.
Как с ним поступать
Закрывать без колебаний. Блокировка краулера Meta-ExternalAgentабсолютно безопасна для вашего сайта. Она никак не влияет на то, как ваши ссылки отображаются в социальных сетях, если пользователи решат ими поделиться. Вы просто запрещаете ИИ-подразделению Meta использовать ваш сервер в качестве бесплатного донора данных [1.1]. Если бот начинает спамить запросами и создавать пиковую нагрузку на хостинг, его нужно немедленно изолировать.
Директива для robots.txt
User-agent: Meta-ExternalAgent
Disallow: /