Анатомия access.log: как распознать поисковых роботов, ИИ-ботов и хакерские атаки

Вы запустили новый сайт, выложили первые статьи, настроили метрику и легли спать. Утром открываете панель хостинга, а там — шок-контент. График просмотров улетел в космос: 11 000 визитов за сутки! Сердце бьется чаще, в голове уже крутятся мысли о внезапной вирусной популярности и миллионах на рекламе. Но вы открываете Яндекс.Метрику или Google Analytics, а там… тишина. Ноль просмотров, три калеки из поиска.

В чем дело? Хостинг врет? Нет, хостинг как раз фиксирует суровую реальность. Чтобы увидеть ее лицо, нам нужно заглянуть в access.log — главный бортовой журнал вашего сервера, где записывается каждый чих в сторону вашего сайта.

Что скрывает access.log?

Каждая строчка в логе — это обращение к серверу. Давайте препарируем стандартную запись, которую вы можете найти у себя:

193.124.45.10 - - [24/Jun/2026:14:23:05 +0300] "GET /kak-vnedrit-ai-v-seo/ HTTP/1.1" 200 4532 "-" "Mozilla/5.0 (compatible; GPTBot/1.2; +https://openai.com)"

Здесь нет имен, но есть всё, чтобы понять, кто к нам пришел:

1. 193.124.45.10 — IP-адрес визитера.
2. GET /kak-vnedrit-ai-v-seo/ — запрос. Кто-то хочет прочитать (скачать) вашу статью про AI в SEO.
3. 200 — код ответа. Сервер успешно отдал страницу.
4. 4532 — размер страницы в байтах.
5. GPTBot/1.2… — User-Agent. Паспорт нашего гостя. В данном случае это робот от OpenAI.

Миф о «наплыве живых людей»

Когда на абсолютно пустом, только что купленном домене лог раздувается до десятков тысяч строк, забудьте про живых пользователей. Люди находят сайты через ссылки, соцсети или поисковики. Новый сайт для них невидим.

Но он прекрасно видим для сотен автоматических программ — поисковых роботов, краулеров, парсеров и ИИ-агентов. Как только домен регистрируется, он попадает в общие базы. И к вам тут же устремляется целая армия ботов. Одни пришли проиндексировать ваш контент, другие — украсть его, третьи — проверить сайт на уязвимости.

Почему счетчик Метрики молчит, а хостинг трещит по швам? Всё просто. Метрика и Analytics работают на JavaScript. Они срабатывают только тогда, когда страницу открывает реальный человек в браузере (или очень продвинутый бот, умеющий исполнять JS). Обычные роботы просто скачивают чистый HTML-код напрямую с сервера. Для Метрики их не существует, а вот ваш сервер тратит на них реальные ресурсы (процессор, память, трафик). Если пустить этот процесс на самотек, эти «невидимые» гости могут легко уронить ваш сайт еще до того, как на него зайдет первый настоящий покупатель.

---

Хорошие ИИ-боты: кормить или закрывать двери?

В последние годы ландшафт интернета окончательно изменился. Раньше по сайтам ходили преимущественно роботы Яндекса и Google, чтобы привести вам трафик. Сегодня львиную долю запросов в access.log генерируют новые сущности — ИИ-краулеры. Главные лица этой компании, которых вы точно встретите в своих логах: GPTBot (OpenAI), ClaudeBot (Anthropic) и Applebot-Extended (Apple).

Они приходят не для того, чтобы добавить ваш сайт в поисковую выдачу. У них другая задача — они «пылесосят» ваш контент, чтобы обучать свои нейросети, делать умнее ChatGPT и Claude или выводить ваши ответы прямо в интерфейсах Siri и Apple Intelligence.

Как ИИ-боты воруют контент

Давайте называть вещи своими именами. Когда ClaudeBot скачивает вашу глубокую экспертную статью, он забирает её в базу знаний. Завтра пользователь спросит у Claude: «Как настроить SEO для маркетплейса?», и нейросеть выдаст ему компиляцию из вашего текста.

В чем подвох? Пользователь получил ответ внутри чат-бота. На ваш сайт он не перешел, рекламу не увидел, товар не купил. Вы потратили ресурсы на автора, оплатили хостинг, а трафик получил ИИ-сервис. Именно поэтому в веб-среде идет тихая война против бесконтрольного парсинга нейросетями.

Стоит ли закрывать от них контентные сайты?

Единого ответа нет, стратегия зависит от вашей бизнес-модели:

1. Аргументы ЗА блокировку: Если ваш сайт живет за счет контента (блоги, медиа, SEO-статьи), ИИ-боты — ваши прямые враги. Они забирают ценность и ничего не дают взамен. Их нужно закрывать безжалостно. Зачем бесплатно кормить миллиардные корпорации своим трудом?
2. Аргументы ПРОТИВ блокировки: Если у вас интернет-магазин, сервис или b2b-проект, ситуация иная. Apple и Google активно внедряют локальные ИИ-ответы (AI Overviews). Если вы заблокируете Applebot-Extended или GPTBot, ваши продукты просто исчезнут из рекомендаций умных ассистентов. Потенциальный клиент спросит: «Найди лучший сервис для аналитики маркетплейсов», и нейросеть назовет вашего конкурента, который оставил двери открытыми.

Блокировать ИИ-ботов выборочно — главный тренд вебмастеров. Коммерческие страницы, карточки услуг и витрины мы оставляем открытыми. А вот уникальные аналитические статьи, базы знаний и дорогой контент — прячем за замок. К счастью, разработчики ИИ уважают правила хорошего тона. Если прописать для GPTBot или ClaudeBot запрет, они развернутся и уйдут.

---

SEO-разведчики: зачем они шпионят и как могут уронить сервер

Если ИИ-боты охотятся за смыслом ваших текстов, то следующая группа гостей интересуется совершенно другими вещами. Встречайте SEO-краулеров: AhrefsBot, SemrushBot, MJ12bot (сервис Majestic) и DotBot. Это роботы крупных аналитических платформ.

В отличие от Яндекса, они не создают публичную поисковую выдачу. Их цель — построить гигантскую карту ссылок всего интернета и проанализировать техническое состояние каждого сайта.

Зачем они сканируют ваши ссылки?

Когда AhrefsBot заходит к вам, он методично обходит каждую страницу, фиксируя на кого ссылаетесь вы (исходящие ссылки), кто ссылается на вас (бэклинки) и какие ключевые слова вы используете в заголовках.

Затем эти данные упаковываются в красивые графики внутри платных SEO-сервисов. И вот тут кроется главный парадокс: эти боты полезны вашим конкурентам, но почти бесполезны вам. Конкурент вбивает адрес вашего сайта в Semrush, видит всю вашу ссылочную стратегию, находит слабые места и использует это против вас. Вам же от визита MJ12bot на сайте не горячо и не холодно — трафика он не приносит.

Опасность для слабого хостинга

Полезны они вам или нет — полбеды. Настоящая проблема в том, что SEO-разведчики невероятно агрессивны. Поисковые системы вроде Google обходят сайт деликатно, растягивая процесс, чтобы не перегружать сервер. Роботы-шпионы церемониться не будут.

Если у вас недорогой виртуальный хостинг, а на сайте пара тысяч страниц, AhrefsBot или SemrushBot могут запустить сканирование в несколько десятков потоков одновременно. Сервер начинает судорожно генерировать страницы, процессор улетает в 100% загрузки, база данных «ложится», а реальные пользователи вместо сайта видят ошибку 502 Bad Gateway.

• Оставляем: Если вы профессиональный SEO-специалист, агентство или крупный портал, который сам активно пользуется Ahrefs/Semrush для проверки «здоровья» сайта.
• Блокируем: Если у вас небольшой локальный бизнес, интернет-магазин или контентный проект на скромном сервере. Поверьте, закрыв сайт от MJ12bot и AhrefsBot, вы сэкономите кучу серверных ресурсов, снизите нагрузку и защитите свои коммерческие тайны от глаз конкурентов. Поисковый трафик в Яндексе и Google от этого ни капли не пострадает.

Плохие боты и брутфорс: кто ломится в ваши закрытые двери

Если ИИ-краулеры и SEO-шпионы хотя бы представляются в логах и соблюдают базовые правила приличия, то персонажи из этой главы — настоящие цифровые грабители и мародеры. Это «плохие боты». У них три цели: найти уязвимость, чтобы взломать ваш сайт, подчистую украсть коммерческие данные (цены, остатки товаров) или подобрать пароль к вашей админке.

Давайте заглянем в access.log любого сайта, который поработал в сети хотя бы неделю. Вы гарантированно увидите там странные, пугающие строчки.

Реальные примеры из логов: анатомия взлома

Вот типичный лог атаки автоматического сканера уязвимостей:

91.241.13.5 - - [24/Jun/2026:11:05:12 +0300] "GET /morte.phtml HTTP/1.1" 404 1245 "-" "Mozilla/5.0"
91.241.13.5 - - [24/Jun/2026:11:05:14 +0300] "GET /17vmrs HTTP/1.1" 404 1245 "-" "Mozilla/5.0"
91.241.13.5 - - [24/Jun/2026:11:05:18 +0300] "GET /wp-includes/wlwmanifest.xml HTTP/1.1" 404 1245 "-" "Mozilla/5.0"

Что здесь происходит? Хакерский бот перебирает адреса популярных веб-шеллов, старых бэкдоров и уязвимостей известных CMS (особенно WordPress). Запросы типа /morte.phtml или /17vmrs — это попытка нащупать следы чужих прошлых взломов или стандартные скрытые админки. Робот бьет наугад по тысячам сайтов в секунду. Если ваш сервер ответит кодом 200 OK вместо 404 Not Found, бот поймет: «Здесь открыто!» — и тут же зальет вредоносный код, превратив ваш сайт в рассадник спама.

Отдельная категория — агрессивные парсеры конкурентов. Они скачивают ваши цены, описания и фотки. Главная беда в том, что эти боты шлют тысячи запросов к базе данных, имитируя поведение пользователей, забивают корзины фейковыми заказами и намертво вешают сайт.

Брутфорс-атаки: как боты подбирают ключи к вашему сайту

Если сканирование уязвимостей не дало результатов, плохие боты переходят к плану «Б» — грубому перебору паролей, или брутфорсу. Каждую секунду тысячи автоматических скриптов стучатся в стандартные адреса входа на сайты (например, /wp-login.php или /admin). В логах это выглядит как бесконечная пулеметная очередь из одинаковых запросов:

91.241.13.5 - - [24/Jun/2026:12:00:01] "POST /wp-login.php HTTP/1.1" 200 5234
91.241.13.5 - - [24/Jun/2026:12:00:02] "POST /wp-login.php HTTP/1.1" 200 5234

Обратите внимание на метод POST — бот отправляет на сервер комбинации логинов и паролей из огромных слитых баз. Большинство вебмастеров думают: «У меня сложный пароль, пусть перебирают». Это роковая ошибка.

Каждая попытка подбора пароля заставляет сервер работать. Ему нужно принять запрос, обратиться к базе данных, захешировать присланный ботом пароль и сравнить его с правильным. Когда такой перебор идет в 50-100 потоков одновременно, база данных вашего хостинга перегружается. Сайт начинает дико тормозить, а провайдер присылает предупреждение о превышении лимитов.

Как защититься от брутфорса?

• Смените стандартный адрес входа. Перенесите страницу авторизации со стандартного /admin на секретный адрес (например, /secret-vhod-2026). Боты просто не найдут, куда отправлять пароли.
• Ограничьте количество попыток. Установите плагин безопасности, который блокирует IP-адрес после 3-5 неудачных попыток ввода.
• Откажитесь от простых паролей. Забудьте про 123456 или Qwerty. Хакерские базы щелкают такие комбинации как орехи. Пароль должен быть длинным, хаотичным, с использованием букв разного регистра, цифр и спецсимволов. Чтобы не выдумывать его из головы, используйте наш бесплатный Генератор паролей на webindex.su — он создаст криптостойкий ключ, который не сможет взломать ни один брутфорс-бот в мире.

Как отличить фейкового бота от настоящего: срываем маски

Вы решили заблокировать вредоносных роботов, открываете access.log и видите благостную картину: к вам стройными рядами идут Googlebot и YandexBot. Вы выдыхаете — ну, раз поисковики, то пусть сканируют.

Но не спешите радоваться. Хакеры, спамеры и парсеры — ребята хитрые. Они прекрасно знают, что вебмастера любят поисковых роботов. Поэтому в 90% случаев плохие боты подделывают свой паспорт. Они прописывают в графе User-Agent строчку вида Mozilla/5.0 (compatible; Googlebot/2.1; +http://google.com). На деле под маской доброго робота Google скрывается копеечный парсер с хакерского форума.

Как работает маскировка?

Поменять User-Agent в коде любого скрипта — дело пяти секунд. Написать там можно вообще что угодно. Но есть одна вещь, которую злоумышленник подделать не может — это его реальный IP-адрес. Яндекс и Google никогда не пришлют своих роботов с IP-адресов домашних провайдеров, дешевых хостингов Германии или серверов в Бангладеш. У них есть свои пулы адресов.

Инструкция: выводим шпиона на чистую воду

Если вы видите подозрительную активность от якобы «поискового бота», проверьте его через обратную службу DNS (Reverse DNS lookup) прямо на компьютере через командную строку. Допустим, в логах зафиксирован подозрительный адрес 66.249.66.1.

Шаг 1. Проверяем имя хоста
Откройте терминал (в Windows — cmd, в macOS/Linux — Terminal) и введите команду host или nslookup:

nslookup 66.249.66.1

В ответ система выдаст имя хоста (домен), к которому привязан этот IP. Для настоящего бота Google вы увидите что-то вроде: Name: ://googlebot.com. Главное правило: имя хоста обязательно должно заканчиваться на .googlebot.com или .yandex.ru.Инструкция: выводим шпиона на чистую воду

Если вы видите подозрительную активность от якобы «поискового бота», проверьте его через обратную службу DNS (Reverse DNS lookup) прямо на компьютере через командную строку. Допустим, в логах зафиксирован подозрительный адрес 66.249.66.1.

Шаг 1. Проверяем имя хоста
Откройте терминал (в Windows — cmd, в macOS/Linux — Terminal) и введите команду host или nslookup:

nslookup 66.249.66.1

В ответ система выдаст имя хоста (домен), к которому привязан этот IP. Для настоящего бота Google вы увидите что-то вроде: Name: ://googlebot.com. Главное правило: имя хоста обязательно должно заканчиваться на .googlebot.com или .yandex.ru.

Шаг 2. Перепроверка (Прямой запрос)
Чтобы окончательно исключить подделку (ведь злоумышленник может хитро настроить свою PTR-запись), сделайте прямой запрос к полученному имени:

nslookup ://googlebot.com

Система должна вернуть вам тот самый IP, с которого всё началось: 66.249.66.1. Если адреса совпали — бот настоящий. Если на первом шаге вы увидели хост коммерческого ЦОД или домашнего провайдера — перед вами фейк. Проводить такую процедуру вручную для каждого лога — безумие, поэтому вебмастера используют автоматизированные инструменты защиты.

3 уровня обороны сайта: от robots.txt до железного занавеса

Защита сайта от незваных гостей напоминает охрану закрытого клуба. Если пускать внутрь вообще всех, внутри начнется погром. Если заколотить двери досками, то и желанные гости (клиенты и реальные поисковики) не смогут войти. Для наведения порядка вебмастера используют трехслойную систему обороны.

Уровень 1. Базовый — Файл robots.txt (Дресс-код на входе)

robots.txt — это главный свод правил для всех роботов интернета. Он лежит в корневой папке вашего сайта. Именно сюда первым делом заглядывают «хорошие» боты (Google, Яндекс, OpenAI, Anthropic), чтобы узнать, куда им ходить можно, а куда — табу.

Если вы хотите закрыть свой блог или дорогие аналитические статьи от ИИ-пожирателей контента, достаточно прописать простые директивы:

User-agent: GPTBot
Disallow: /blog/

User-agent: ClaudeBot
Disallow: /blog/

Если нужно утихомирить агрессивных SEO-шпионов, которые тормозят ваш сервер, дайте им от ворот поворот:

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

Где взять правильный файл? Написание robots.txt вручную — дело рискованное: одна лишняя косая черта (/), и вы случайно выкинете свой сайт из поиска Яндекса. Чтобы не рисковать, используйте бесплатный инструмент — Генератор robots.txt. Там уже зашиты готовые профили для всех популярных платформ. Просто выберите галочками, каких ботов (включая новейшие ИИ-краулеры и SEO-разведчиков) вы хотите заблокировать, и сервис выдаст вам идеальный, безопасный код за 3 секунды.

Уровень 2. Плагины и CMS (Внутренняя охрана)

Если вы работаете на WordPress, отличным вторым рубежом станут SEO-комбайны вроде Rank Math или специализированные плагины безопасности (Wordfence, All In One WP Security). Они умеют на лету отслеживать подозрительную активность в админке, блокировать частые запросы к несуществующим страницам (помните хакерские GET /morte.phtml?) и автоматически банить IP-адреса тех, кто пытается подобрать пароль к вашей панели управления.

Уровень 3. Хардкор — Серверные правила и Cloudflare (Железный занавес)

Как мы уже выяснили, плохие боты и парсеры плевать хотели на ваш robots.txt. Для них нужна грубая сила.

1. Файл .htaccess (для серверов Apache): Вы можете заблокировать фейковых ботов или конкретные подсети прямо на уровне сервера. Запрос от них даже не дойдет до вашей CMS, экономя ресурсы процессора.
2. Cloudflare (Идеальное решение): Это бесплатный защитный экран между вашим сайтом и всем интернетом. Cloudflare использует умные алгоритмы и поведенческий анализ. Он видит фейкового робота еще на подлете и выдает ему капчу (Сhallenge page). Живой человек пройдет ее за секунду, а бот-вредитель намертво застрянет на входе.

Хотите увидеть, как это работает на практике? Разбираем реальный кейс: почему 81% трафика от ИИ-ассистентов в ваших логах — это фейк и маскировка хакеров