Босс Google одобряет штампом APPROVED файл robots.txt с блокировкой User-agent Googlebot и Disallow js load-verification-popup.js

Google разрешил закрывать пользовательский JavaScript в robots.txt

TL;DR: • Google официально разрешил закрывать от индексации некоторые JavaScript-ресурсы через файл robots.txt, даже если их видят реальные пользователи. • Изолированные JS-ресурсы, не влияющие на основной контент, можно легально закрывать в конфигурационном файле.

Главная цель этого руководства — показать, как настроить точечную блокировку тяжелых скриптов, чтобы разгрузить краулинговый бюджет без рисков пессимизации. Поймите новые правила индексации, которые ввел Google, и оптимизируйте взаимодействие робота с вашим сайтом.

Google официально разрешил закрывать от индексации некоторые JavaScript-ресурсы через файл robots.txt, даже если их видят реальные пользователи. Об этом заявил представитель Google Джон Мюллер (John Mueller), отвечающий за веб-поиск. Это революционное заявление: ранее за сокрытие от Googlebot любых скриптов и элементов интерфейса, доступных человеку, сайт мог мгновенно попасть под жесткие санкции за клоакинг.

Зачем блокировать пользовательский JS?

В ранние годы развития поискового маркетинга вебмастера массово закрывали скрипты и стили. Позже Google научился полноценно рендерить страницы и строго обязал открывать все ресурсы, формирующие контент. Однако тяжелые внешние JS-скрипты поп-апов и виджетов создают технические проблемы:

  • Тормозят рендеринг: робот тратит лишнее время и лимиты обхода на их выполнение.
  • Искажают метрики: сторонний код часто искусственно занижает лабораторные баллы производительности.

Новое заявление Мюллера подтверждает, что алгоритмы Googlebot стали гибче. Изолированные JS-ресурсы, не влияющие на основной контент, можно легально закрывать в конфигурационном файле. Не путайте техническую блокировку скриптов с правилами вывода самих окон на экраны пользователей. О том, какие типы элементов вызывают пессимизацию со стороны Google Interstitial Penalty и ломают метрики сдвига макета CLS, читайте в нашей прошлой публикации на webindex.su Поп-апы (Pop-up) и SEO: что безопасно, что рискованно и как исправить..

📊 Сравнение методов изоляции JS-ресурсов

Метод изоляции скриптовТехническая реализация директивыЭффективность для краулинга
Блокировка на стороне донораrobots.txt на внешнем хосте (Disallow: /)100% — Googlebot не запрашивает внешний API
Локальный запрет файлаDisallow: /js/load-verification-popup.jsВысокая — отсекает конкретный тяжелый скрипт
Полный запрет папки /js/Disallow: /js/ (Опасный вектор уязвимости)Критическая ошибка — сломает рендеринг всей страницы

Два способа заблокировать JS по инструкции Google

Джон Мюллер подробно описал пошаговый алгоритм и сценарии изоляции скриптов в зависимости от того, где они физически хранятся:

Способ 1. Блокировка на стороне внешнего сервиса (Донора)

Если ваш юридический поп-ап или интерактивный виджет подгружается с отдельного внешнего домена через API (например, verificationpopup.com), то этот сторонний сервис в своем собственном файле robots.txt прописывает запрет на индексацию. Googlebot не будет скачивать данный контент в процессе рендеринга вашей страницы. По такому принципу сейчас работают многие крупные рекламные сети: их скрипты заблокированы для роботов на их же стороне.

Способ 2. Блокировка конкретного JS-файла на вашем сервере

Если сторонний скрипт всплывающего окна вызывается локальным файлом на вашем сайте, вы можете напрямую прописать запрет на его скачивание в своем файле конфигурации:

User-agent: Googlebot
Disallow: /js/load-verification-popup.js

Джон Мюллер подчеркивает: «Если у вас один общий JS-файл, который делает сразу кучу разных вещей на сайте, я бы не стал этого делать». Закрывать разрешено только изолированные скрипты конкретных виджетов.

Главное условие безопасности от Google

Прямая инструкция и цитата Джона Мюллера о критически важном нюансе, который убережет сайт от выпадения из индекса:

«Вам необходимо убедиться, что ваши страницы по-прежнему исправно загружаются и работают, когда эти заблокированные URL не скачиваются краулером. Для таких вещей, как поп-ап верификации возраста, это обычно не является проблемой».

Если после внесения директивы в robots.txt страница открывается у Googlebot корректно (основной текст доступен для чтения, общая верстка не едет), то робот просто проигнорирует существование скрытого элемента. Если же скрипт жестко завязан на логику рендеринга всей страницы (как в некоторых SPA-приложениях) и без него Googlebot увидит пустой белый экран — сайт мгновенно потеряет органический трафик.

Не посчитает ли Google блокировку такого JS клоакингом (скрытием контента)?

Нет. Мюллер подтвердил, что в случае с юридическими заглушками, поп-апами верификации возраста или рекламными блоками это легально. Робот понимает, что это не попытка обмануть алгоритм, а оптимизация процесса рендеринга.

Как проверить, не сломалась ли страница после блокировки JS?

Используйте инструмент «Проверка URL» в Google Search Console или тест Mobile-Friendly. Посмотрите на итоговый скриншот глазами робота: если основной текст и структура сайта видны без поп-апа — настройка выполнена идеально.