TL;DR: • Google официально разрешил закрывать от индексации некоторые JavaScript-ресурсы через файл robots.txt, даже если их видят реальные пользователи. • Изолированные JS-ресурсы, не влияющие на основной контент, можно легально закрывать в конфигурационном файле.
Главная цель этого руководства — показать, как настроить точечную блокировку тяжелых скриптов, чтобы разгрузить краулинговый бюджет без рисков пессимизации. Поймите новые правила индексации, которые ввел Google, и оптимизируйте взаимодействие робота с вашим сайтом.
Google официально разрешил закрывать от индексации некоторые JavaScript-ресурсы через файл robots.txt, даже если их видят реальные пользователи. Об этом заявил представитель Google Джон Мюллер (John Mueller), отвечающий за веб-поиск. Это революционное заявление: ранее за сокрытие от Googlebot любых скриптов и элементов интерфейса, доступных человеку, сайт мог мгновенно попасть под жесткие санкции за клоакинг.
Зачем блокировать пользовательский JS?
В ранние годы развития поискового маркетинга вебмастера массово закрывали скрипты и стили. Позже Google научился полноценно рендерить страницы и строго обязал открывать все ресурсы, формирующие контент. Однако тяжелые внешние JS-скрипты поп-апов и виджетов создают технические проблемы:
- Тормозят рендеринг: робот тратит лишнее время и лимиты обхода на их выполнение.
- Искажают метрики: сторонний код часто искусственно занижает лабораторные баллы производительности.
Новое заявление Мюллера подтверждает, что алгоритмы Googlebot стали гибче. Изолированные JS-ресурсы, не влияющие на основной контент, можно легально закрывать в конфигурационном файле. Не путайте техническую блокировку скриптов с правилами вывода самих окон на экраны пользователей. О том, какие типы элементов вызывают пессимизацию со стороны Google Interstitial Penalty и ломают метрики сдвига макета CLS, читайте в нашей прошлой публикации на webindex.su Поп-апы (Pop-up) и SEO: что безопасно, что рискованно и как исправить..
📊 Сравнение методов изоляции JS-ресурсов
| Метод изоляции скриптов | Техническая реализация директивы | Эффективность для краулинга |
|---|---|---|
| Блокировка на стороне донора | robots.txt на внешнем хосте (Disallow: /) | 100% — Googlebot не запрашивает внешний API |
| Локальный запрет файла | Disallow: /js/load-verification-popup.js | Высокая — отсекает конкретный тяжелый скрипт |
| Полный запрет папки /js/ | Disallow: /js/ (Опасный вектор уязвимости) | Критическая ошибка — сломает рендеринг всей страницы |
Два способа заблокировать JS по инструкции Google
Джон Мюллер подробно описал пошаговый алгоритм и сценарии изоляции скриптов в зависимости от того, где они физически хранятся:
Способ 1. Блокировка на стороне внешнего сервиса (Донора)
Если ваш юридический поп-ап или интерактивный виджет подгружается с отдельного внешнего домена через API (например, verificationpopup.com), то этот сторонний сервис в своем собственном файле robots.txt прописывает запрет на индексацию. Googlebot не будет скачивать данный контент в процессе рендеринга вашей страницы. По такому принципу сейчас работают многие крупные рекламные сети: их скрипты заблокированы для роботов на их же стороне.
Способ 2. Блокировка конкретного JS-файла на вашем сервере
Если сторонний скрипт всплывающего окна вызывается локальным файлом на вашем сайте, вы можете напрямую прописать запрет на его скачивание в своем файле конфигурации:
User-agent: Googlebot
Disallow: /js/load-verification-popup.js
Джон Мюллер подчеркивает: «Если у вас один общий JS-файл, который делает сразу кучу разных вещей на сайте, я бы не стал этого делать». Закрывать разрешено только изолированные скрипты конкретных виджетов.
Главное условие безопасности от Google
Прямая инструкция и цитата Джона Мюллера о критически важном нюансе, который убережет сайт от выпадения из индекса:
«Вам необходимо убедиться, что ваши страницы по-прежнему исправно загружаются и работают, когда эти заблокированные URL не скачиваются краулером. Для таких вещей, как поп-ап верификации возраста, это обычно не является проблемой».
Если после внесения директивы в robots.txt страница открывается у Googlebot корректно (основной текст доступен для чтения, общая верстка не едет), то робот просто проигнорирует существование скрытого элемента. Если же скрипт жестко завязан на логику рендеринга всей страницы (как в некоторых SPA-приложениях) и без него Googlebot увидит пустой белый экран — сайт мгновенно потеряет органический трафик.
Не посчитает ли Google блокировку такого JS клоакингом (скрытием контента)?
Нет. Мюллер подтвердил, что в случае с юридическими заглушками, поп-апами верификации возраста или рекламными блоками это легально. Робот понимает, что это не попытка обмануть алгоритм, а оптимизация процесса рендеринга.
Как проверить, не сломалась ли страница после блокировки JS?
Используйте инструмент «Проверка URL» в Google Search Console или тест Mobile-Friendly. Посмотрите на итоговый скриншот глазами робота: если основной текст и структура сайта видны без поп-апа — настройка выполнена идеально.












