Некоторое время назад многие вебмастера заметили, что появились заблокированные ресурсы в Search Console.

Новые алгоритмы google требуют, чтобы гуглероботы имели доступ ко всем элементам сайта, будь то изображения, тексты, файлы CSS или JavaScript.

Если доступны не все файлы, документ неправильно отображается в поисковой выдаче, хуже ранжируется, позиции сайта снижаются.

Ранее в стандартном файле robots.txt мы блокировали доступ к категориям, меткам, скриптам.

Гугл не слишком прислушивался к запретам, индексировал все подряд, но хотя бы не наказывал. Сейчас надо срочно исправить ошибки, чтобы не потерять позиции.

Как прочитать отчет заблокированные ресурсы google

Путь SEARCH CONSOLE - ИНДЕКС GOOGLE – ЗАБЛОКИРОВАННЫЕ РЕСУРСЫ. Появится список заблокированных правилами robots.txt ресурсов. 

Они могут находиться на вашем сайте либо на других веб-сайтах (скрипты социальных сетей, Google AdSense). У меня в основном это скрипты и файлы плагинов.

Нажмите на один из хостов, чтобы посмотреть список. Откроется перечень адресов, на которые влияет этот заблокированный ресурс. Далее можете посмотреть как гуглебот, проверить robots.txt.

Основными считаются ресурсы, влияющие на контент и структуру страницы. С ними поработайте в первую очередь. Чтобы понять, как разблокировать ресурс, нажмите на страничку, где он размещен, выполните действия из раздела.

Как разблокировать ресурсы  

Самое распространенное решение - изменить robots.txt, чтобы робот Google мог видеть все ресурсы без ошибок и отправить их в индекс.

Я файл robots.txt (секция для Гугл) изменила, открыла доступ роботам гугла ко всем файлам, проверила, все OK. Но в Search Console отображение изменений идет медленно. С переиндексацией страниц он не торопится, надо набраться терпения.

Robots.txt для Google

УСЛОВИЕ для изменения директив в robots.txt:

в корне сайта не находятся ресурсы, каталоги, личные файлы, которые надо скрывать от сканирования;

в seo плагине включены канонические ссылки, запросы вида http://sitename.com/index.php?s=word исключены из индекса;

страницы, которые надо скрыть от индексации закрыты метатегом (страницы пагинации, рубрики, метки). Их частично можете закрыть, используя настройки seo плагина.

Чтобы закрыть такие страницы метатегом,  в файл functions.php до ?> вставьте этот код

/* ==========================================================================
*  Добавьте свой <META name="robots" content="noindex,nofollow" >
* ========================================================================== */
function my_meta_noindex () {
   if (
    //is_archive() OR // любые страницы архивов - за месяц, за год, по рубрике, по авторам
    //is_category() OR // архивы рубрик
    is_author() OR // архивы статей по авторам
    is_time() OR // архивы статей по времени
    is_date() OR // архивы статей по любым датам
    is_day() OR // архивы статей по дням
    is_month() OR // архивы статей по месяцам
    is_year() OR // архивы статей по годам
    is_tag() OR // архивы статей по тегам
    is_tax() OR // архивы статей для пользовательской таксономии
    is_post_type_archive() OR // архивы для пользовательского типа записи
    //is_front_page() OR // статическая главная страница
    //is_home() OR // главная страница блога с последними записями
    //is_singular() OR // любые типы записей - одиночные посты, страницы, вложения и т.д.
    //is_single() OR // любой одиночный пост любого типа постов (кроме вложений и Страниц)
    //is_page() OR // любая одиночная Страница ("Страницы" в админке)
    is_attachment() OR // любая страница вложения
    is_paged() OR // все и любые страницы пагинации
    is_search() // страницы результатов поиска по сайту
  ) {
    echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";
  }
}
add_action('wp_head', 'my_meta_noindex', 3);
/* ========================================================================== */

Двойной слеш // в начале строки означает, что на этой группе страниц мета-тег роботс не выводится.


РЕШЕНИЕ, которое предлагает гугл для хостов вам не принадлежащих – избавиться от них. 

У меня таким ресурсом на одном сайте оказался pinterest, пришлось кнопку расшаривания удалить.

Метки:

Сервисы для вебмастеров

ПОХОЖИЕ СТАТЬИ:

ДРУЗЬЯ, СПАСИБО, ЧТО ПОДЕЛИЛИСЬ СТАТЬЕЙ:

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

 для диалога необходимо принять правила кофиденциальности *