Google проверяет веб-сайты через специального поискового робота, который называется Googlebot. Если этот робот выполнил проверку надлежащим образом, т.е. получил верные инструкции от веб-сайта (описанные в руководстве для веб-мастеров от Google), значит, рассматриваемый веб-сайт будет отличаться хорошим ранжированием в SERP и сможет обойти всевозможные штрафы, которые накладываются на веб-мастера вследствие неверной конфигурации meta.
Плагин Robots Meta позволяет автоматически настроить оптимальную конфигурацию meta-данных.
Возможности плагина:
- Управление индексацией RSS-каналов. С помощью плагина Robots Meta вы можете предотвратить нежелательную индексацию RSS-каналов своего веб-сайта. Плагин обладает следующими настройками: “noindex all RSS feeds” (отменить индексацию всех RSS-каналов) и “noindex the comment RSS feeds” (отменить индексацию RSS-каналов с комментариями).
- Индексация архивов и навигации. Плагин позволяет отменить индексацию страниц с результатами поиска, страниц входа в систему, страниц с архивами по авторам и по дате, страниц для рубрик и меток, а также индексацию вложенных страниц для главной страницы, что нередко вызывает головную боль у владельцев ресурса.
- Управление внутренними ссылками. Если вы всерьез взялись за SEO, вы можете добавить атрибут nofollow к тем страницам, которые не содержат в себе никакого контента, т.е. эти страницы не должны быть проверены роботами. Также вы можете управлять внутренней линковкой и устанавливать nofollow для архивов по рубрикам и меткам. Если же у вас слишком много внешних ссылок, вы также можете автоматически добавить к ним атрибут nofollow.
- Добавление верификационных мета-тегов. Поисковые системы, такие как Google, Yahoo и т.д, просят добавить специальный мета-тег, с помощью которого веб-мастер может подтвердить свои права на веб-сайт. Плагин позволяет автоматически добавлять верификационные мета-теги в header сайта.
- Специальные мета теги для каталогов DMOZ и Yahoo. С помощью плагина Robots Meta можно добавить мета-теги, предовтращающие проблемы для сайтов, расположенных в каталогах DMOZ и Yahoo (noodp, noydir).
- Встроенный редактор robots.txt. С помощью встроенного редактора можно удобно вносить изменения в файл robots.txt (обычно это делается через ftp).
- Встроенный редактор .htaccess.
Помимо всех перечисленных выше функций, вы можете также устанавливать meta правила для каждой конкретной страницы или записи.
http://devilmustcry.com/blog/robots-meta-plugin-makes-your-website-googlebot-friendly.html
У меня файл robotsmeta надо заполнить — а что туда заполнить? Знаешь?
Я читала, что если открыть uploads для всех ботов, то в индексе появляются загруженные PDF и прочие текстовые файлы. А в яндекс вебмастере, в отчете «Исключенные страницы» появляются сообщения об ошибке при индексировании картинок, мол содержимое не поддерживается.
Краулинг и индексация — разные вещи. Запретить через disallow — это одно, но если робот при обходе сайта каким-то образом найдет файл (перейдет по ссылке с другого сайта, к примеру), то он его проиндексирует все равно, даже не посещая сам файл.
Здравствуйте, elementor создает дубли вида
/?elementor-preview=2860&ver=1601375952
Можно ли настроить плагин таким образом, чтобы при появлении той или иной страницы, к таким страницам автоматически подставлялся атрибут
meta robots
Они у вас в аналитике появляются или в поиске?
Если в аналитике, то их можно отсеять с помощью фильтра: View — Filters — Add Filter — Custom — Exclude Request URI — в Filter pattern type вводите preview=true — Save.
Здравствуйте! Они в вебмастере.
Возможно, там тоже можно как-то по аналогии убрать их из статистики через фильтры.
Разобрались с этим вопросом?