club762.ru
Карты сайта помогают владельцам вебсайтов информировать поисковые системы о том, какие страницы на их сайте доступны для индексации поисковыми роботами.
Протокол был введен для того, чтобы поисковые системы могли обходить ваш сайт более эффективно и качественно. Впервые он был введен Google в 2005 году. MSN и Yahoo начали поддерживать этот протокол год спустя. Карты сайта известны также как протоколы включения URL, поскольку они рекомендуют поисковым системам то, что нужно проиндексировать. С другой стороны, файл robots.txt известен как протокол исключения, ибо он указывает поисковикам, что не нужно индексировать.
В своем самом простом виде карта сайта представляет собой документ, в котором перечисляются все URL-адреса вашего сайта (которые вы хотите видеть в выдаче поисковой системы). В документе детализируется и другая информация, как то: дата последнего изменения страницы, как часто страница может меняться, а также какие страницы имеют более высокий приоритет. Отдельные карты сайта могут быть созданы для разных типов контента. К примеру, отдельная карта сайта для записей блога, отдельная – для видео, и т.д.
Важность карт сайта не может быть преуменьшена. Они помогают поисковым системам быстрее переходить по вашему сайту, что позволяет лучше индексировать контент. Если представить себе веб-сайт как отдельное здание, то карта сайта – это план, который показывает поисковым системам, где что находится.
Как создать карту сайта для небольшого веб-сайта
Не волнуйтесь. Вам не нужно вручную вводить каждый URL-адрес в карту сайта. Карты могут быть сгенерированы в автоматическом режиме.
Для небольшого статичного сайта, который обновляется не слишком часто, я советую использовать генератор карты сайта, такой как XML-Sitemaps. С его помощью вы сможете задать, как часто обновляются ваши страницы и какую дату изменения использовать.
Как только генератор создаст вашу карту сайта, вы должны будете загрузить ее в корень вашего домена. К примеру, по адресу: www.yourwebsite.com/sitemap.xml.
Генератор XML-Sitemaps ограниченный во многих отношениях. Во-первых, он обладает лимитом в 500 страниц. Во-вторых, он задает одну и ту же частоту изменений для всех URL. Очевидно, что это не подойдет абсолютно всем сайтам, которые публикуют контент каждую неделю – ведь вы можете пожелать, чтобы ваша главная страница посещалась роботами более часто, чем остальные.
Как создать карту сайта для своего WordPress-сайта
Существует масса плагинов для создания карт сайта, доступных в WordPress. В качестве вариантов можно назвать XML & Google News Sitemaps, Better WordPress Google XML Sitemaps и Google Sitemap.
Если вы используете фантастический плагин WordPress SEO by Yoast, я рекомендую вам использовать генератор карты сайта, встроенный в этот плагин. В противном случае я рекомендую вам использовать Google XML Sitemaps.
WordPress SEO by Yoast – то, что я использую на своем блоге. Я применяю этот плагин для создания карт сайта, потому что: 1. Я уже использую этот плагин в целях SEO. 2. Его очень просто настроить.
Большинству пользователей не понадобится менять какие-либо настройки в разделе настроек карты сайта. Такие опции, как карта сайта для пользователей и пингование Yahoo и Ask.com уже включены, однако их можно выключить, если они не требуются.
Определенные типы записей и таксономии также могут быть исключены из карты сайта. Количество URL-адресов, перечисленных на странице карты сайта, может быть также ограничено, чтобы на ваш сервер шло меньше нагрузки.
Ваша карта сайта будет сгенерирована и опубликована по адресу: http://www.yourwebsite.com/sitemap_index.xml. Основная страница карты сайта содержит в себе карты сайта для каждого типа записей.
Каждая карта сайта включает в себя список URL-адресов, которые должны быть проиндексированы. На экран выводятся такие данные, как приоритет, количество изображений, частоты изменения и дата последней модификации. Информация может выводиться в разном порядке – для этого достаточно щелкнуть по одному из заголовков таблицы.
Google XML Sitemaps – более подходящий выбор в том случае, если вам требуется расширенный контроль над вашей картой сайта.
В самом верху страницы настроек плагина указано, когда именно в последний раз была сгенерирована ваша карта сайта. Также указано, сколько времени это заняло, и сколько памяти было потрачено на это.
Многочисленные параметры конфигурации могут быть изменены через основную страницу настроек плагина. В дополнение к ограничению количества выводимых записей вы можете увеличить лимит памяти, а также время выполнения для процесса создания карты сайта.
Google XML Sitemaps также позволяет вам определять страницы, которые находятся не на вашем сайте WordPress. Имеется также опция для определения приоритета записей на базе числа комментариев.
Ваша карта сайта будет автоматически сгенерирована и опубликована по адресу: http://www.yourwebsite.com/sitemap.xml; однако это расположение может быть изменено в настройках.
Google XML Sitemaps позволяет вам определять, какие области вашего сайта будут включены в карту сайта.
Определенные записи, страницы и рубрики могут быть исключены. Для этого вам просто достаточно ввести ID записи или страницы.
Частота изменений и приоритет могут быть настроены для восьми различных областей сайта, включая главную страницу, записи и архивы. По моему мнению, стандартная конфигурация плагина очень удобна, хотя вы всегда можете изменить ее для определенных разделов вашего сайта.
В отличие от WordPress SEO by Yoast, плагин не создает отдельные карты сайта для каждого типа записей. Количество изображений на каждой странице также не указывается.
Передача карты сайта в Google & Bing
Как только ваша карта сайта будет сгенерирована, вы должны отправить ее в Google и Bing. Сделать это можно через Google Webmaster Tools и Bing Webmaster Tools.
Поисковые системы способны автоматически обнаруживать карты сайта, которые расположены в корне вашего домена. Однако передача карт сайта напрямую в Google и Bing обладает одним преимуществом – возможностью изучения аналитики.
Инструменты веб-мастера позволяют вам видеть, сколько страниц и изображений было передано и проиндексировано. Также можно узнать, какие ошибки были обнаружены.
Если вы пока еще не создавали карту сайта для своего ресурса, я советую вам это сделать. Это положительно скажется на ваших показателях ресурса, а поисковые роботы смогут быстрее перемещаться по вашему сайту и индексировать ваш контент.
Источник: www.elegantthemes.com/blog
Раньше пользовался XML Sitemap Generator, он создавал статичный файл, при этом пожирая кучу памяти и времени для его создания. Помню он иногда автоматически не хотел обновляться, при изменении сайта.
Но т.к. использую Yoast WordPress Seo плагин, в котором есть и сайтмап, то стал пользоваться им. Его плюс в том, что сайтмап не создается в статике, т.е. файл, а работает динамично, и поэтому не требует особых затрат памяти и обрабатывает карты сайтов на лету в реальном времени — т.е. по запросу. Ну и кеширующие плагины, вместе с сайтом кешируют и эти сайтмапы, так что получаем опять же обычную статику без нагрузок на сервер.
Плагин кстати имеет расширенную карту сайта, включая туда и картинки и дату последнего обновления, самих карт т.е. если на сайте ничего не менялось, то ПС-ы не будут загружать ВСЮ карту сайта, а загрузит лишь начальную карту в которой есть разделы и увидит, что ничего не поменялось и разделы карты грузить уже не будет.
Гугл отлично кушает эту карту, а вот яндекс — позорник, до сих пор не понимает и не принимает картинки в сайтмапах, просто игнорируя их.
Yoast обладает как раз этими дополнительными настройками, которых нет в других плагинах.
По поводу Яндекса не знаю. В последнее время мне не слишком нравится, как он индексирует новые материалы. Даже скармливая ему карту сайта, все равно индексация не всегда осуществляется оперативно.
Да у меня так же — материалы порой попадают в выдачу яши спустя 2-4 недели, и иногда по непонятным причинам некоторые проиндексированные статьи даже могут выпадать оттуда на какой-то период.
Аналогично, сейчас трясет Яндекс как-то, тоже многие статьи то выпадают, то залезают обратно.
В гугле кстати кратковременные выпадения тоже случаются. Вернее не сами страницы в выдаче, а кеш гугла для них пропадает.
Во многом с автором согласен, Yoast — хорош. Но как всегда есть некоторые ньюансы ).
Например из описанных выше плагинов, только XML & Google News Sitemaps корректно генерирует сайтмапу для Google News. И только у него заявлено, что он пингует yandex на предмет изменения содержимого. Честно признаюсь, первый момент мною проверен и изучен хорошо, а что касается яндекса, тут проверяй не проверяй, но если быстроробот тебя не смотрит, то хоть заобновляй сайтмапу — не поможет, поэтому шибко проверками этого «заявления» не заморачивался.
Второй момент, если у Вас на сайте действительно большое количество записей, от 30 тысяч, то плагины которые строят сайтмапу динамически, начинают заметно подтормаживать, и зачастую поисковики не успевают дождаться формирования сайтмапы, поэтому настоятельно необходимо разбивать ее на годовые, а на некоторых проектах и на месячные индексы, благо все серьезные плагины это позволяют.
Третий момент, если в качестве фронтэнда используется кэширующий nginx, то если у Вас на сайте, помимо сайтмапы есть еще xml файлы, которые должны нормально кэшироваться, то Вам придется для плагинов динамически генерирующих xml файлы сайтмапы написать правила rewrite, во избежание получения 404.
Кстати говоря почему-то при кешировании карты сайта от yoast, с помощью например Total Cache — слетает форматирование стилей карты сайта, она видится как монолитный кусок текста без всякого форматирования.
Предположил бы что у Вас включен в Total Cache модуль minify который зачастую некорректно минифицирует .xsl разметку для сайтмапы. Проверьте.
Нет, minify отключен.
Плагин WordPress SEO by Yoast как бы создает карту Sitemap, но в корне сайта ее нет и Google ее не видит и при проверке выдает:
— При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно.
— Общая ошибка HTTP: 404 Не найдено
Если карты сайта нет, возможно, что проблема с правами доступа к папкам. Из-за этого плагин просто не может ее там создать.
Та же беда, на карту ругается google
Плагин и не создает физически файл карты сайта, его в корне и не будет, карта сайта — целиком виртуальная и генерируется динамически при обращении. И доступна по адресу /sitemap_index.xml
Ее то и надо прописывать в robots.txt и скармливать поисковикам.
В WP давно уже используются динамические «файлы», например он сам создает виртуальный robots.txt, когда нет физического.
У меня карта сайта создается физически в корне с сайтом. Но я пользуюсь другим плагином, Dagon Design Sitemap Generator. Кстати, надо будет посмотреть, в чем плюсы динамического подхода к карте сайта, и как это воспринимается поисковиками, а то у меня бывает, что некоторые записи поисковик не берет.
Раньше пользовался самым скачиваемым плагином google sitemap generator, он создавал статический файл. Но создание файла требовало много памяти и где-то секунды 2-3 он создавался. Позже этот же плагин перешел на динамический сайтмеп, создаваемый виртуально по запросу. Он стал работать мгновенно. + Он стал разбивать карты сайтов на подкарты по дате, но почему-то некоторые поисковики типа мейл.ру плохо работают с такими мулти-картами.
Т.к. пользуюсь yoast wordpress seo, а в нем уже есть карта сайта, то перешел на её использование. Он кроме всего прочего в карту включает и изображения к записям. Гугл их отлично понимает, а яндекс не понимает и игнорирует, как «нераспознанные теги».
Дмитрий все страницы и записи в wp ведь тоже динамические, их ведь нет физически в корне сайта) Тем не менее всё работает точно так же — по адресу отдается страница. Так же и с динамическими картами сайтов. Читал, что это более лучшая технология, меньше памяти, мгновенное обновление, всегда актуальная карта сайта. Сам уже давно пользуюсь динамической картой сайта.
С картой сайта немного иная история, нежели с остальными страницами. Она ведь, по сути, нужна только поисковикам, пользователям от карты сайта выгоды практически никакой. Ее не требуется обновлять очень часто (за исключением очень крупных ресурсов, где новые записи публикуются и меняются часто). Поэтому нельзя сказать, что на ее создание и поддержание в актуальном виде уходит очень много памяти.
Кеширующие плагины точно так же могут закешировать эти динамические страницы карт, как любые страницы сайта, превратив их в статику.
Права доступа к папке public_html стандартные 755.
По адресу сайт/sitemap_index.xml плагином создано 4 карты сайта. Но Google и Bing (про других пока не знаю)их ищет в корне сайта, а их там нет.
Подскажите, пожалуйста, как решить эту проблему.
В robots.txt нужно указывать адрес сайтмап, а так же в кабинете вебмастера гугл и бинг.
В robots.txt указано сайт/sitemap.xml.
При проверке Яндекс сообщает:
Указанный URL выполняет перенаправление, поэтому не рекомендуется добавлять его в качестве файла Sitemap. Используйте URL цели перенаправления.
Видно придется отказаться от Sitemap от WordPress SEO by Yoast и вернуться к проверенным плагинам.
Указывать надо везде сайт/sitemap_index.xml
Можете попробовать еще вот такой способ решения проблемы (статья на английском):
http://www.wpbeginner.com/wp-tutorials/how-to-fix-yoasts-wordpress-seo-sitemap-404-error/
Каарта by Yoast странно генерируется, почему то часть страниц на свое усмотрение не включила? Хотя на данных страницах указанно «обязательно включить в карту сайта».
Где и как искать причину? Может дело в приоритете? Где возможно настроить приоритет?
Во вкладке Advanced плагина, там будет опция Sitemap Priority.
Дмитрий, спасибо за оперативный ответ, но я не нашел у себя такой настройки. Видимо речь о редакции Premium?
У меня Версия 2.0.1 и опцию Sitemap Priority не нашел.
Третий снизу пункт. Не знаю, как сейчас, может быть его вынесли в платную версию, если его нет в стандартном плагине.
нет такого. Прошу прощения, какая версия плагина у вас?
Да, извиняюсь, это было в старой версии плагина. Теперь, видимо, уже нет такой возможности.
Я сам не пользуюсь им. У меня для карты сайта стоит плагин Dagon Design Sitemap Generator.
Не первый раз пользуюсь Yoast WordPress Seo. И ТУТ! Поставил на новый сайт, записи уже есть, а вместо карты сайта ошибка 404?! Это что? Пробовал другой плагин — то же самое
Mod_rewrite включен? Обычно из-за него такое бывает. Определить это просто: попробуйте постоянные ссылки поменять на любые другие, кроме дефолтных.
Ссылки уже сменил, стоят с ЧПУ. Т.е ссылки меняются
Посмотрите тут : http://www.wpbeginner.com/wp-tutorials/how-to-fix-yoasts-wordpress-seo-sitemap-404-error/
Круто, спасибо за полезный мануал
Sitemap.xml с версии wp 5.5 автоматически генерится должен, но не всегда работает корректно к сожалению, поэтому приходится плагином делать. А html карту обычно с помощью WP Sitemap Page делаю, и стараюсь как-то ещё апгрейдить, что ли, оживить, https://sverchokcorm.ru/sitemap/тут например пару картинок добавил, все повеселее)