Идеальная конфигурация файла robots.txt для WordPress блога

Довольно полемично, на мой взгляд. Смотря какие цели. Категории зачем индексировать и тэги? Если бороться за количество страниц в индексе, тогда да.

Да, капча тебе крови попила. ;) Так нормально уже.

Робот. а тебе какой из? Я не помню, какой там в их стаде главный..

Прозевал про суб. домен. А как вы суб. домен прописывали? И организован он у вас как?

Disallow /name.dir/wp-content/

По идее так должно быть, если вы субдомен расположили в папке /name.dir/ лежащей в корне основного.

Сайтмап показывает что индексировать, и что появилось нового. Он не вносит ограничений для робота. Ограничения для робота вносятся в robots.txt

В общем, пройдясь по интернету, надо сказать — был не прав. Конструкция с папкой не верна. Нужен второй роботс для субдомена, в котором выставлять разрешения для субдомена. Робот не понимает папок, он оперирует адресами. Логично.

Получается — сколько в сумме доменов с поддоменами — столько и роботс должно быть.

А у Вас то у Самого в Блоге :

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Sitemap: https://club762.ru/sitemap.xml.gz

А вы пишите о других идеальных файлах :)))))

Мдааа. просто пострясающие)) Ловите и будет Вам счастье.

Сначала самое главное правило — создайте резервную копию блога! Всегда создавайте резервную копию не ленитесь прежде чем лезть в код.

Во первых -сначала проверяте включена ли вообще индексация идем в меню —> Чтение —> Видимость для поисковых систем и убираем галочку с — «Попросить поисковые системы не индексировать сайт»

Если у Вас версия блога 3,4 идем в настройки приватности и ищем там. Сохраняем настройки.

Второе если пользуемся Google XML Sitemap generator да любыми вообще генераторами или Dragon генераторами. не забываем и про virtual robots.txt c которыи тоже могут быть проблемы. Тем более что более 50% используют впримешку All in one SEO pack тоже дает эффект eco/*

Пишем след функцию в /wp-includes/function.php в папке Вашего блога ищем файл в папке wp-includes/ называется function.php ищем строчки это около 1056:

———————————————————————————

function do_robots() {
	header( 'Content-Type: text/plain; charset=utf-8' );

	do_action( 'do_robotstxt' );

	$output = "User-agent: *\n";
	$public = get_option( 'blog_public' );
	if ( '0' == $public ) {
		$output .= "Disallow: /\n";
	} else {
		$site_url = parse_url( site_url() );
		$path = ( !empty( $site_url['path'] ) ) ? $site_url['path'] : '';
		$output .= "Disallow: $path/wp-admin/\n";
		$output .= "Disallow: $path/wp-includes/\n";
	}

	echo apply_filters('robots_txt', $output, $public);
}

———————————————————————————
и меняем оооочень внимательно на
———————————————————————————

function do_robots() {
	header( 'Content-Type: text/plain; charset=utf-8' );

	do_action( 'do_robotstxt' );

	if ( '0' == get_option( 'blog_public' ) ) {
                     echo  "User-agent: *";
                     echo  "\nDisallow: /wp-admin";
                     echo  "\nDisallow: /wp-includes";
                     echo  "\nDisallow: /wp-content";
                     echo  "\nDisallow: /stylesheets";
                     echo  "\nDisallow: /_db_backups";
                     echo  "\nDisallow: /cgi";
                     echo  "\nDisallow: /store";
                     echo  "\nDisallow: /wp-includes\n";
	} else {
                     echo  "User-agent: *";
                     echo  "\nDisallow: /wp-admin";
                     echo  "\nDisallow: /wp-includes";
                     echo  "\nDisallow: /wp-content";
                     echo  "\nDisallow: /stylesheets";
                     echo  "\nDisallow: /_db_backups";
                     echo  "\nDisallow: /cgi";
                     echo  "\nDisallow: /store";
                     echo  "\nDisallow: /wp-includes\n";
	}
}

Это нужно для создания hook правила так называемого крючка для robot.txt чтобы избавить себя от лишних проблем с созданием постоянных правил для * robots.txt.

Это правило и вообще функции актуальны для версии 3,4 если у Вас версия 3,5 проверьте на соответствие

в версии 3,5 код должен выглядеть так:

function do_robots() {
	header( 'Content-Type: text/plain; charset=utf-8' );

	do_action( 'do_robotstxt' );

	$output = "User-agent: *\n";
	$public = get_option( 'blog_public' );
	if ( '0' == $public ) {
		$output .= "Disallow: /\n";
	} else {
		$site_url = parse_url( site_url() );
		$path = ( !empty( $site_url['path'] ) ) ? $site_url['path'] : '';
		$output .= "Disallow: $path/wp-admin/\n";
		$output .= "Disallow: $path/wp-includes/\n";
	}

	echo apply_filters('robots_txt', $output, $public);
}

———————————————————————————

Затем ручками создаем robot.txt c кодировкой UTF-8

Пишем внутрь

User-agent: *

Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-

Sitemap: http://ваш.домен.ru/sitemap.xml

Этот robot txt актуален для всех весрий включительно 3.5
———————————————————————————

Сохраняем заливаем. Проверяем на ошибки.

Все ничего придумывать не надо с Уважением ко вс блогерам Никитос ;)
Вопросы?

Но если у вас нет зеркал сайта, лучше вообще эту директиву не использовать. Смысла нет.