настройка robots.txt

Google проверяет веб-сайты через специального поискового робота, который называется Googlebot. Если этот робот выполнил проверку надлежащим образом, т.е. получил верные инструкции от веб-сайта (описанные в руководстве для веб-мастеров…