Файлы robots.txt и sitemap.xml

robots

Здравствуйте Друзья!!! Сегодня я хочу рассказать о таких не маловажных файлах, которые должны присутствовать в корне вашего сайта, как robots.txt и sitemap.xml.

Как только Вы создали сайт и пустили его по морю интернета, Вам нужно сообщить поисковым системам о том, что он есть, что его должны увидеть другие пользователи и что для этого его нужно проиндексировать (о принципах работы поисковых систем, я написал в статье»Поисковые системы — принципы работы. «). Сделать это можно, для Google здесь, для Yandex здесь, для остальных поисковиков, я думаю, Вы найдете сами. Так вот, поисковые системы начнут посылать на Ваш сайт поисковых роботов, которые должны осмотреть Ваш сайт и сообщить системе, что там у Вас вообще есть. После этого Ваши страницы начнут попадать в поисковую выдачу. Вот для этого и понадобятся файлы robots.txt и sitemap.xml.

ROBOTS.TXT.

Не буду очень умно заморачиваться. Давайте представим. Пригласили Вас в гости и вот стоите Вы перед порогом, а на двери висит план с указаниями. Что-то вроде «ты туда не ходи, ты сюда ходи». Не то, что бы категорически, просто Вам подсказывают, что в такой-то комнате есть что-то поинтереснее. Примерно так. Т.е. если еще проще, файл robots.txt, указывает поисковому роботу какие разделы Вашего сайта индексировать, а какие нет. Можно конечно, чтобы он смотрел все подряд, но чем это чревато. Тем, что он может просматривать не то Вам нужно и в итоге, по бродив по Вашему сайту и устав, просто уйдет, не добравшись или пропустив важные разделы на сайте. Так что, не поленитесь и закиньте файл robots.txt в корень, тем более, что сделать его не так сложно. Просто создайте текстовый файл и впишите в него правила для робота. В интернете есть много сервисов, которые сгенерируют Вам robots.txt. Можете воспользоваться ими. Я использую вот этот, автор утверждает, что он самый правильный:


User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/

Директива disallow запрещает заходить по прописанному пути. Ну зачем, к примеру, ему заглядывать в cache? Вместо site.ru пропишите URL своего сайта.

 

SITEMAP.XML.

Тоже не маловажный файл, который нужно видеть роботу. Он нужен для того, чтобы робот не заблудился на Вашем сайте. Не забудьте указать адрес файла  Sitemap.xml в файле robots.txt. Как понятно из его названия, это карта Вашего сайта, только она для робота. Сделать файл Sitemap.xml Вам могут помочь различные плагины (об этом я писал в статье «Плагины для WordPress»), либо онлайн генераторы.

Так что, сделайте эти два файла и закачайте их в корень.

Ну вот, пожалуй, и всё!!! Коротко и, надеюсь, понятно.

Не забываем нажимать на кнопки соц.сетей!!! Заранее благодарю!!!

До встречи!!! Всегда с уважением к Вам, Долгов Антон.

comments powered by HyperComments
Нина
2016-03-10 21:42:19
Которую статью уже читаю... Все понимаю - что эти файлы важны и так далее. А понять тяжело ) Но спасибо вам )
Antuffan
2016-03-10 22:33:07
А что именно не понятно?