Создание файла robots.txt
Файл robots.txt - важная деталь, забывать о которой не стоит. Для чего он нужен?
Во-первых, иногда поисковые боты, заходящие на ваш сайт и не находя этот файлик, могут просто ничего не проиндексировать, а во-вторых, иногда бывает нужно просто скрыть от них кое-какие элементы нашего сайта.
Зачем нужно что-то скрывать и как это делать, см. другую статью в этом же разделе - сейчас же будет объясненно, как составить файл
robots.txt с таким расчетом, что б все было открыто и не возникло проблем с индексацией каждой страницы.
Для начала отметим, что сам файл robots.txt должен находиться в корневом каталоге сайта на сервере. Расположение его в других каталогах не даст никакого эффекта - бот его не найдет. Само имя файла должно писаться в нижнем регистре, т.е. состоять из строчных букв.
Формирование содержания файла представляет из себя перечень команд, каждая из которых умещается в две строки.
Первая строка - это имя поискового бота, вторая - каталоги, которые мы хотим закрыть. Поскольку мы закрывать ничего не собираемся, а, наоборот, стремимся привлечь как можно больше ботов и при этом хотим, что б они проиндексировали все что только возможно, то наш файл будет выглядеть очень просто и симпатично, а именно:
User-agent: *
Disallow:
user-agent и звездочка после двоеточия говорит, что мы обращаемся ко всем ботам, а
disallow c двоеточием, после которого пустота (т.е. отсутствие запретов) означает, что у нас открыты все директории для индексации. Все просто. Полезно сделать такой файлик и вывесить его на сервере.
Отсюда вполне легально можно брать статьи, пожалуйста, с указанием ссылки на источник :-)
(ссылка на тематический ресурс будет и вам полезна и нам будет приятно)
