SEO: Софт и информация
 
 
Основы SEO - статьи о Контенте



Создание файла robots.txt
robots.txt


Файл robots.txt - важная деталь, забывать о которой не стоит. Для чего он нужен?

Во-первых, иногда поисковые боты, заходящие на ваш сайт и не находя этот файлик, могут просто ничего не проиндексировать, а во-вторых, иногда бывает нужно просто скрыть от них кое-какие элементы нашего сайта.

Зачем нужно что-то скрывать и как это делать, см. другую статью в этом же разделе - сейчас же будет объясненно, как составить файл robots.txt с таким расчетом, что б все было открыто и не возникло проблем с индексацией каждой страницы.

Для начала отметим, что сам файл robots.txt должен находиться в корневом каталоге сайта на сервере. Расположение его в других каталогах не даст никакого эффекта - бот его не найдет. Само имя файла должно писаться в нижнем регистре, т.е. состоять из строчных букв.

Формирование содержания файла представляет из себя перечень команд, каждая из которых умещается в две строки.

Первая строка - это имя поискового бота, вторая - каталоги, которые мы хотим закрыть. Поскольку мы закрывать ничего не собираемся, а, наоборот, стремимся привлечь как можно больше ботов и при этом хотим, что б они проиндексировали все что только возможно, то наш файл будет выглядеть очень просто и симпатично, а именно:

User-agent: * Disallow:

user-agent и звездочка после двоеточия говорит, что мы обращаемся ко всем ботам, а disallow c двоеточием, после которого пустота (т.е. отсутствие запретов) означает, что у нас открыты все директории для индексации. Все просто. Полезно сделать такой файлик и вывесить его на сервере.





обсудить на форуме
другие статьи для начинающих вебмастеров



Похожие статьи:

вопросы построения HTML - разбор ньансов правильного построения html страниц сайта техническая сторона организации сайта - статьи, освящающие техническую сторону эксплуатации сайта динамический контент - статьи, освещающие вопросы, связанные с использованием динамического контента на сайте


Human Emulator - автоматизатор ваших действий в браузере

             


   
Группа в ВКонтакте Группа в Facebook Группа в Google+ Группа в Одноклассниках
   
   
  Полезное  
сайт с информация о том как собирать данные
магазин полезных товаров для вебмастера
   
   
  Содержание  
 
   
  Обсуждения  
   
  Сервис  
   
   
   
 
   
   
   
Copyright © since 2006 bigfozzy.com All Right Reserved.
 

Отсюда вполне легально можно брать статьи, пожалуйста, с указанием ссылки на источник :-)
(ссылка на тематический ресурс будет и вам полезна и нам будет приятно)



Яндекс.Метрика