Используем идентификаторы для Robots.txt

Печать Email
Метки: Robots.txt joomla поисковая оптимизация СЕО SEO
( 2 Votes )
SEO Joomla поисковая оптимизация сайта
Автор: Administrator   
16.04.2009 08:37
 
Я думаю все уже разобрались, что файл Robots.txt важен для СЕО оптимизации, не только на Joomla сайтах, но и вообще на любых ресурсах, в задачи которых входит оптимизация сайта под определенный контент.
Соответственно для работы с различными поисковыми системами будь-то Яндекс, Рамблер или Гугл, нам просто необходимо сообщать поисковым работам о том, что им можно и нужно индексировать, а что запрещено.

Немного с оптимизацией Robots.txt мы разобрались в прошлой статье. Теперь подумаем о том, что под различные роботы поисковых систем надо создавать изменения в нашем файле.
Например, стандартные средства Яндекса отказываются индексировать RSS новостные ленты от Joomla генератора, а, например, Google индексирует их отлично - соответственно пусть к своей ленте для Яндекса надо заблокировать, что бы он не пытался снова и снова индексировать этот документ.

Я привожу список основных  идентификаторов, в Joomla 1.5 их также можно использовать во вкладке "Мета-данные" любого документа.

Яндекс: Yandex
Рамблер: StackRambler
Вэбальта: Webalta
Черепаха:  turtle Search Engine: User-Agent
AltaVista: Scooter
Infoseek: Infoseek
Hotbot: Slurp
AOL: Slurp
Excite: ArchitextSpider
Google: Googlebot (поддерживает регексы)
Goto: Slurp:
Lycos: Lycos
MSN: Slurp
Netscape: Googlebot
NorthernLight: Gulliver
WebCrawler: ArchitextSpider
Iwon: Slurp
Fast: Fast
DirectHit: Grabber
Looksmart Web Pages: Slurp

Yahoo Web Pages: по одной информации - Googlebot, а по другой - Yahoo! Slurp

поддерживает * (любой набор символов), $ используется как знак конца URL

Еще небольшое замечание по поводу Robots.txt, хоть оно и не имеет прямого отношения к Joomla. Иногда мы сталкиваемся с повышенной нагрузкой на сервер, а у Джумлы - это больное место! Тут доходчиво объясняют как использовать параметр - crawl-delay , указывающий задержку между обращениями к страницам для роботов-поисковиков.

От себя маленькая рекомендация, для ссылочного продвижения и наращивания хорошой ссылочной массой используйте автоматизированную систему покупки ссылок !



PS Недавно озаботила меня мама моя началом дачного сезона. Крыша совсем худая стала на даче - просила найти специалистов, который на самом деле знаю, что такое настоящая мягкая кровля и умеют быстро и качественно произвести её ремонт!

 


Добавить комментарий


Защитный код
Обновить