По дате Ноябрь 21st, 2012

директивы robots.txt

Про файл robots.txt в интернете много написано.. несмотря на наличие “стандарта” (http://www.w3.org/TR/REC-html40/appendix/notes.html#h-B.4.1.1 - приложение к HTML40), некоторые поисковые боты используют дополнительные недокументированные возможности - директивы robots.txt

Про “основную” (всё-таки стандарт исключений роботов) директиву Disallow:

Читать целиком »

Опубликовано Ноябрь 21, 2012 | автор: levik  |  Нет комментариев »