Комментарии на: Создаем файл Robots.txt и карту сайта в XML. Марафон, день 7.

От: Blogoman

Blogoman — Sun, 22 Jan 2012 12:36:49 +0000

Лучший блог где всё про robots для dle расписано)) Я бы только убрал строчку Disallow: /page/ из него, а строчку с тегами оставил))

От: Сергей

Сергей — Wed, 14 Sep 2011 15:45:33 +0000

картинки не стоит закрывать ! это реально класная вещь с помощью которых можно немного быстрее сайт продвинуть!

От: это Я

это Я — Thu, 14 Jul 2011 17:56:20 +0000

Решил добавить, чо с нововведением яшки надо закрывать все, что повторяется, или вы окажетесь в топе Г*С*

От: это Я

это Я — Thu, 14 Jul 2011 17:46:51 +0000

Если это правильный робот, то почему-же у тебя он не прописан….
И скажи, для чего закрывать от индекса те же изображения, если с помощью них создается дополнительно ключевое слово!
Короче в твоем роботе есть ошибки, которое неготивно отобразится на результат сайта в поисковике. Проще сразу все запретить. Вот по поводу повторяющихся статей в dle я полностью согласен,но также надо поставить запрет на индекс популярные новости, календарь и т.п. Но вот с тегами, ты погорячился, это серьезная ошибка которая приведет к неполной индексации сайта. При помощи тегов, у меня на сайте, поисковики проидексировали почти весь сайт, когда в вебмастере ещё не индексировался. Надо дуиать, что запрещать, а что разрешать, чтобы потом поисковики не выдовали ошибку при индексе!

От: Максим

Максим — Mon, 11 Jul 2011 06:01:21 +0000

А вы не запрещаете индексирование категорий? /category – наравне с метками