Комментарии на: Создаем файл Robots.txt и карту сайта в XML. Марафон, день 7. http://9seo.ru/robots-txt-i-xml/ Блог о SEO, веб-мастерстве, интернет заработке Sat, 19 May 2012 21:36:31 +0000 hourly 1 От: bratmanu http://9seo.ru/robots-txt-i-xml/#comment-34375 bratmanu Sun, 06 May 2012 22:49:49 +0000 http://9seo.ru/?p=2904#comment-34375 Привет! То есть я так понимаю, что если на странице site.ru/tag/money будут аннонсы статей  с этим тегом - то на этой странице фактически будет дублированный и уже существующий на нашем сайте контент, хоть и в смешанном порядке, да? Теперь непонятно, нужно ли запрещать к индексакции страницы типа site.ru/razdel/2 (то есть вторая страница анносов)? У тебя написано, что нужно. НО если запрещать их к индексаци, то будет страдать внутренняя перелинковка? И соответственно сразу вопрос, нужно ли закрывать к индексации раздел site.ru/razdel/ (на котором аннонсы статей), ведь по сути на этой странице собран кусочками контент, который дублирует контент на тех или иных страницах? Если эту страницу не нужно закрывать от индексации - то почему нужно закрывать site.ru/razdel/2 ? Заранее спасибо за ответы :) Привет!
То есть я так понимаю, что если на странице site.ru/tag/money будут аннонсы статей  с этим тегом – то на этой странице фактически будет дублированный и уже существующий на нашем сайте контент, хоть и в смешанном порядке, да?

Теперь непонятно, нужно ли запрещать к индексакции страницы типа site.ru/razdel/2 (то есть вторая страница анносов)? У тебя написано, что нужно. НО если запрещать их к индексаци, то будет страдать внутренняя перелинковка?

И соответственно сразу вопрос, нужно ли закрывать к индексации раздел site.ru/razdel/ (на котором аннонсы статей), ведь по сути на этой странице собран кусочками контент, который дублирует контент на тех или иных страницах? Если эту страницу не нужно закрывать от индексации – то почему нужно закрывать site.ru/razdel/2 ?

Заранее спасибо за ответы :)

]]> От: Blogoman http://9seo.ru/robots-txt-i-xml/#comment-32043 Blogoman Sun, 22 Jan 2012 12:36:49 +0000 http://9seo.ru/?p=2904#comment-32043 Лучший блог где всё про robots для dle расписано)) Я бы только убрал строчку Disallow: /page/ из него, а строчку с тегами оставил)) Лучший блог где всё про robots для dle расписано)) Я бы только убрал строчку Disallow: /page/ из него, а строчку с тегами оставил))

]]> От: Сергей http://9seo.ru/robots-txt-i-xml/#comment-29923 Сергей Wed, 14 Sep 2011 15:45:33 +0000 http://9seo.ru/?p=2904#comment-29923 картинки не стоит закрывать ! это реально класная вещь с помощью которых можно немного быстрее сайт продвинуть! картинки не стоит закрывать ! это реально класная вещь с помощью которых можно немного быстрее сайт продвинуть!

]]> От: это Я http://9seo.ru/robots-txt-i-xml/#comment-29354 это Я Thu, 14 Jul 2011 17:56:20 +0000 http://9seo.ru/?p=2904#comment-29354 Решил добавить, чо с нововведением яшки надо закрывать все, что повторяется, или вы окажетесь в топе Г*С* Решил добавить, чо с нововведением яшки надо закрывать все, что повторяется, или вы окажетесь в топе Г*С*

]]> От: это Я http://9seo.ru/robots-txt-i-xml/#comment-29353 это Я Thu, 14 Jul 2011 17:46:51 +0000 http://9seo.ru/?p=2904#comment-29353 Если это правильный робот, то почему-же у тебя он не прописан.... И скажи, для чего закрывать от индекса те же изображения, если с помощью них создается дополнительно ключевое слово! Короче в твоем роботе есть ошибки, которое неготивно отобразится на результат сайта в поисковике. Проще сразу все запретить. Вот по поводу повторяющихся статей в dle я полностью согласен,но также надо поставить запрет на индекс популярные новости, календарь и т.п. Но вот с тегами, ты погорячился, это серьезная ошибка которая приведет к неполной индексации сайта. При помощи тегов, у меня на сайте, поисковики проидексировали почти весь сайт, когда в вебмастере ещё не индексировался. Надо дуиать, что запрещать, а что разрешать, чтобы потом поисковики не выдовали ошибку при индексе! Если это правильный робот, то почему-же у тебя он не прописан….
И скажи, для чего закрывать от индекса те же изображения, если с помощью них создается дополнительно ключевое слово!
Короче в твоем роботе есть ошибки, которое неготивно отобразится на результат сайта в поисковике. Проще сразу все запретить. Вот по поводу повторяющихся статей в dle я полностью согласен,но также надо поставить запрет на индекс популярные новости, календарь и т.п. Но вот с тегами, ты погорячился, это серьезная ошибка которая приведет к неполной индексации сайта. При помощи тегов, у меня на сайте, поисковики проидексировали почти весь сайт, когда в вебмастере ещё не индексировался. Надо дуиать, что запрещать, а что разрешать, чтобы потом поисковики не выдовали ошибку при индексе!

]]>