Question

Добрый день.На проекте настроил ЧПУ. Встал вопрос, как закрыть от пауков дубли страниц. Возможен ли такой вариант:

Страница откликается по двум адресам:

Код
site.com/example.php

и

Код
site.com/example/

Будет ли грамотным прописать в robots.txt следующее:

Код
Disallow: /example.php

По яндексу, после такой записи в роботс, адрес site.com/example/ доступен к индексации.
Или можно закрыть от поисковиков дубли каким-то более грамотным способом?

П.С. Если все верно, то для динамики подойдет такое:

Код
Disallow: /example2.php*

?Заранее огромное спасибо!

Answer 1

Товарищи, не уж то никто не может подсказать?

Answer 2

А это какое отношение к Битриксу имеет? Это обычные seo-шные штучки.
Можно еще в админке битрикса в настройке поиска указать какие файлы не индексировать, тогда sitemap будет формироваться без этих файлов.