Добро пожаловать на сайт <БагБД>, где вы можете задавать вопросы о программировании и разработке на Битрикс и Битрикс24, и получать быстрые и квалифицированные ответы от профессионалов!

robots.txt для битрикса

00 голосов
3
Подскажите примерное содержимое robots.txt для битрикса?
спросил 26 Июль, 13 от DaRkCaT (160 баллов)

3 Ответы

00 голосов
Код
User-agent: *
Disallow:    /bitrix/
Disallow:    /search/
Allow:        /search/map.php
Disallow:    /auth/
Disallow:    /auth.php
Disallow:    /*?print=
Disallow:    /*&print=
Disallow:    *print=Y
Disallow:    /*login=yes
Disallow:    /*logout=yes
Disallow:    /*back_url=*
Disallow:    /?*
Disallow:    /*.zip$
Crawl-delay: 5         # Задает таймаут 5 секунд.

User-agent: Yandex    # Правила для поисковика Yandex
Disallow:    /bitrix/
Disallow:    /search/
Allow:        /search/map.php
Disallow:    /auth/
Disallow:    /auth.php
Disallow:    /*?print=
Disallow:    /*&print=
Disallow:    *print=Y
Disallow:    /*login=yes
Disallow:    /*logout=yes
Disallow:    /*back_url=*
Disallow:    /?*
Disallow:    /*.zip$
Crawl-delay: 5         # Задает таймаут 5 секунд.
ответил 26 Июль, 13 от EDKA (980 баллов)
00 голосов
как запретить индексацию страниц вида
http://site.ru/catalog/tovar/compare/
где tovar это несколько категорий

Нужно или нет запрещать индексацию файлов index.php.
То есть чтобы site.ru и site.ru/index.php не повторяли друг друга.
ответил 22 Сен, 13 от DaRkCaT (160 баллов)
00 голосов
Disallow:    /catalog/
ответил 21 Дек, 13 от EDKA (980 баллов)

Похожие вопросы

0 голосов
2 ответов
0 голосов
2 ответов
спросил 05 Май, 14 от Mortelle (180 баллов)