Тема: robots.txt (Движок DCMS-Social/Общие вопросы)

Sektor (15 Aug 2013 в 09:04)
для поисковых ботов, для них эта карта сайта.

Сатан84 (15 Aug 2013 в 09:16)
Допустим я в пишу в файл все что не хочу что бы видели боты то они не увидят? Я так понял Вас?

nikki1 (15 Aug 2013 в 10:08)
--Цитата--
Сатан84 (15 Aug 2013 в 09:16):
Допустим я в пишу в файл все что не хочу что бы видели боты то они не увидят? Я так понял Вас?
----------
Сатан84, 
robots.txt наоборот создан для того чтоб поисковые роботы могли видеть что у тебя на сайте есть.

Sektor (15 Aug 2013 в 10:14)
Сатан84, 
[url=http://seonews.ru/masterclasses/chto-takoe-robotstxt-zachem-i-kak-ego-ispolzovat-kak-razreshit-k-indeksatsii-ves-sayt-a-zapretit-k-indeksatsii-tolko-odnu-stranitsu-v-robotstxt/]Тут[/url] ответы на все вопросы.

Источник: http://www.dcms-social.ru/forum/13/34/7225/