Файл robots.txt должен лежать только в корне сайта/форума. Учитывая,
что форумы можно расположить тремя способами - отдельностояще, на
поддомене и в директории, нужно соответственно располагать и robots.txt.
В случае отдельноящего форума, а также форума на поддомене, файл
robots.txt нужно расположить в корне форума (той же папке, где находится
файл config.php). Если же форум располагается во вложенной
директории сайта, то robots.txt надо расположить в корне сайта, а все
аргументы внутри robots.txt прописать в соответствии с путем до них от
корня. То есть, если форум находится в папке forum/ (example.com/forum/), то предыдущий пример robots.txt примет следующий вид:
User-agent: *
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
...
Читать дальше »