Разработать robots.txt

Продумать вид файла для номального индексирования сайта. Это позволит избежать жутких тормозов, которые можно сейчас наблюдать при индесировании и будет более грамотный каталог в поисковых машинах