Ворд юа

При каждом обращении к сайту поисковые роботы первым делом ищут и считывают файл robots.txt. Детальное описание назначение файла robots.txt и правил его составления. Проблемы.