Интересное наблюдение, много пишут о том, как создать файл robots txt, и совсем мало о том, как добавить его в блог. Как добавить файл на хостинг без плагина читайте в этой статье
Ой блин, стрёмно вот так тянуть чужой robots.txt. Хорошо если ещё тот сайт на том же движке, а если нет? Таких косяков наешься, никакой Яндекс не разрулит. Решит что проще забанить. Лучше найти знающего человека и попросить написать конкретно под себя.
Я, кстати, тоже на своём "Всё красивое" плагином не пользуюсь. Но я неплохо знаю HTML, движок и правила составления самого robots.txt. И всё равно, пользую шаблон из движка, который только правлю.
Ответ на комментарий Kancstc #
Да вообще с чужого сайта стремно чего-то тянуть. Оно же на свой может и не натянуться(( Мне писали файлик robots.txt. дважды: когда нужно было закрыть от поисковиков пустой сайт на время его наполнении и когда пришла пора их туда пустить. Но приятель - человек знающий и косяков не напорол.))