Disallow: - после двоеточия прописывается файл или папка, доступ к которой вы хотите запретить. Например, следующая директива запрещаетпаукам индексировать файл product_1.html 1 Disallow: product_1.html Если директива Disallow будет пустой,это значит, что роботможет индексировать все файлы. Как минимум одна директива Disallow должна присутствовать для каждого поля User-agent, чтобы robots.txt считался верным. Полностью пустой robots.txt означает то же самое,как если бы его не было вообще. Стоит отметить, что нет команды разрешающей индексацию, поэтому если Вы хотите сделать доступной для поиска всего одну страницу сайта, а остальные запретить, то придется все их прописать. Вот еще несколько примеров файла robots.txt Следующая запись в файле robots.txt разрешает всем роботам индексировать все ресурсы сайта: 1 User-agent: * 2 Disallow: А эта запись наоборот запрещает всем роботам это делать 1 User-agent: * 2 Disallow: / А данная директива запрещает поисковому роботу Googlebot индексировать каталог images и products: 1 User-agent: googlebot 2 Disallow: /images/ 3 Disallow: /products/ Можно также использовать команду allow, например: 1 Allow:/images/common/ 2 Disallow:/images/ Такая запись будет означать, что в закрытой для индексации папке images будет доступна к индексации папка common. Следует заметить, что поле Allow всегда должно стоять раньше директивы Disallow.