User-agent: * 
Disallow: /news/
Disallow: /index/
Disallow: /main/
Disallow: /admin/
Disallow: 404.htm

 
# запретить всем роботам индексировать ссылки, 
#которые начинаются с /news 
  
User-agent: StackRambler 
User-agent: Aport 
Disallow: /index/ 
Disallow: /news 
#Рамблеру и Апорту запретить индексацию ссылок, 
#которые начинаются с /news и /eng 
  
User-agent: Yandex 
Disallow: 
Host: www.antifa-kiev.at.ua
#Яндексу разрешить все.