Это файл, запрещающий индексацию отдельных элементов сайта (страниц, файлов, каталогов), связанных, например, с конфиденциальной информацией. https://intensedebate.com/people/mouselatex8