Robots.txt文件正常放于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：

 "<field>:<optional space><value><optionalspace>"

Robots.txt文件用法举例说明如下：