虫子的执着关注于互联网络生活；虫子的执着，一个网虫的互联网视界！

　　要想控制各搜索引擎的爬虫对你的网站的访问，你就得在网站的robots.txt文件里写明有关的规则。比如，你允许爬虫访问你的哪些目录，禁止爬虫访问哪些内容。Google自己也有爬虫即Googlebot，如果你有些目录不想让它访问但你又不熟悉robots.txt文件的编写，现在可以利用Google网站管理员工具新增的robots.txt文件生成器了。

　　进入控制台>工具>生成 robots.txt就可以看到有关选项：



　　你可以允许或禁止某种Googlebot访问你的某些目录或文件，十分方便。你要做的只是填写目标目录或文件：




　　生成新的robots.txt文件后，还可以使用工具里的"分析 robots.txt"来分析它。