李灿辉全套网站SEO优化技术视频教程（17）

SEO视频教程第17节、robots协议文件的书写

1、robots协议文件的定义

robots协议（也叫做爬虫协议）是网站与搜索引擎之间的协议文件，它的全称是“网络爬虫排除标准”，主要的作用是告诉搜索引擎我们网站上哪些页面可以抓取，哪些页面不能抓取。补充说明一点：就是robots协议指的是协议而不是命令。协议是协商的意思，因此，比如有些动态页面做了robots协议屏蔽之后，搜索引擎是还有可能会抓取到的。

2、robots协议文件的书写

User-Agent: * , Disallow: /?= , Disallow: /a/ , Disallow: /a

3、robots协议文件注意事项

“/”前面一定要有空格，因为如果没有空格的话是屏蔽所有搜索引擎蜘蛛的意思，最后导致所有搜索引擎蜘蛛都不来爬取你的网站。补充说明一点：就是如果写错了修改过来的话，还得要等待1-2个月左右的时间搜索引擎才能重新访问爬取你的网站。