李灿辉全套网站SEO优化技术视频教程(17)

2015年9月13日10:52:59 发表评论 2,774 views

SEO视频教程第17节、robots协议文件的书写

1、robots协议文件的定义

robots协议(也叫做爬虫协议)是网站与搜索引擎之间的协议文件,它的全称是“网络爬虫排除标准”,主要的作用是告诉搜索引擎我们网站上哪些页面可以抓取,哪些页面不能抓取。补充说明一点:就是robots协议指的是协议而不是命令。协议是协商的意思,因此,比如有些动态页面做了robots协议屏蔽之后,搜索引擎是还有可能会抓取到的。

2、robots协议文件的书写

User-Agent: * , Disallow: /?= , Disallow: /a/ , Disallow: /a

3、robots协议文件注意事项

“/”前面一定要有空格,因为如果没有空格的话是屏蔽所有搜索引擎蜘蛛的意思,最后导致所有搜索引擎蜘蛛都不来爬取你的网站。补充说明一点:就是如果写错了修改过来的话,还得要等待1-2个月左右的时间搜索引擎才能重新访问爬取你的网站。

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: