robots可以干什么贵阳SEO优化

推荐 2022-12-17 00:09:14 7063 ￥0

答案：robots.txt是互联网搜索引擎抓取网站信息与不否的一种协议，可以设置成不让搜索引擎抓我们网站的信息，或者不允许搜索引擎抓取我们网站一些不重要的页面，这些页面对排名没有作用。
例如，网站个人中心页面，购物网站的购买信息页面，网站一些权益申明信息、这些页面就可以使用robots文件屏蔽掉搜索引擎蜘蛛抓取，不让这些页面被收录，保护了网站的SEO优化得分，不让无价值的页面才分散页面得分计算。