屏蔽死链接
死链接是网站永远都不能避免的难题，如果搜索引擎收录了网站路径，却又爬取不到这个路径，这样的死链接势必影响用户体验，那么这个时候我们就需要对这个页面进行 Robot屏蔽，我们不能完全避免死链接，但是可以尽可能少的减少死链接！
几种会造成死链接的操作：
1、站内的错误：人员出现误操作或者删除某些具体页面，如果这些被搜索引擎收录的页面变成死链接，那么是不是需要进行 Robots屏蔽？
2、程序的错误：因为网站改版、换程序造成的死链接，这是最为复杂且对网站收录、排名会造成影响，变成网站死链接，操作不当会造成网站被降权、被k这个时候你该采用什么方法进行弥补必。
3、因为外链而引起死链接。即使是一个单页面网站也可以存在死链接，这是为什么呢？外链人员做外链不小心把链接地址输错了，那么即使这个路径是不存在的，由于输入错误导致的链接搜索引擎收录了。但是搜索引擎认为这个路径是存在的，他来爬取，却抓不到东西，那么他就会把这个路径作为你网站的死链接！
总结：
robots协议是可以屏蔽掉死链接的
