答案：
你好，同学我们网站一定有一些内容可以展示但是不希望百度蜘蛛抓取的页面的话，就要就书写robots.txt语法
什么是robots协议？
robots协议，他不是一个命令，而是一个指令，事实上，当你对网站进行robots屏蔽后，他不会立即马上就会采取行动，他是一个单方面协议，蜘蛛可以听从，也可以不听从！所以，大家需要注意，设置robots后，并不会像我们想象的那么样马上生效，长则4周以上才能生效！
总结：robots的其实设置很容易，我么要想好哪些内容是可以被屏蔽的。
