robots如何屏蔽某几个蜘蛛抓取 上杭SEO优化

问题：robots如何屏蔽某几个蜘蛛抓取

回答：

首先要知道不同搜索引擎爬虫的名称，百度爬虫是Baiduspider，Google爬虫是Googlebot，360搜索爬虫是360Spider；
1.屏蔽百度或某一爬虫抓取：

User-agent: baiduspider
Disallow: /