今天给大家分享的是搜索引擎的抓取机制，这次都是一些比较重要的资料，分享给大家主要这次是国庆，祝大家节日快乐，感谢一直支持胖子的明白，搜索引擎的抓取机制（调度，爬虫，种子站点，深度优先，广度优先）
定期收集:早几年的搜索引擎的大更新，05和06年很明显，一个月更新一次。将数据库中的所有网页全部进行抓取一遍。现在已经不明显了，谷歌AD检查作弊非常相似的。
增量收集：目前搜索引擎使用最广泛的商业信息，网页的收集方式。
1.收集新出现的网页。最短的时间收集，快速的收集，搜索引擎收集最新的信息给用户。新出现收录减慢的原因是为了清除前几年留下很多的垃圾信息（站点）。
2.抓取上次修改过后的网页。如果没有修改将不进行任何的分析，学编程的可能清楚，网页数据包有一个头部信息，只要搜索引擎建立一个连接，就会知道最后的修改时间，如果没有变将不进行任何分析。如果改了重新抓取回去再进行分析，重新建立索引。增加快照更新的时间。搜索引擎会过来看头部的信息。
问题：如果我的网站内容一篇都不更新，想要搜索引擎每天更新我的首页快照，怎么办？
随机调用，因为搜索引擎每一次来页面的时候，页面内容是不一样的。比如CMS发布一篇文章，首页就会多一个链接，就意味着首页已经改变了。搜索引擎来的时候，页面是不一样的，就会再次抓取，拿回去分析，然后再建立索引。在其中一个版块当中，调用网站内部的随机文章。
3.检查已经不存在的页面去掉排名甚至删除。
网速更新速度有好处也有坏处，如果网站更新很快，快照也更新的很快。如果服务器不稳定，蜘蛛就会访问到服务器错误。所以以更新速度来说明一个网站的权重很片面。网站快照更新太快反而不好，比如服务器不稳定的网站。如果想要网页快照快，访问稳定就需要稳定的空间。
比如淘宝，是不允许蜘蛛抓取的，所以抓取淘宝网站是没有标题也没有摘要的，不允许抓取不到跟抓取不到是一样的，百度为了快照，但数据是空的怎么办，那蜘蛛就会把这个网站使用外链中最多的锚文本过来，来建立快照。
比如百度搜索SEO，第一页全部都是404，那么对百度是非常不利的，所以打不开，会出现排名下降的时候，所以要碰到排名下降的时候不要着急，过几天再说，查看日志是不是蜘蛛过来抓取不到，访问不了。
种子站点：从种子站点开始抓取可以抓取到互联网绝大部分的网页，从孤岛站点开始抓则做不到。
比如我做了一个网站，单页面 一个链接都没有，这就是孤岛页面，因为搜索引擎无法从这个页面上来得到更多的URL，抓取不到互联网的绝大网页。什么样的网站会成为种子站点，就是非孤岛站点的反面例子，一个页面有大量的链接指向各大行业的站点，更新速度快，导出数量比较多，指向网站链接权重高。比如hao123，新浪等就是种子站点，所以我们不要小气自己的友情链接，当你指向重要的网页的时候，就像相关的网页，不作弊的站点，当你是非常有好处。 因为百度对种子站点的更新速度大概是几分钟。因为搜索引擎从这些种子站点开始抓取，向沿着A标签抓取，抓取绝大部分网页。所以抓取你网站60%就行了。
如果想要抓取快点，就是离种子站点越近的地方留下链接。比如有人跟hao123有交换的话，你就要去跟他交换，你网站抓取的速度更快。
深度优先：先往深的地方抓取，先抓首页，第一栏目，第一栏目下面的第一个内容，并列的两个内容，再回来抓取第二个栏目。看图。
深度优先，可以抓取完整的网站数据。获得有价值的文章。
什么样因素让搜索引擎进行深度优先抓取，提高权重，权重和信息量达到一定的程度，新的网站做不到。
广度优先：跟深度优化形成一个鲜明的对比。先抓取首页，然后抓取栏目页，然后抓取二级栏目，最后是内容。
新的网站一般都是先收录首页，不管你的文章页有多少外链，但也是先收录首页。使用广度优先抓取，因为你的首页权重更高。
这样处理的好处是：优先抓取更加有价值的页面。一个新的网站最有价值是首页。还有就是节省资源和时间。
蜘蛛怎么分辨栏目页，只管这个页面的权重怎么样。从高到低排上来，先抓取权重最高的。
http协议：这个里面最重要的是他有一个“应答头”,一个应答体。
应答头：服务器的信息，页面最新修改的时间，页面大小等，通过抓包软件 http analyzer。
应答体：网页的源代码。
Url库：网址库，有两个类型的库，已经抓取和未抓取的数据库。
调度：公交都有一个调度室。发车时间，发车间隔，控制蜘蛛去抓取。调度有dns缓存数据器，第一次访问你的IP地址缓存回来，保持24个小或是48个小时，下次直接去IP下面抓取。搜索引擎服务器就是直接去映射你的IP地址，提高效率，减少资源。
网站要是换空间，IP的时候要怎么办，把影响降低到最低。让两个网站畅通48个小时，搜索引擎服务器与域名服务器建立socket一个链接。
所以说搜索引擎就是一个程序，由调度控制这个程序，就只有一个工作：就是与服务器建立soctet连接，发出一个请求，获取应答头和应答体信息，然后存入数据库，这就是一个蜘蛛。
域名和IP，一个域名可以多个IP，也可以一个IP。比如百度 也可以一个IP地址对应很多域名，比如虚拟主机。
域名和一个IP的关系表DNS。
抓取策略：优先抓取网页权重高的页面。28法则。抓取60%已经正常页面正常。搜索引擎有一个随机抓取机制。
怎么照顾那么低权重的页面。提高这个页面的权重。
网页大小限制：是不是太大是不是就不要了，目前百度超过5M大小就放弃。所以基本上没有这种可能。达不到这个上限。
收集类型：html,pdf,doc可转换为文本的类型文件。
主要有三个大的领域，首先是搜索引擎原理图详解，二是搜索引擎的抓取机制，二是搜索引擎的预处理，三是搜索引擎的的查询机制，另外一个就是搜索引擎的的一些算法。我们站长解搜索引擎原理，是让大家明白搜索引擎与SEO行为间是一种良性的共生关系，让更多人了解搜索引擎的工作机制，引导广泛合理的SEO行为，这就是百度搜索引擎优化指南专题站创建的初衷。
