第十一章 数据海洋和爬虫 (第2/3页)
铁路和公路。它主要出现在公共服务器之间，就是说只要有了url，理论上来说它对所有数据访客都是开放的，任何人都可以抵达这个服务器，只不过它有没有门禁就是另外一回事了。
既然有公共空间，那相对应的肯定有非公共空间，除了url，还有很多链接模式，这些链接模式里，信息节点就像是私人住宅或者军事禁区一样，它并不是开放给公众的，虽然它同样存在于数据海洋中，但你是无法随便访问的。
当面对如此庞大浩繁的数据海洋时就存在一个问题了，世界这么大，我该如何找到目标，比如我想找感冒药相关的数据信息，我该怎么办？
正是这种需求催生了搜索引擎，搜索引擎可以帮助你快速找到目标，它就像一个找路指南一样，你只要告诉它想去哪，这个目的地大概什么特征，它就会帮助你找到无数个可能合适的目的地，并且把对方的url提供给你。
搜索引擎每天的访问量都是海量的，每一秒同时并发的搜索请求都是数以十万计的，在这么多请求面前，如果来一个请求它搜一遍互联网，这肯定是不现实的，不仅速度慢效率低，而且仅仅这类搜索请求就足让整个国际互联网陷入拥堵状态。
为了解决这个问题，搜索引擎就有了它特有的工作模式，它先尽可能多的将数据海洋里的信息全部找出来，然后存储在自己的服务器群组中，一旦有了搜索请求，它只要在自己的服务器里进行检索就行了。
而帮助搜索引擎完成找这个动作的就是爬虫。
因为国际互联网中的信息节点都是相互关联的，是网状联系的，每个节点上都会有很多个url。所以爬虫的工作模式就是遍历，当它开始工作时，它会以一个信息节点为起点，然后挨个访寻与这个节点相连的所有节点，当下一层节点还有url链接时，它就不断访问下去，直到将所有url遍历一次才算完。
（本章未完，请点击下一页继续阅读）