神龙IP一文带你了解分布式网络爬虫

分布式爬虫系统广泛应用于大型爬虫项目中，面对海量待抓取网页，只有采用分布式架构，才有可能在较短时间内完成一轮抓取工作，这也是分布式爬虫系统的意义所在。今天神龙IP就带大家了解一下大型分布式爬虫~

分布式爬虫可以分为若干个分布式层级，不同的应用可能由其中部分层级构成。大型分布式爬虫主要分为以下3个层级：分布式数据中心、分布式抓取服务器及分布式爬虫程序。

大型爬虫系统一般由多个分布式数据中心共同组成，每个数据中心负责抓取本地区周边的网页。每个数据中心又由多台高速网络连接的抓取服务器构成，而每台服务器又可以部署多个爬虫程序。通过多层级的分布式爬虫体系，保证了抓取数据的及时性和全面性。

对于同一中心的多台抓取服务器，不同机器之间的分工协同方式会有差异，常见的分布式架构有两种：主从分布爬虫和对等分布爬虫。

一、 主从式分布爬虫

对于主从分布式爬虫，不同的服务器承担不同的角色分工，其中有一台专门负责对其他服务器提供URL分发服务，其他机器则进行实际的网页下载。

URL服务器维护待抓取URL队列，并从中获得待抓取网页的URL，分配给不同的抓取服务器，另外还要对抓取服务器之间的工作进行负载均衡，使得各服务器承担的工作量大致相等，不至于出现忙闲不均的情况。抓取服务器之间没有通信联系，每个待抓取服务器只和URL服务器进行消息传递。

二、 对等式分布爬虫

在对等式分布爬虫体系中，服务器之间不存在分工差异，每台服务器承担相同的功能，各自负担一部分URL的抓取工作。由于没有URL分发服务器，所以不存在系统瓶颈问题。可以保证同一网站的网页都由同一台服务器抓取，这样一方面可以提高下载效率，另外一方面也可以主动控制对某个网站的访问速度，避免对某个网站访问压力过大。