说白了，就是使用redis来维护一个url队列，然后scrapy爬虫都连接这一个redis获取url，且当爬虫在redis处拿走了一个url后，redis会将这个url从队列中清除，保证不会被2个爬虫拿到同一个url，即使可能2个爬虫同时请求拿到同一个url，在返回结果的时候redis还会再做一次去重处理，所以这样就能达到分布式效果，我们拿一台主机做redis 队列，然后在其他主机上运行爬虫.且scrapy-redis会一直保持与redis的连接，所以即使当redis 队列中没有了url，爬虫会定时刷新请求，一旦当队列中有新的url后，爬虫就立即开始继续爬。
