说白了，就是使用redis来维护一个url队列，然后scrapy爬虫都连接这一个redis获取url，且当爬虫在redis处拿走了一个url后，redis会将这个url从队列中清除，保证不会被2个爬虫拿到同一个url，即使可能2个爬虫同时请求拿到同一个url，在返回结果的时候redis还会再做一次去重处理，所以这样就能达到分布式效果，我们拿一台主机做redis 队列，然后在其他主机上运行爬虫.且scrapy-redis会一直保持与redis的连接，所以即使当redis 队列中没有了url，爬虫会定时刷新请求，一旦当队列中有新的url后，爬虫就立即开始继续爬。
spider-flow是一个爬虫平台，以可视化推拽方式定义爬取流程，无需代码即可实现一个爬虫服务。编译，IDE会自动下载依赖包，运行SpiderApplication，等待程序启动成功，然后打开浏览器，在地址栏输入:见原文链接 运行程序
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接调用浏览器，它支持所有主流的浏览器，可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏等。
