Redis：Key-Value性数据库常作为缓存使用。Nginx：高性能HTTP、反向代理web服务器，能支持高达5万并发连接，也常用于负载均衡服务使用。1、Redis部署（1）解压tar -zxvf redis-5.0.7.tar.gz（2）编译、安装cd redis-5.0.
说白了，就是使用redis来维护一个url队列，然后scrapy爬虫都连接这一个redis获取url，且当爬虫在redis处拿走了一个url后，redis会将这个url从队列中清除，保证不会被2个爬虫拿到同一个url，即使可能2个爬虫同时请求拿到同一个url，在返回结果的时候redis还会再做一次去重处理，所以这样就能达到分布式效果，我们拿一台主机做redis 队列，然后在其他主机上运行爬虫.且scrapy-redis会一直保持与redis的连接，所以即使当redis 队列中没有了url，爬虫会定时刷新请求，一旦当队列中有新的url后，爬虫就立即开始继续爬。
大家下午好！Redis 和 Lua，两个看似风流马不相及的技术点，为何能产生“爱”的火花，成为工作开发中的黄金搭档？技术面试中更是高频出现，Redis 执行 Lua 到底能不能保证原子性？今天就来聊一聊。
