我和很多学python的同学聊过，至少有30%以上的人学Python是为了网络爬虫，也就是采集网站的数据，不得不说这确实是一个刚性需求。但一个残酷的事实是，即使一部分人学了Python，掌握了requests、urllib、bs4等爬虫技术，也无法有效地获取标的网站的数据。
