我们发现,程序并没有爬取到相关数据。基于抓包工具动态进行局部搜索:在当前网页中打开抓包工具,捕获到地址栏url对应的数据包,在该数据包中response选项卡搜索我们想要爬的数据,如果搜索到了就不是动态加载数据,如果没有搜索到,那就是动态加载数据。
1 引 言中国电影产业发展迅速,网络大数据对电影的影响也不断加大。豆瓣平台更加方便快捷的传播方式,更趋近于现代生活的节奏,逐渐成为影评文化的主流。豆瓣电影提供最新的电影介绍及评论包括上映影片的影讯查询及购票服务。
爬取豆瓣电影下的评论,好像是编码的问题,报错python 3'UCS-2' codec can't encode characters in position 815-815: Non-BMP character但有时候正常,有时候报错,真是起了怪了。