我们发现,程序并没有爬取到相关数据。基于抓包工具动态进行局部搜索:在当前网页中打开抓包工具,捕获到地址栏url对应的数据包,在该数据包中response选项卡搜索我们想要爬的数据,如果搜索到了就不是动态加载数据,如果没有搜索到,那就是动态加载数据。
想写这么一篇文章,但是知乎社区爬虫大神很多,光是整理他们的答案就够我这篇文章的内容了。对于我个人来说我更喜欢那种非常实用的教程,这种教程对于想直接上手爬虫做一些小东西的朋友来说是极好的。用一个精彩的回答作为开头:如何入门 Python 爬虫?
爬取豆瓣电影下的评论,好像是编码的问题,报错python 3'UCS-2' codec can't encode characters in position 815-815: Non-BMP character但有时候正常,有时候报错,真是起了怪了。