第2章 爬虫原理和网页构造 身处于互联网时代,每当打开浏览器连接https://www.baidu.com/的时候,读者可能都不会思考网络正在做什么;面对形形色色的网页,读者也不会去思考网页是如何呈现在大家面前的。俗话说得好,“知己知彼,方能百战不殆”。
使用Python做爬虫其实很简单,这里使用一个小案例来详细介绍Python爬虫的用法,借助Python工具爬取王者荣耀英雄人物头像图片,Python爬虫爬取网页图片可以分为四步:明确目的、发送请求、数据解析、保存数据,具体步骤如下,下面一起学习。
read_html函数是最简单的爬虫,可爬取静态网页表格数据,但只适合于爬取table 表格型数据,不是所有表格都可以用read_html爬取,有的网站表面上看起来是表格,但在网页源代码中不是table格式,而是list列表格式,这种表格就不适用read_html爬取。