不管是爬取哪类网站，在爬虫中基本都遵循以下的基本套路:请求数据 → 获取相应内容 → 解析内容 → 保存数据。当然，以上步骤是代码的编写思路，实际操作中应该还要添加一个前置步骤，所以完整流程如下:分析目标站点 → 请求网站获取数据 → 解析内容 → 保存数据。
我在 Selenium连接已存在的浏览器1 这篇文章详细记录了需要的步骤，概括起来:1、打开浏览器时添加以下参数:2、selenium中设置浏览器选项，通过上面设置的 9222端口连接浏览器:通过 subprocess 运行浏览器。
大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为抓包工具的使用。
注意，此处代理前面需要加上协议，即 http:// 或者 https://，当请求的链接是 HTTP 协议的时候，会使用 http 键名对应的代理，当请求的链接是 HTTPS 协议的时候，会使用 https 键名对应的代理。
