原文链接：https://blog.csdn.net/weixin_43521592/java/article/details/1066509601.1 通用爬虫与聚焦爬虫通用爬虫：主要将互联网上的网页下载到本地，形成一个互联网的镜像备份。
我们都知道AI模型和应用离不开数据支持， 最近在做模型数据分析的时候发现一款非常强大的开源爬虫库——Crawlee， 是一个用于 Node.js 的网络爬虫和浏览器自动化库， 同时支持 javascript 和 Typescript. 可以低成本帮助前端工程师快速构建一个高质量爬虫应用.
如果设置了代理服务器，实际上就是在本机和服务器之间搭建了一个桥，此时本机不是直接向 Web 服务器发起请求，而是向代理服务器发出请求，请求会发送给代理服务器，然后由代理服务器再发送给 Web 服务器，接着由代理服务器再把 Web 服务器返回的响应转发给本机。
之前我发过关于爬虫的帖子，有不少人也关注了我并在后台私信我，说他们也想学习下爬虫补贴下家用，问我到底哪家机构好。这真的是问对人了，首先我就是0基础自学的编程，从2012年入坑易语言再到2019年入坑Python，一开始学习的自动化办公，数据分析，量化投资再到现在的爬虫。
