一、项目说明1.项目背景一天，一朋友扔给我一个链接https://item.jd.com/100000499657.html，让我看看这个歌商品的所有评论怎么抓取，我打开一看，好家伙，竟然有近300万条评论，不是一个小数目啊。
有这样的好事，网友当然是不会放过，但是只靠手很难抢到，于是抢购软件应运而生，抢购软件利用计算机协议对商品能够做到批量扫货、批量下单，并且时间一般都是ms级别，这让普通的抢购秒杀活动变得难上加难，这些黄牛也被人嗤之以鼻，今天小编就来深度揭露网络上那些流传的抢购软件是如何批量抢走我们我们心仪的商品的。
近期，魔蝎公司侵犯公民个人信息案一审宣判，公司及责任人员均获刑。本文以该案判决书着手，分析其所涉及的侵犯公民个人信息罪的定罪量刑问题，其中重点探讨大数据风控公司利用爬虫技术获取、留存数据行为的刑法定性，最终对涉及数据处理业务企业作出合规提示。
网站robots协议使用教程robots协议可以说是各种网络爬虫程序与网站之间的一种约定，前段时间etao和京东就360buy内容的抓取闹得像两个孩子（PS：这篇文章写了一段时间了），且不论京东与etao的对错是非，从中我们可以知道robots可以将一些内容不开放给网络爬虫抓
本文通过评析针对性设置爬虫协议引发的不正当竞争纠纷案，从具体内涵、发展演变、法律适用和利益平衡四个维度，对与爬虫协议相关的行业惯例作为商业道德评判经营者行为正当性进行分析讨论，明确行业惯例会随着行业发展区分应用场景，通过考察行为效果、权衡多方利益、维护经营自主权等方面认定被诉行为的性质，认为在非搜索引擎应用场景下，应当对经营者所设置的限制他人抓取的爬虫协议给予更多容忍。
10月10日，在京东平台“长虹厨房电器旗舰店”首页，商家发布了这样一则公告。通过公告内容不难看出，这又是一次电商被“薅羊毛”的惨痛经历。在公告背后，是京东“长虹厨房电器旗舰店”的无奈求助，希望已下单的消费者可以主动退款。然而与以往“薅羊毛”事件不同的是，此次事件并非是商家无意错标了价格导致，据商家所言，是因遭到推广机构恶意欺骗。
