目前，我国现行的法律法规并没有对爬虫行为作出明确定义，2012年中国互联网协会曾于出台的《互联网搜索引擎服务自律公约》中将其简单定义为“自动爬行网络的程序”，而在国家互联网信息办公室于2019年5月出台的《数据安全管理办法》中，首次对爬虫行为进行明确规制，即“网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行;此类行为严重影响网站运行，如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止”。
数据是信息时代的关键生产要素，企业获取、分析、利用数据的能力在市场竞争中越来越重要。爬虫技术因其高效的自动化数据处理能力，成为企业搜集市场情报、监控竞争对手、分析用户行为的重要工具。但爬虫技术的使用并非没有界限，即使是公开数据，擅自使用爬虫技术不当抓取也可能违法甚至涉嫌犯罪。
