最近很多数据公司都因为爬虫的问题被查了，我又很多做爬虫的朋友也在考虑要不要提前准备，当这个行业限制过多的时候，可以有两手准备。其实我倒是觉得，爬虫是有利于促进数据行业发展的，只不过有些人借助爬虫做了一些游走于法律边缘的事情。

爬虫岗位人人自危

我在拉钩上搜索： 爬虫工程师，显示有 217 条相关招聘信息，薪资从10-60k 都有，说明市场上对爬虫的需求是很大的。

前天文章发出去之后有很多程序员给我留言：

我们领导安排我爬取公司内部的信息，这算不算犯罪呢？爬取网上公开的信息，这算不算犯罪呢？写了一段代码上传到 Github，被人用了犯法吗？

简单回答一下这些问题：

爬取公司内部信息有公司授权当然不算犯罪的，但是公司内部不用接口而用爬虫不知道是为什么？爬取网上公开信息不犯法，但如果大量开启爬虫导致对方服务器崩溃也是违法的，这属于暴力攻击的范畴了。写了一段代码上传到 Github 上面，有人利用你的代码做了其它非法的事情，绝大多数都没有问题的，但如果你写的软件涉及到入侵、暴力破解、病毒等就不好说了。

还有朋友认为这事责任在企业不在程序员，日常工作中项目初期设计和最后上线需要通过公司的法务批准，所有代码必须有其他程序员同事评审通过才能提交。

这位朋友说的挺对的，按道理每个公司都应该有法务和风控在前面，后面才是产品设计和程序员开发的事情，但如果一家公司为了利益，老板可以直接让这两个部门闭嘴，后面程序员可以不干吗？

更甚至很多公司其实就没有这两个部门或者说形同虚设。那么做为程序员自己也需要操一份心，凡是涉及到入侵类的程序都不能干，因为有一个东西叫做：单位犯罪。

单位犯罪，是指公司、企业、事业单位、机关、团体为单位谋取利益，经单位决策机构或者负责人决定实施的，法律规定应当负刑事责任的危害社会的行为。

我国刑法对单位犯罪原则上采取双罚制度，即单位犯罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员判处刑罚。

什么样的爬虫是非法的？

爬虫不能涉及个人隐私！

如果爬虫程序采集到公民的姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等个人信息，并将之用于非法途径的，则肯定构成非法获取公民个人信息的违法行为。

也就是说你爬虫爬取信息没有问题，但不能涉及到个人的隐私问题，如果涉及了并且通过非法途径收益了，那肯定是违法行为。

另外，还有下列三种情况，爬虫有可能违法，严重的甚至构成犯罪：

爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施，非法获取相关信息，情节严重的，有可能构成“非法获取计算机信息系统数据罪”。爬虫程序干扰被访问的网站或系统正常运营，后果严重的，触犯刑法，构成“破坏计算机信息系统罪”爬虫采集的信息属于公民个人信息的，有可能构成非法获取公民个人信息的违法行为，情节严重的，有可能构成“侵犯公民个人信息罪”。

现在网上有很多付费的课程，比如极客时间、Gitchat、慕课网、知识星球等等，这些付费内部信息如果被非法爬取手法出售获利，一种违法行为。

之前我就遇到一个网友，把各个知识星球的内容都抓下来，合到一起自己去卖，自作聪明觉得发现了一个大的商机，其实自己不知道这个行为其实很危险，风险和收益明显不对等。

我这两天看的时候，他的一个公众号都被封了，后来又转移了一个小号继续搞，迟早又是被封的命运，真的很不值当。最可怜是那些买他服务的用户，因为他宣传时承诺永久，肯定永久不了。

所以建议大家在做爬虫的时候，尽量不要获取个人和平台的敏感信息，更不要频繁爬取，拖累网站的服务器，在一个合理的范围内展开爬虫工作。