龙空技术网

自学python后,我就不想去上班了,每天在家干这些就行了

火焱焱 8600

前言:

当前看官们对“python做爬虫毕设”可能比较关注,同学们都需要知道一些“python做爬虫毕设”的相关资讯。那么小编在网络上网罗了一些对于“python做爬虫毕设””的相关知识,希望咱们能喜欢,咱们快快来了解一下吧!

1、爬虫

很多人入门 Python 的必修课之一一定是 Web 开发和爬虫,但这两项要想赚到钱,就必须知道该开发什么或该去爬什么数据能赚到钱。如果你都不知道的话问题也不大,可以考虑自己开一个淘宝网店或猪八戒做服务外包。很多人可能会觉得开淘宝店很困难,其实不然,我在13年刚毕业那会儿就开过,没有投一分钱流量广告,做到了「数据抓取」类似关键词下的第一排展示位,而且还是利用周末或工作日晚上闲着无聊的时候干的,月流水1w左右纯当外快了。收费定价全看自己心情,很多客户还觉得我这边物美价廉。其实我做了很多通用化的爬虫设计,比如那时候需求量很大的新浪微博数据,针对性开发了一套比较完整的爬虫系统(各种反爬取、IP代理池、Cookie/UA池等等)。后来我才知道,我凭借这个配几个参数喝杯咖啡等上半小时就能搞定的需求,对外报价差不多是 100-200 元,隔壁家要在 600 元以上,这就是你在淘宝生存下去的硬实力。

在这个阶段最重要的还是要找到一个好的项目,比如最舒服的就是帮一些证券大佬抓取一些财经新闻、龙虎榜和舆情相关数据,开发完之后每个月只要保证爬虫不挂就可以收 3-5k,自己买个云主机一个月只要两三百的成本,还可以用来帮自己干别的事情,直到老板说不做这个项目了……

2、量化交易(配合金融和统计学食用)

只要不涉及高频交易(HFT),用 Python 来完成量化交易相关工作内容实在是太方便了。当然了,做投资肯定是会有风险的,所以使用不当也很容易让你亏钱。对于新手而言,我比较推荐 JoinQuant(有没有广告费?),新手教程和在线 Python 策略开发环境我个人认为都是比较友好的。做 Quant 其实就是一个做数据挖掘的过程,不同的策略就是你手头能用的模型,选股、择时、资金管理就是你所要做的特征工程。特征工程决定了你最多能赚到多少,模型则是用来逼近这个上限。举个比较极端的例子,假设你选了一只天天跌停的股,不管你怎么调整模型,必然都是无法在单边交易中赚到钱的,所以大家不必纠结到底是用均线策略还是用 BOLL,找到策略适应的股和择时才是关键,剩下就不展开了。

要追求稳定盈利的话可以考虑去各大虚拟币交易市场搬砖,编程能力较弱的同学可以考虑一下 botvs。统计套利虽然也能稳定盈利但显然不适合个人了,一般需要 HFT 支持。

3、程序代写/外包

互联网灰产真的是无处不在,我所认为的灰产就是不违法,但是有违道德的一些事情。比如淘宝上有不少代做程序设计的,价美物廉,几百块就能搞一套基于 LAMP 的 xx 管理系统,看看买家评论就会知道,绝大部分都是学生的大作业或者毕业设计。淘宝也曾一度打击过类似商品的关键词,比如直接禁止「毕业设计」这样的组合词出现在商品标题中,然后大家纷纷换成「毕业指导……程序设计」来命中用户包含「毕业设计」的 query。

这玩意儿可以赚多少钱呢?首先是要杜绝帮人写论文,这部分吃力不讨好,导师不可能让你论文一稿过,你有可能在接下来要为每一单付出长达半年的售后服务,所以有点技术干这行的都不会沦落去帮人写论文,必须告知为了符合淘宝平台相关政策,是不代写论文的,最多提供相关的技术文档。只负责代码开发就相对容易很多,一般本科毕设都是偏工程研发的,这类门槛低,通用化代码很多,基本上找份开源的改一改就能完成任务;硕士毕设就有不少偏机器学习的,读一篇 paper 再撸上半天数据实现一个 overfitting 的算法实现,基本也就1-2天的工夫。前者一份卖到一两千,后者一份卖到两三千,如果客源有保证的话,一天做一单就足够养活自己了。

4、白帽

Python 是黑客第一语言就不必多说了,涉灰甚至涉黑的内容数不胜数,很多时候在一念之间你就可以干出坏事来。从好的方向来说,你可以挖掘国内各大网站漏洞并提交到官方渠道,往往会获得一笔不菲的奖励金

所谓哪里有利益哪里就有灰黑产,灰产常见于各种刷:刷广告点击、刷竞价排名、刷 App 下载榜、刷直播观众数、刷各路媒体点赞和阅读数…… 只要你的爬虫功力足够强,这些都不在话下,毕竟说透了就是模拟请求,只不过有些是简单 HTTP Get 请求,有些是通过 Ajax 提交的 Post 请求,还有些是 Socket 请求,然后捋一捋事件中不同请求的时间线和依赖关系,还有一堆参数的生成方式等等差不多就能搞定

最后,小编想说一句话:我是一名python开发工程师,整理了一套最新的python系统学习教程,包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习,面试宝典。

标签: #python做爬虫毕设