龙空技术网

“高大上”的数据分析技能?离你并不远

智在读行 186

前言:

此时小伙伴们对“python 链家”可能比较珍视,朋友们都想要分析一些“python 链家”的相关文章。那么小编也在网摘上搜集了一些对于“python 链家””的相关文章,希望小伙伴们能喜欢,朋友们一起来了解一下吧!

在领英最新公布的《未来技能趋势报告》中,列举了如上图所示的十大新兴技能类别。除了小语种、合规,其他的职业领域都同数据和技术有着较强的关联性。

这么一看,掌握数据和技术自然是十分有用的。而作为数据类工作价值体系的核心——数据分析自然也“非常有用”。分析数据产生对业务的理解,进而帮助组织产生价值,是一件十分有成就感的事。

我在大四和毕业之初曾在一家中型物流公司下的一个ToB电商创业模块实习和工作。新业务的开展伴随着诸多问题,从仓储、货物到物流和APP体验等诸多的方面都产生了很多零散数据,当时我的一项主要工作,就是将这些数据收集整合统计,形成Excel报表提交给领导层,并在周、月、季、年的节点进行汇报。

在第一个阶段,所有的报表因为基础数据不够规范,且没有梳理好制表流程,每天规整数据再形成分析报表,需要花费将近2个小时的时间。这个过程中我一面梳理业务体系,与领导确认需要收集的各类指标数据,一面对IT提出基础的数据需求。但资源有限,业务变化也十分快速,所以仍然大量依赖于手工制表的工作。这也让我迅速地学习了很多关于Excel函数和基础的VBA知识,构建并优化了过去制作复杂耗时耗力的一系列报表,包括营收报表、运营日周月报、进销存报表和仓配质控报表。

这些报表持续优化了大概4-5个月,业务进入到相对稳定期,这些报表生成机制随后也开始稳定运作了近1年的时间。直到集团层面开始开发自己的WMS、货运、进销存及运营BI系统。

这就进入到了第二个阶段,企业上系统的过程自然不是一蹴而就的,在系统功能还不够完善却也产生了新数据的时候,如果需要分析就仍然需要导出来进行手工规整。因为有第一个阶段的经验,我十分熟悉业务和数据间的关系,并且有成型地分析思路。一方面,面对变化和新内容,可以结合已有的经验技能迅速构建起新报表的样式和生成机制,另一方面,系统的开发需要提出很多的需求和建议,而我又是少数地对全局业务和数据了解的人,所以我也需要和技术人员一起梳理系统需求,完善系统功能,并对每一次迭代的功能进行功能和数据测试。这是十分忙碌的一段时间,我也顺利地帮助公司很好地过度了那一段系统和数据原始混乱的时期。

第三个阶段,系统和数据逐步规整也伴随着业务量的激增,数据量越来越大已经很难用Excel去支持,这时候我开始接触tableau等商业智能工具,并且使用它们构建了公司的数据可视化分析报表。这个过程不像第二个阶段时那么混乱,我可以静心稳步地去思考报表的优化,并且将已有的技能和工作流归档,用于新员工的培训。

通过这三个过程,极大地提升了我对工具和数据的敏感度,同时对于物流电商业务能做到全局和深入的了解。当时公司有希望了解数据但不懂技术的年轻销售,我通过构建一个RFM的客户评价模型,成功地帮他们规划了一张回访计划工具表,使得他们的业绩提升将近30%。领导一开始计划让技术人员在系统上从0开发BI报表的计划,也在看到我用tableau制作出的报表后取消了,节约了一笔不小的预算。最为重要的是,各部门都依赖于我的数据输出结果,我在收获信任、技能的同时,也形成了自己独特的职场竞争力。

在职场上,数据分析的最大价值在于可以有效地连接业务与技术,而掌握此类技术的人往往可以成为有力纽带,形成自己的复合定位优势。因为往往业务人员对复杂的技术和工具感到头疼,而技术人员对业务内容本身也并不感冒,这就需要一些中间角色对其进行协调和疏导(可参见产品经理和项目经理的角色定位)。数据分析对于企业的价值不言而喻,但贵在真的有人能将那些混杂的数据抽茧剥丝,形成真正具备价值的分析结果。这时候才能真正地说一句:数据分析确实有用。


另一个角度来说,对很多人而言,强行地去寻找分析工作数据带来的乐趣和成就感,也是一件很不现实的事。全国七大战区?几十个分子公司?上百个品类?上千上万种产品?几千万的资金?上千万的用户?上亿的点击量?

... ...这些都不是我的呀。

是的,因为没有直接地关联和影响,很多时候处理数据也会变得枯燥乏味,仅仅将其视为一项工作,按流程准确地形成数据结果,这是很多人进行数据类工作的常态,无可厚非。但其实我们日常的生活中,也能通过自己的记录产生很多的数据。

撇开那些工作场景,我最重要的个人数据分析场景,源于自己长期坚持的一个习惯——记账。

我使用的记账工具是MoneyWiz,毕业两年以来,每一笔支出和收入我都记录在其中。在使用之初,其自带的统计图表功能已经能够基本地满足我的需求,但随着时间轴的拉长和对数据的敏感度提升,我也开始考虑将其中的数据导出,用Tableau形成内容更丰富的个人财务仪表盘。


形式真实,数据虚拟


记录自己去过的地方,看着地图上的点变多,也是件趣事~

形式真实,数据虚拟

另外,像诸如ManicTime这样的软件,也能直接统计我们在工作过程中的软件使用时间,并以此去评价自己的投入水平,调整自己的工作精力调配方向。

个人数据的产生和分析,于我个人而言,极大地提升了我对于自己的了解和对生活的“掌控感”,诚实记录的数据自然不会撒谎,我能根据这些数据形成很多个人决策,并付诸实际,而这些行动调整,也让我更高效和幸福地生活。

此外,在GitHub上,也有很多对公开信息源的爬虫项目(比如Python爬链家的房产信息),也可以对房价等信息作出分析,辅助个人的投资决策。鉴于目前爬虫的敏感性,这里不做具体推荐。下图是2018年的数据示例。

同样的内容使用其他的敏捷BI工具比如PowerBI也同样可以做到。用心的话可以做出很漂亮的形式用于“讲故事”。但形式对于个人来说不是重点。

其实用什么工具并不重要,重要地是形成属于自己的明确分析需求-产生数据(找到优质的数据源)-规整清洗数据-分析数据-呈现分析结果(用正确的形式展现正确的结果)-做出决策的工作流,这不仅可以帮助我们提升自己的数据工作技能水平,也能帮助我们在各种数据场景下,比他人更快地洞察到真正的数据价值。这也称得上是一种结构化思维吧。

形式的选择很重要,但更重要的是选择的思路

这里做一个提醒:各类BI数据分析工具的定位应该始终是一个优质信息的整合处理和参考工具,在短期内无法取代人类的思考。统计图表虽然强大,BI软件的界面也做得越发具有设计感,无论是色彩还是UI的质感,都给人一种“高大上”的感觉。仿佛只要看到了变化的数字和仪表盘,就已经获得了海量的信息。但它也是现代社会里最会说谎的事物之一,很多信息仍需要甄别和深入的思考。当我们看到各种结果呈现时,还是得多问几个为什么。个人在使用的时候切不要以为做出了图表就完成了分析与决策。这就好像把收藏答案和买书当做学习一样,迷惑的只是自己。


美国统计专家达莱尔·哈夫写就的传世之作,至今读来仍给人以深刻警醒


应用数据分析的场景还有很多,以上是我结合工作和生活两方面分享的经历和想法。未来我们的社会会产生更多的数据,更多的事务都可以成为数据分析的对象。我并不认为真的可以将生活进行完全的数据化解释,理性是一种追求,但过度解读和僵化执行也会让我们失去很多乐趣和自由。一切适当就好,至少当你面对数据时,不会只觉得它们代表着工作的压力和枯燥,它们也可以带来成就感和幸福感。数据为我们带来了解读生活和工作的新方式,其趣味和价值,只有我们尝试着去发现和应用技能时,才会发现。




最后关于BI工具和分析思路的学习路径/资料,我简单谈谈并做些推荐。

首先,Excel很重要,小公司是主力大公司没放弃,比起各类IT技术和BI工具,仍然具有难以比拟的灵活性和易用性,具备很广的应用场景,是理解业务逻辑、数据存储和分析的重要场景。Excel 可以说就是一个小数据库+BI工具,前端+后端完备,历久弥新。

Excel 的学习途径很多,这个大家多搜知乎高赞答案或者逛ExcelHome就够了,关键在于多将自己碰到的实际问题去百度,你遇到的所有坑前人都碰到过并且有解决方案。实际工作+深入学习探索,进展就会很快。

VBA可以适当了解,能有效拓展Excel 的功能范围,有时候会出奇效。但随着业务数据量的增多(数据库和数据仓库的应用普及)和BI工具的兴起,越来越鸡肋,Excel无法应付的场景会直接过度到BI工具+SQL(这还只是数据型IT的解决方案之一)来解决。同时,会用VBA的人越来越少,维护成本在逐步增加,且相比于各种BI技术和工具,优势在逐步丧失。

SQL十分重要,但如果不是做ETL工作或者涉及写复杂的存储过程和动态SQL,在网上了解基本语法后,在SQLzoo这个网站多练练基本就能应付日常的取数和查询需求。这两项是数据处理和分析的重要基础,但由于发展历史较长,网上已经能找到大量结构化的资料,不一定要抱着书来看。

如果习惯看书学习,推荐这一本:


比起那本更著名的《SQL必知必会》,日本人写的书更深入浅出。

下面我推荐的几本,主要关于业务数据分析学习和业务分析(主要应用场景在BI工具和业务系统中的报表系统,并非高深的数据挖掘和后台技术)的书籍。我个人的阅读体验比较好,很受启发。大家可以结合我的简单介绍,详细看看书籍目录,以判断内容是不是自己想要的。


这本书对于各类业务分析指标的解释十分到位,对于很多业务人员和数据产品人员,理清关键指标是极其重要的一步,对重要指标的判断这是本书的精华。同时正本书从指标入手到最终的通过数据分析提升营收,提出了一整套商业分析架构,值得一读,但总得来说,书的前半部分的价值大于后半部分,读到后面,多为零散的经验,结构性不如之前。


关于数据需求分析,大家可以看看这本著名的《软件需求》,对于产品经理和项目经理来说,这是需求分析必读书,翻译质量很好,内容十分详尽。对于业务人员,如果想了解软件需求的启发过程,也可以读,因为其中并不涉及电脑技术代码的内容,主要都是咨询、启发和项目管理技术。在当下,越来越多的公司开始更新系统和数据分析报表,会存在很多业务与技术的对接项目,这本书能够帮助你们全面地了解这部分内容。

如果你只想了解数据分析报表设计和数据需求的启发过程,这本书也有专门的章节对其作出介绍,有很好的问题清单和设计标准,十分值得学习借鉴。

对于Tableau软件学习感兴趣的,可以看看这两本书:



第一本操作讲的比较多,第二本具体的商业案例讲得比较多,特别是互联网电商方面的案例,能提供较多的分析思路和技术模型,并且每个案例后面都有对于Tableau实现方式的案例,比如RFM模型在Tableau中的应用(电商运营必懂)。

市面上其他的关于Tableau学习的书籍没有更好的,PowerBI更加如此(书籍质量良莠不齐)。如果大家要深入学习的话,可以多去看看官网上的帮助文档,或者去一些培训网站看看相关课程,找一个可以练手的数据源,实操是关键,并且与多个同事建立学习小组,多讨论多沟通,技能自然会精进。如果你是业务人员,不要天然地觉得这些都有过高的“技术门槛”,请记住这个重要认知:BI工具的学习难度与Excel相当,入门简单,精进不易。不要被一些刻意神话它们的人收了智商税。

共勉~愿你能快速开启属于自己的数据应用之路!

标签: #python 链家