龙空技术网

DAP数据分析平台如何实现数据反向预测

数通畅联 80

前言:

今天朋友们对“反向解析配置”大约比较关怀,大家都需要剖析一些“反向解析配置”的相关内容。那么小编同时在网络上收集了一些对于“反向解析配置””的相关内容,希望大家能喜欢,你们一起来学习一下吧!

企业信息化建设会越来越完善,越来越体系化,当今数据时代背景下更加强调、重视数据的价值,以数据说话,通过数据为企业提升渠道转化率、改善企业产品、实现精准运营,为企业打造自助模式的数据分析成果,以数据驱动决策。

DAP数据分析平台可以将企业业务数据进行数据的清洗和汇聚,结合算法模型实现数据预测,同时基于DAP平台的展现配置,可以根据业务主题构建相应的展现大屏,从而实现数据的可视化展现。在可视化展现中,可以将组件通过绑定算法,从而实现数据的正向、反向预测。结合预测数据为企业领导层的数据把控和运营决策分析提供支持,本篇文档主要介绍数据是如何结合算法模型实现反向预测。

整体介绍

DAP数据分析平台就是采集各个业务系统的数据,进行数据筛选(表和字段、数据)、质量校验等步骤建立数仓,保证数据标准性、完整性、准确性,从而实现企业业务数据的统一,通过数据可视化展现、数据服务来展现DAP数据分析平台的价值。

1.产品方案

首先介绍一下数通的产品体系:

数通的所有产品都是通过K8S云平台进行部署搭建产品环境,通过不同的产品组合方案来解决企业面临的不同信息化困境,帮助企业完善信息化发展。

上图所示通过DAP数据分析平台+MDM基础数据平台+ESB企业服务总线组成数据中台方案,本次介绍的DAP数据分析平台就是此方案的核心,基础数据进行主数据治理,DAP数据分析平台进行业务数据治理,通过ESB进行数据的集成,帮助整合企业数据,统一管理,提升企业的数据价值。

2.功能架构

数据分析平台全生命周期是通过采集各个业务系统数据构建数仓,从而进行有效分析的过程,能够真实、准确、有效地将企事业内部及行业外部相关数据进行可视化展现,帮助企事业提升行业洞察力,加强决策力,从而提升整体竞争力。

数据分析平台功能有:

1.数据来源(应用系统定义、数据源头配置、ODS数据定义)。

2.数仓模型(业务主题、指标管理、维度配置、事实配置、模型配置)。

3.数据调度(规则校验、调度资源、调度任务、日志管理)。

4.分析模型(数据集配置、立方体配置、业务类报表、多维度分析)。

5.算法模型(算法原型、算法开发、算法调用、算法日志)。

6.展现配置(导航管理、组件管理、展现主题、装饰管理)。

7.数据服务(接收服务、查询服务、算法数据、统计服务、指标服务、业务服务)。

8.统计分析(数据地图、质量分析、影响分析、血缘分析)。

9.系统管理(资源配置、组织机构、角色管理、人员管理、功能管理、系统日志)。

3.预测说明

DAP数据分析平台的反向预测实现是可以通过页面交互的方式进行实现,首先对于展现页面中的数据进行选取,点击按钮进行反向预测,通过调整特征值来对于其它参数进行预测,预测结果为多条结果,可以手动进行选取预测结果进行保存,保存后支持将数据推送给其他业务系统,从而实现决策者基于反向预测的数据对未来工作进行安排。

数据说明

本次数据说明以设备数据进行说明,通过各项指标来对于n1、n2进行预测,最后调整预测的n1、n2数据对于设备参数进行反向预测。

1.背景说明

本次预测的数据背景为对设备的n1、n2参数进行预测,其中n1、n2参数越高越好,并且两值越接近越好。反向预测则可以通过预测后的n1、n2值对于Q1、Q2、Q3、Q4、Q5等参数进行反向预测,反向预测的数值都是用于计算n1、n2参数的数值。

2.模型设计

构建设备表,表字段中添加n1、n2、Q1、Q2、Q3、Q4、Q5等字段,添加时间(年月日)作为维度信息,基于时间可以对设备的运行参数进行查看。

3.数据构建

1.采集同步

(1)首先在ODS定义中使用参考表创建的方式将在业务系统中添加的设备表采集抽取到ODS中间库,在编辑页面定义唯一字段与比较字段,确保数据同步时的唯一性以及准确性。

(2)编辑好ODS表之后,对于ODS表进行创建,结合ESB创建消息流程,进行数据同步。

2.清洗转换

清洗转换的作用是将ODS中的数据清洗转换到数据仓库,也就是对字段进行选取以及配置规则校验,接下来对具体实现进行说明。

基础事实表:

基础事实表创建的为设备信息表,在来源表中选取ODS的设备表进行创建。

在字段信息中,导入需要的字段,并对字段配置唯一字段以及规则校验,操作与维表一致。字段编辑好之后,进行表的创建,同时结合ESB生成调度流程。

模型构建

数据仓库构建好之后,要对数仓模型以及分析模型进行构建,接下来对操作步骤进行说明。

1.数仓模型

1.数据仓库中的数据构建好之后可以基于维度表与事实表创建数仓模型,数仓模型通过配置表之间的关联关系,将多表组合在一起进行数据展现,数仓模型也是创建分析模型的基础

2.创建设备参数信息模型,添加设备参数事实表。

2.分析模型

上述的数仓模型构建好之后就可以对分析模型进行创建,因为后续算法模型需要使用的数据来源是数据集,所以本次在分析模型中,创建数据集即可。

首先在基本信息页面选取创建好的数仓模型。

在字段选择页面中选取使用的字段,保存后数据集就创建完成。

3.数据展现

以上数据配置好之后,点击数据预览,就可以对设备参数信息数据进行查看。

反向预测

数据通过反向预测的使用是通过调整一些特征值来对一些参数进行预测,通过反向预测可以提升领导的决策,所以数据在预测好之后,还可以将预测的数据支持服务的方式发送出去,这样就可以使其它业务部门或者领导层进行审批或者决策后续的安排。

1.算法开发

反向预测首先要进行算法开发的构建

1.首先在新增页面选取数据集以及反向预测的算法原型。

2.在字段选择中选取特征值以及预测值。

3.算法开发会生成算法调用,算法调用的作用是对数据进行预测后,将数据回写到数据库中,最终可以通过配置进行数据的可视化展现,所以需要对数据的回写策略进行配置

4.以上配置好之后就可以生成py文件以及执行训练,从而生成同一批次的多个模型对象。

2.算法调用

1.算法调用是基于算法开发生成的,创建方式分为两种,一是在算法开发页面中,生成算法调用,二是在算法调用页面手动新增

2.配置好之后点击执行,将算法调用进行执行。

3.执行之后,会生成对应的算法日志,日志中可以查看执行的参数信息以及训练结果等信息。

3.预测展示

算法调用创建之后,需要在组件配置页面绑定算法,通过选择算法调用以及是否推送等信息,达到页面的展现效果。

接下来对于页面交互效果进行说明:

数据调整页面:通过选择数据可以对于特征值进行修改,修改后点击预测,从而执行数据的反向预测。

预测信息页面:预测后的数据会以表单的形式展现,通过手动选取数据,将数据保存至预测表中。

数据查看页面:数据保存之后,可以对于数据进行查看,同时支持将数据推送给外部服务。

心得总结

在实际应用中,数据分析可帮助人们做出判断,以便采取适当行动,所以数据一定是标准的、完整的、准确的,通过上述数据采集把业务系统中不正确数据过滤掉、调整后,使数仓中的数据具有可用性,使用正确的数据进行分析预测,最后对于数据进行可视化展现,提升数据价值,正确引导公司的发展。

1.过程总结

数据的可视化展现用一些简短的图形就能体现复杂信息。而有些数据是预测型、统计分析类型,所以需要使用机器学习来对数据进行预测或者统计分析,最终使数据进行可视化的展现,让决策者可以轻松地获取查看各种不同的数据源,来分析过去某时间段企业的发展趋势,去规划未来的发展方向。

2.重要事项

使用DAP数据分析平台进行数据反向预测时需要注意如下几个重点:

1.数据要具有一定的数据量,因为算法是结合历史数据进行预测,只有数据量够大,对于算法模型的训练效果越好,这样更能确保预测数据的准确性。

2.数据预置要有逻辑性,只有数据之间的关系紧密,预测的数据才能准确。

3.说在最后

DAP数据分析平台作用在于对海量数据进行采集分析治理,将治理后的数据通过配置进行可视化展现,提升数据价值。

而算法模型的使用主要是结合历史数据对未来数据进行正向预测,并且可以通过调整预测值来实现数据反向预测,对影响到预测值的参数进行反向推测,这可以有效地让决策者做出决策,提升企业价值。

本文由@数通畅联原创,欢迎转发,仅供学习交流使用,引用请注明出处!谢谢~

标签: #反向解析配置 #如何设置反向解析