王飞

本文由阿诗特CIO王飞投递并参与《2023中国数智化转型升级优秀CIO》榜单/奖项评选。丨推荐企业—涛思数据

伴随新能源物联网的发展，生产、分配、消耗等各个方面由设备及传感器所产生的时序数据量越来越大，严重挑战传统的以关系型数据库为核心的解决方案，数据处理性能低下、数据架构臃肿、存储成本高昂等问题频发，如何应对大数据量下的数据存储、查询、分析，成为了能源企业目前迫切需要解决的难点，数字化转型升级迫在眉睫。我所在的公司江苏阿诗特作为一家具有20多年储能逆变器和户用储能研发能力的企业，在此背景下也开始探索数据架构升级的有效路径。

处理时序数据为什么不适合用关系型数据库？

在能源行业，传统设备大多是依靠设备自身的存储介质来进行监测数据的存储，设备通讯方式也以局域网内直连为主，这样就存在如下几个问题：1、无法实时监测设备的运行状态；2、监测数据存储受限于设备本身的存储介质；3、设备出现异常时，相关运行参数存储同样受限于设备本身的存储介质。

2021年，伴随着设备的更新趋势，我们也同步着手升级自身的软件方案——阿诗特智慧能源管理云平台（RTC Power Cloud），我们的目标是让它可以连接光伏逆变器、储能系统等，与电力公司服务器进行互联互通，实现即插即用、远程调度和数据监测等功能。作为一个新项目，RTC Power Cloud舍弃了旧有的技术体系架构，直接在最前沿的技术中选型。就具体的业务场景而言，我们需要一款高性能的时序数据库（Time Series Database）产品来存储和处理时序数据。

那为什么我们在一开始就把关系型数据库排除在外了？主要原因还是如MySQL一类的传统数据库并不是针对时序数据场景所打造的，在时序数据场景下它们通常需要按数据时间来分库分表，比如按照项目维度分库，再根据时间维度分表，最后在展现层通过相关的建库建表规则，通过SQL语句拼接来实现数据报表的呈现。如果数据量比较小也可以支撑，但对于新能源、光伏裂变器等场景下的海量时序数据的处理却捉襟见肘，比如当我们要对整体的时间、温度、湿度、风力等进行全面分析时，就会显得查询效率非常低下，主要体现在检索非常缓慢。同时其应用场景也不合适，没有基于采集频率周期的高效查询。

但时序数据库则是根据时序数据的处理特点所设计和优化的，以TDengine为例，其查询效率高、不需要分表，原理上它主要是把固定的时间块、固定的时间段存放在固定的位置，方便直接通过时间值进行检索，定位就会非常迅速，同时其还具备时间维度聚合、流式计算、缓存等诸多特性。

连接时序数据库，打通数据采集平台与应用平台

为了实现RTC Power Cloud的最佳数据处理性能，我们在TDengine、Apache IoTDB以及阿里云时序数据库等几款产品中进行数据库调研，经过详细的对比和考虑最终选择了TDengine。

那为什么TDengine能够从市场上众多的时序数据库产品中脱颖而出呢？以阿里的时序数据库进行对比，它是闭源状态，私有化落地比较难，但TDengine 是一款集群功能开源的数据库产品，为分布式而生，能够非常方便地进行横向扩展，非常匹配我们未来的发展趋势，此外它还支持SQL以及云端和本地部署，非常方便，性价比也更高。

当前，我们的户用储能系统已经在亚马逊云上线，工商业储能系统还在开发中。在设备没上云之前，我们的设备只能通过局域网直连，不能保存所有历史运行数据，最多有些黑盒数据，把异常发生的前几分钟和后几分钟的运行数据存下来。由于没办法做到实时监控，我们的售后服务也产生了很大的困扰。

现在通过写入TDengine的数据，我们能做到全方位多角度的设备跟踪：比如当系统监测到某个用户设备的关键参数一直在阀值上时，系统可以主动给用户推送预警短信或者邮件。另外，以前客户的设备异常需要派维修人员上门检修，但现在客服可以通过系统直接查到客户机器的异常，简单的问题就可以通过远程指令让机器恢复到正常状态，节省了客户的时间，也降低了售后成本。

全新技术体系架构带来的直观效果展示

在当前的数据架构中，我们也没有完全舍弃关系型数据库，考虑到发挥关系数据库事物型的优势，我们利用MySQL来存储关系型数据信息，比如项目信息、设备信息及采集点信息等；对于量极大且具有时序特性的设备上报数据，则利用TDengine超级表标签功能，不仅能实现这些数据的实时存储，还能与实际的设备采集参数做到无缝关联，进行不同维度的查询。

在数据写入时，原始数据从各种设备数据源收集上来，通过MQTT服务传输，用于定义处理数据的规则和逻辑的MQTT规则引擎开始发挥作用，实施包括数据清理、格式转换和条件化路由在内的操作，最终，数据被写入TDengine超级表。

在数据读取过程中，首先页面业务逻辑驱动用户界面和相关的业务规则，使用户能够以符合其需求的方式与数据进行交互和分析。随后，通过关系数据库设备关系规则，我们建立了与TDengine超级表中的时间序列数据相关的联系，通常这包括其他业务数据或设备数据。最后，数据被检索和查询，通过读取TDengine超级表，以满足特定的数据分析和业务需求。

在此架构设计下，我们基于设备+采集点维度建表，详情如下：

Plain Text

CREATE TABLE inverter(ts timestamp, value double) TAGS(custid binary(50), devid binary(50), pointid int, pointname binary(300), unitname binary(20));

Plain Text

tsdb.point_${devid}_${pointid} USING tsdb.inverter TAGS('${custid}', '${devid}', ${pointid}, '${pointname}', '${unitname}') VALUES(${ts}, ${value}

查询效果展示

1、查询每日指标数据的最后一条记录，比如每日发电量：select last(value) as value from tsdb.inverter where devid = #{deviceId} and pointid = #{pointId} INTERVAL(1d）展示效果如下：

2、查询设备的收益select sum(value)/1000 as value from tsdb.profit where devid = #{devid} INTERVAL(1d) ，包括其他常用的查询，基本都是毫秒级返回结果。展示效果如下：

3、通过对超级表进行降采样查询，得出指标每5分钟的平均值select avg(value) as value from tsdb.inverter where devid = #{deviceId} and pointid = #{pointId} INTERVAL(5m)。展示效果如下：

设备故障日志收集

传统的设备故障日志收集的方式有很多，比如有写关系数据库的也有写日志索引类库的，但是不论是从查询效率还是存储方式来说都不适合，TDengine超级表能够多序列存储同一时间戳的设备采集点数据值，在存储层面上实现了数据时间对齐，读取时可以一次性从TDengine中获取到对应设备某个时间段内的日志采集信息，通过对时间段内某个或者某几个异常点前后关联数据的分析，我们可以推断设备异常的原因。

Plain Text

CREATE TABLE blackbox(ts timestamp, 指标1 double.... 指标n double) TAGS(custid binary(50), devid binary(50))

展示效果如下：

结语

随着我们欧洲设备的更新换代，以及全球市场的打开，我们坚信TDengine可以成为我们坚实的后盾，助力我们的数字化转型发展更上一层楼。TDengine高效、可扩展的时序数据库功能能够帮助我们有效地存储和管理海量时间序列数据，支持我们实时监控能源生产和分配，进行更加深入的数据分析。这将使我们能够更好地满足市场需求、提高能源生产效率，并在可持续发展方面取得更大成功。

同时，我们也希望RTC Power Cloud的技术体系架构改造实践能够成为一个成功的案例，并为更多新能源企业提供启发。数字化转型是一个关键的发展趋势，能够帮助企业提高竞争力、降低成本、增加收入、提高可持续性，并更好地满足客户需求，我们期待这次经验和最佳实践的分享，能够为整个新能源行业的数字化转型做出积极的贡献。

企业介绍：作为一家具有20多年储能逆变器和户用储能研发能力的企业，江苏阿诗特能源科技有限公司(RCT Power)是全球为数不多的户用储能解决方案提供商，具备储能逆变器、 储能电池模块和电源管理(BMS)独立研发、生产、销售和服务的公司。RCT Power总部和德国团队共同开发出面向欧洲市场的户用储能产品，在欧洲市场上具有极高的知名度，2021和2022在HTW Berlin做的能效检测中，全行业排名第一位。现阶段公司已深耕海外储能业务，产品销往欧美等十几个国家和地区，截至2021年底，累计出货2.5GWh。

·关于王飞

王飞，目前担任江苏阿诗特能源科技有限公司信息技术部门负责人，于2013年进入物联网行业，专注于多个领域，包括文物监控、车辆租赁、环保监测和储能云服务。在阿诗特数智化转型过程中，王飞致力于将传统的纸质化办公方式逐步改变为电子化，提高了工作效率和数据管理；还推动了公司各种信息化系统的上线，其中包括OA（办公自动化系统）、CRM（客户关系管理系统）、HRMS（人力资源管理系统）等，为企业的内部和外部流程提供了更有效的支持；后又统一搭建公司内部统一集成平台，搭建大数据中台，构建自研流程引擎及低代码平台，为公司提供了更高的自动化和灵活性，加速了应用程序的开发和部署。

·关于推荐企业：涛思数据

本次申报由涛思数据推荐阿诗特CIO王飞投递并参与《2023中国数智化转型升级优秀CIO》榜单/奖项评选。

北京涛思数据科技有限公司（TAOS Data）瞄准日益增长的物联网数据市场，专注时序空间大数据的存储、查询、分析和计算，不依赖任何开源或第三方软件，开发了拥有自主知识产权、100%自主可控的高性能、分布式的物联网、工业大数据平台TDengine。TDengine的核心模块是高性能、集群开源、云原生、极简的时序数据库。TDengine专为物联网、工业互联网、电力、IT运维等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本。它能安全高效地将大量设备、数据采集器每天产生的高达TB甚至PB级的数据进行汇聚、存储、分析和分发，对业务运行状态进行实时监测、预警，提供实时的商业洞察。

抱着给行业赋能，让客户成功的使命，涛思数据旨在通过技术创新，为物联网、工业互联网等行业提供全栈、高性能、高可靠、可伸缩、低成本的时序大数据处理引擎，创造出商业价值和社会价值。

公司成立于2017年，已获红杉中国、经纬中国、GGV等机构6900万 美元投资，在北京和美国硅谷均有办公室。

★以上由王飞投递申报的观点性文章，最终将会角逐由数据猿与上海大数据联盟联合推出的《2023中国数智化转型升级优秀CIO》榜单/奖项。

该榜单奖项最终将于11月14日以下活动中进行榜单的首发与奖项的颁发，欢迎报名莅临现场：