前言:
今天我们对“作业调度算法总结”都比较珍视,兄弟们都需要剖析一些“作业调度算法总结”的相关资讯。那么小编也在网上网罗了一些对于“作业调度算法总结””的相关文章,希望你们能喜欢,兄弟们一起来学习一下吧!前言
近日,由中国银联股份有限公司牵头,以商业银行为主的金融机构、科技公司、互联网公司、电信运营商、检测机构和隐私计算开源社区等50家课题单位共同参与完成的《金融业隐私计算互联互通技术研究报告》,正式面向行业发布。《报告》介绍了建立跨主体数据安全共享隐私计算平台的探索,并规范开展数据共享应用,保障原始数据不出域。《报告》创新提出了隐私计算互联互通的统一框架方案,包括管理面和数据面的切分、管理面模块定义以及数据面逐步解耦等核心理念。
行业趋势:技术、平台、软硬件加速融合
近几年,基于密码技术的隐私计算发展如火如荼,在金融、政务、运营商和医疗等各行业都有大量的实际场景积累和落地验证,越来越显现出其技术优势。隐私计算技术突破了原来单个组织的数据边界,使得数据跨越各主体合规流通和数据价值的最大化释放成为可能,为数据要素化探索出一条新路。
一方面,隐私计算技术MPC、FL、TEE等百花齐放,隐私计算平台研发厂家众多,隐私计算的软硬件形态多样,另一方面,隐私计算在异构平台、同一平台内多种技术流派、平台与底层硬件基础设施等三个方面有不断融合的趋势。
第一,异构平台融合:数据全互联愿景呼唤隐私计算互联互通技术标准,基于行业共识的标准,打破要素流通技术壁垒,中立的技术平台和数据供需三方的生态形成良性循环。
第二,平台内多种技术流派融合:复杂多变的业务场景需要技术交叉融合演进,在安全和性能等多个约束条件下找到最优解,满足在互不信任的数据主体间开展数据交易的诉求。
第三,平台与底层硬件基础设施融合:隐私计算从实验室已经走向商用场景,在安全前提下的高性能如何达成是很大的挑战,软硬结合持续提升性能,将复杂计算在专用硬件做并行加速是一个可行的技术方向。
现状:隐私计算1.0时代,“计算孤岛”问题成为制约行业发展的瓶颈
隐私计算近几年快速发展,各技术平台提供方基于技术路线和商业利益考量往往采用了不同的技术架构和算法协议,各平台具体实现具有极大的差异性,平台间无法直接互联互通。隐私计算属于先行先试的业务,业务场景需求强烈驱动应用发展。
由于没有现成的标准参考,互联互通需要逐个对接多个厂商平台,改造缺乏通用性,付出的成本大收益小,平台提供方意愿不足。各机构部署的厂商平台大多属于异构平台,无法直接交互协同使用。每个厂商平台基于特定项目对接数据和平台,导致机构部署多个厂商平台实现跨机构跨平台的合作,形成了平台烟囱式发展的局面。不仅造成了重复建设和运营成本的浪费,而且导致了技术壁垒,由企业的“数据孤岛”转变为厂商平台的“计算孤岛”。这是当前隐私计算的1.0阶段。
下一步,要构建数据全互联网,必须打破“计算孤岛”的技术壁垒,尽快制定互联互通行业标准,目前各方正在积极推动。
互联互通要解决的技术挑战
异构平台的互联互通本质上要统一平台间对话的语言以及规范。平台的核心模块一般有管理调度模块、计算引擎模块、网络传输模块等,这些模块对等互联对接存在挑战:
1、管理模块架构差异大,目前存在两种架构模型,全对等模式和管理集中化模式,这两种模式有不同的安全假设和交互流程,如何定义一套领域模型和协议接口,适应多种模式是个难点。
2、调度模块一般针对隐私计算作业开展调度工作,作业如何定义如何拆分成,没有行业上统一的标准,各厂家各有实现,同构的调度模块通过实现私有协议互联,异构调度模块间通信如何定义接口也是一大挑战。
3、计算引擎互联复杂度高,技术路线多样。同一技术路线下,存在多种底层安全协议,安全协议有不同的实现版本,任何差异都会导致无法互联互通。如MPC里面有秘密分享协议,秘密分享协议有多种实现,SPDZ、ABY3以及各厂家自研协议。
4、传输模块有自研的通信网关实现,也有直接利用消息中间件的实现,如何屏蔽这些差异化的组件构建统一的传输接口是关键。
5、现网已经部署在运行的存量隐私计算平台,如何以低改造成本平滑迁移,尽量减小存量业务的影响。
行业组织在互联互通技术上的探索
针对上述的挑战,目前各行业组织在应用算法互通和系统框架互通上做了很多探索。
2022年底,隐私计算联盟发布规范《隐私计算 跨平台互联互通 开放协议 第1部分:ECDH-PSI》,定义了典型算法协议PSI的实现框架流程,探索隐私计算同构算法互通的可能性。
PSI有ECDH、KKRT等多种实现方式,基于密钥交换协议的PSI通常采用两次加密和一次求交得到交集,如下图。
基于DH的算法流程如图所示,包括五个步骤:
第一步:参与方在本地计算原始数据的杂凑值,然后加密;
第二步:参与方将加密后的数据传输给其它数据提供方;
第三步:参与方在本地使用自己的私钥对步骤二中接收到的数据进行二次加密
第四步:参与方将二次加密数据传输给其他参与方;
第四步:参与方本地计算安全求交的结果。
各厂家可以基于规范中定义的算法框架和接口协议,实现ECDH-PSI协议,与其他厂家实现对接。
2023年5月北京金融科技产业联盟发布《金融业隐私计算互联互通技术研究报告》。报告针对整个系统的互联互通框架进行梳理和研究,采用了类似互联网七层协议的模式,分层解耦,框架分为管理层、调度层、应用算法层、安全算子层及传输层等五个层面,逐层定义接口和交互协议,为隐私计算平台及互联互通的实现提供了一个参考设计。
互联互通框架类似下图:
管理层负责节点、组件、项目、任务等基础隐私计算元素的互通,以及资源审批授权的交互流程。报告定义了节点、数据、项目、任务、流程、组件、作业、模型等基本管理元素。调度层是整个隐私计算互联互通框架的核心部分,负责作业调度、任务调度、组件注册与加载、容器管理与加载。应用算法层与安全算子层解耦,应用算法基于通用的安全算子层提供的能力对外提供服务。安全算子层支持半同态、秘密分享等协议,可插拔可扩展,通过算子sdk对上层应用算法提供能力。各厂家基于互联框架的设计,可以实现管理层、调度层等各层面的对接。
未来畅想:隐私计算2.0时代,数据全互联,为数字中国建设发挥更大价值
随着隐私计算互联互通技术标准达成共识,形成落地应用,将全面进入隐私计算的2.0时代。最底层是传统的物理互联网,基于物理互联网叠加数据互联网,上面孵化出千行百业的行业应用。
未来,隐私计算的发展生态将更为开放,基于各种隐私计算平台的互联形成一张全局数据互联网络,数据要素有序流动,必将加快数字经济时代数据价值的充分释放,为数据要素化和数字中国的建设做出更大贡献。
文章作者:海泰方圆数据安全事业部 David李
END
标签: #作业调度算法总结