龙空技术网

【隐私计算互联互通】流程调度接口与算法容器加载子课题研究

北京金融科技产业联盟 112

前言:

现时我们对“作业调度算法程序设计”可能比较讲究,姐妹们都想要了解一些“作业调度算法程序设计”的相关内容。那么小编同时在网摘上收集了一些有关“作业调度算法程序设计””的相关文章,希望兄弟们能喜欢,小伙伴们快快来学习一下吧!

为落实人民银行《金融科技发展规划(2022-2025年)》关于“探索建立跨主体数据安全共享隐私计算平台,在保障原始数据不出域前提下规范开展数据共享应用”的要求,北京金融科技产业联盟数据专委会在2022年度组织设立了2项重点课题。2023年5月,《金融业隐私计算互联互通技术研究报告》正式发布,为实现行业级隐私计算互联互通,保障金融数据要素安全有序流通提供坚实保障。

《金融业隐私计算互联互通技术研究报告》已于5月6日由北京金融科技产业联盟(以下简称“联盟”)正式发布。本期主要介绍流程调度接口与算法容器加载子课题的整体工作及研究成果,其中本文主要介绍课题推进及组织情况,后续将陆续呈现3项关键技术点:“流程调度互通设计”“组件容器化加载方案”“基于最小化约束的算法容器设计”。

一、子课题研究内容概述

本子课题主要包含两大内容,分别是隐私计算过程中流程调度接口的设计以及隐私计算算法容器加载的研究,是整个隐私计算互联互通技术研究的核心部分。

在流程调度方面,由于隐私计算是一个涉及双方数据协同的运算过程,在互联互通的过程中会涉及双方网络传输以及异步运算等关键步骤,网络延迟或者计算资源调度异常都会导致隐私计算任务等待或者失败,因此在异构情况下,需要标准化的调度方案,使用标准化的作业与任务协同接口,来统一协调异构双方隐私计算任务的执行。

在算法容器加载方面,算法是隐私计算的核心,而算法的加载就是使用标准化的接口或方式来管理异构算法,其实现方式决定了算法的可扩展性和易扩展性,并且其设计方式也会影响到算法的执行效率。因此,我们需要制定统一的算法镜像构建标准与接口并定义一套规范的镜像加载机制与流程,从而保证整个算法容器加载过程的安全、高效及高可用。

二、研究思路

流程调度与算法容器加载可拆分为调度核心流程设计与算法容器加载机制研究两个部分,前者聚焦于隐私计算作业调度中的实体、过程及状态变化的设计,后者则聚焦于作业中各组件的注册发现与加载机制的研究。

流程调度与算法容器加载的实现路径从隐私计算过程中作业的调度到作业中组件的加载这一思路出发进行研究讨论:统一的概念模型是实现调度面互联互通的基础,本子课题在“管理面元素与接口研究”子课题的基础上进一步定义了流程、作业、任务、组件、资源5大基本调度面实体及实体属性;根据统一的作业与任务状态的定义与状态间的转换关系,本子课题设计了作业与任务的核心调度流程,并明确了作业与任务的生命周期;为了标准化算法容器组件的镜像,课题制定了组件镜像构建规范并设计了标准的组件加载管理机制与容器加载流程;课题还对组件的实例状态、注册发现流程、实现逻辑流程及管理服务流程进行了规范定义,以实现更完整、更统一、更兼容的算法容器加载过程。

三、工作机制

本子课题由上海浦东发展银行股份有限公司、北京百度网讯科技有限公司、深圳前海微众银行股份有限公司、上海富数科技有限公司、深圳市洞见智慧科技有限公司牵头5家单位联合牵头,联合13家单位共同研究攻关(完整参与单位名单见附录)。课题组对研究内容分模块拆分(见表1),在组内有序推进研讨会议,对技术方案开展充分讨论,对涉及与管理面等其他子课题交叉的内容开展跨组讨论,并通过意见投票、接口评审等方式吸收参与单位意见,不断打磨技术方案,输出研究成果。

表1 流程调度接口与算法容器加载子课题牵头单位分工

附:流程调度互通设计关键技术点参与单位(按贡献度排序)

本文来源:数据专委会

投稿邮箱:News@bfia.org.cn

标签: #作业调度算法程序设计