龙空技术网

张家港农商银行:信贷业务决策引擎项目

金科创新社 170

前言:

现在我们对“prefixspan算法例子”大约比较重视,你们都需要剖析一些“prefixspan算法例子”的相关知识。那么小编在网上网罗了一些关于“prefixspan算法例子””的相关内容,希望大家能喜欢,小伙伴们快快来学习一下吧!

来源:2022年第六届农村中小金融机构科技创新优秀案例评选

获奖单位:张家港农商银行

荣获奖项:数智应用创新优秀案例

一、项目背景

当前我行数字化转型不断深入,金融科技不断发展,全行级决策引擎是金融科技发展的核心之一,需要实时支持大量业务的自动化处理,以极大解放人工处理的瓶颈与效率。信贷业务决策引擎作为全行重要的引擎平台,有助于我行将对模型的管理及上线做到自主可控,具有极其重要的建设意义。结合我行正在推进的信用风险管理建设,建设统一、集中、自动、先进的信贷业务决策引擎,加大信用风险信息收集、整理和分析力度,建立和完善信用评级体系,加强信用风险信息共享,提高信贷投放自动决策能力。

信贷业务决策引擎作为全行重要的引擎平台,有助于我行将对模型的管理及上线做到自主可控,具有极其重要的建设意义。本项目使用人工智能技术,基于机器学习和深度学习框架,实现可视化全流程、全生命周期管理;结合大数据、风控模型、流程引擎、规则引擎、人工智能等技术,建设一站式、集成式信用风险决策服务中心,并通过该项目形成我行自主的建模能力,为我行后续自主的模型研发做好人才储备。

二、项目方案

1.项目建设目标和主要任务

本项目的建设目标:在全行级的风险解决方案上,建立了统一、全面的风险监控及决策平台,具备事前、事中、事后信贷风险识别、分析、鉴别、控制能力,覆盖了行内各业务部门的产品;在技术上,利用大数据技术、基于时间窗口可移动的动态数据分布处理技术。深入挖掘客户习惯,并对风险特征进行多维度分析,实现智能识别信用风险。

信贷业务决策引擎平台整合行内外各项数据及多维度场景特征,综合评估用户信用风险。平台实现了数字可视化智能运营,灵活高效的体系化配置。决策引擎平台交互友好,简单易用,各模块都支持可视化配置和管理,决策流配置支持拖拉拽,页面窗口也可采用编码的形式,在页面进行指标加工编码逻辑编写,实时生效;策略及模型的部署可采用导入/导出的方式,极大地解决了我行目前产品模型迭代开发、上线周期长的瓶颈。

主要任务:

(1)业务层面,覆盖行内各业务部门的产品;提供规则、策略及模型全生命周期的统一管理,可支持动态部署监控,并支持赋值化调整,支持可重用的指标、规则和决策流等组件的编辑、部署、运行和监控等功能。

(2)技术层面,采用大数据分布式处理架构,保证自身统计引擎、规则引擎等核心处理模块高效运行。结合大数据的流式处理和分析引擎技术,采用决策树-直推式-聚类- prefixspan算法计算交易关联度,建立数十种风险策略。平台采用流式处理技术,以及分布式微服务架构。对行为特征指标、规则因子等进行分布式缓存管理,最大程度降低对数据库读取的依赖,更好的支持高并发处理能力。为满足高并发业务场景需要及业务快速增长所带来的系统性能压力,利用大数据技术、基于时间窗口可移动的动态数据分布处理技术、以及AI强化学习等多种算法,深入挖掘客户习惯,并对风险特征进行多维度分析,智能识别信用风险。

2.项目建设内容

应用架构:

本项目将智能信贷业务决策引擎用于信贷风控场景,建设数据、规则、模型一体化应用和管理的智能信贷风控系统,并充分挖掘内外部数据价值,实现基于大数据的信用风险评估模型和策略,从而全方位提升我行风险管理能力。

本项目主要服务的功能:

(1)集指标、规则、策略、模型于一体的决策中心

(2)支持全局展示的风险管理驾驶舱高级版

(3)可视化的策略运营平台、模型平台

(4)事件管理及核查中心

(5)单维度、多维度的名单管理

(6)对接中心、权限、日志等系统管理

主要技术指标:

(1)实现系统高效、准确、灵活、易用;满足简单灵活的可视化规则及模型定义;

(2) 满足高并发、高性能、高稳定性的实时监控系统运行要求 满足7*24小时10000TPS 单笔平均20毫秒 日千万笔以上;

(3)本项目性能测试采用150用户并发,以5000万日交易量为参考,依据二八法则20%交易集中于8小时内完成,50000000*0.8/(3600*8*0.2)=6950笔/秒;

(4)支持多种数据采集模式,架构分布式,松耦合,集群化,容器化。

先进的微服务技术架构

主要技术应用介绍:

(1)系统整体采用springboot+dubbo分布式微服务框架,充分将各个应用模块进行独立部署,将各个独立应用模块进行解耦,分工明确可扩展性强。

(2)整套集群采用3个主节点,1个灾备节点的方式进行搭建。主节点及灾备节点均支持集群扩展,极大的提高了系统的负载能力及稳定性,可以支持日均数十万笔进件交易的流量,并能根据业务量级需要快速完成集群扩展。

(3)系统流水数据采用es索引存储机制,提高了整个系统的查询及使用效率,避免业务人员操作过程中出现卡顿、等待的情况。

(4)业务指标数据采用as存储方式,可以根据时间窗口进行指标加工运算,在加快指标存取效率的同时,也提高了系统的运行效率。

三、创新点

本项目充分运用大数据处理能力建立先进的决策引擎平台,构建信贷风控领域的完整解决方案,在自动化、智能化地帮助我行完成内外部数据价值提升的同时,还为我行掌握独立自主的全流程风控能力奠定良好的技术基础。

构建全局智能风控决策中心整合行内外各项数据及多维度跨场景行为特征,通过对数据的整合,实现了跨渠道、跨业务的用户行为追踪,综合评估用户信用风险。

本项目创新点主要有:

(1)全面业务场景接入;

(2)灵活高效的体系化配置;

(3)策略体系智能化管理,建立风险指标与特征体系;

(4)数字可视化智能运营;

(5)稳定可靠、快速响应、灵活高效、节约成本、精准施策。

(6)采用当前流行的微服务框架,提高了系统的可扩展性及稳定性。

(7)采用页面窗口编码的形式,页面操作指标加工编码逻辑,实时生效。

(8)信贷业务决策引擎系统中策略及模型的部署采用导入/导出的方式,极大的便捷了技术人员投产更新的操作提高了工作效率

(9)支持集成内外部数据及数据管理,支持充分使用本地数据、征信数据、三方数据等。

(10)信贷业务决策引擎系统整体采用智能决策,交互友好,简单易用,各模块都支持可视化配置和管理,无需代码,决策流配置支持拖拉拽、提高了业务人员的审批效率,降低了人员工作投入。

(11)支持信创服务器的适配,已部署国产服务器,国产数据库,完全响应信创要求,已完成首款产品的迁移运行。

四、技术实现特点

1.关键技术

(1) 采用流式计算处理技术,以及分布式微服务架构。对行为特征指标数据、实时信贷流水数据、指标变量、规则运算全部依赖于缓存计算,进行分布式hash缓存管理,最大程度降低对数据库读取的依赖,针对不经常使用、需要持续化保存数据采用nosql数据库进行存储,从而更好的支持分布式实时高并发系统处理能力。

(2)利用共享内存技术、多线程技术、缓冲池技术及大数据挖掘技术,极大的提高了系统的稳定性及性能。利用分布式技术和历史数据转储方式,极大地提升分析效率和数据访问效率。系统采用分布式及松耦合技术,各子节点可物理独立部署也可逻辑独立部署,并支持负载均衡部署模式,系统可扩展性强。

2.多线程技术

产品采用多线程技术,充分利用硬件服务器系统多CPU多核的技术资源,成倍提高系统分析效率和分析吞吐能力。分析与转储独立进行,极大提高了实时响应能力,通过异步转储的方式实现数据持久化。

3.缓冲池技术

产品采用缓冲池技术,降低通讯、数据库访问等建立连接的性能开销,同时通过容错机制确保缓冲池稳定。

4.数据预处理技术

为了加快系统的分析性能,产品对待分析数据进行分类,通过数据前置平台预处理的方式事先对数据进行预处理计算。

5.规范性

本系统相对独立,所有内外系统的交互需要通过统一对外的前置服务。数据通过定义的系统字段、业务字段、动态字段在各个子系统内流转。前置服务提供表单配置以及服务配置,灵活适配绝大部分外部接口,并可以自定义输出。同时方便和客户系统进行对接。

本系统结合分布式的软件架构,支持集群横向扩展以及单节点横向扩展。本系统采用高吞吐消息中间件的fmq、高性能搜索引擎Elasticsearch、高可用的Nosql数据库Aerospike、分布式服务框架JSF,保证系统的高可用性。

6.前瞻性

系统充分考虑到行业未来发展的需要,系统本身具备高并发、高吞吐量的特点。系统中的决策引擎、模型中心、消息中间件,分布式缓存等模块都可进行横向扩展,能根据系统的实际情况提供完善的升级、扩容等解决方案,可随时增加硬件对系统处理能力进行提升,可无缝扩展,满足实际业务场景的需求进行便捷快速的横向扩展。

7.安全性

系统提供的是完全隔离的解决方案模式,并且只对行内人员开放,运行过程中涉及的所有数据以及信息都只会保留在行内内网中,与外部互联网完全隔离,以确保不会泄露客户的任何商业机密。

系统可以支持用户账号和密码的加密,提供了用户权限分级功能,支持多种用户认证模式。

系统数据处理符合信息安全的要求,采用完善的安全保密机制,保证数据不被破坏、非法访问和恶意修改,并可防止交易重发,保证数据的正确性、完整性和一致性。

系统涉及的决策引擎、模型中心、分布式缓存、数据库、消息中间件等都具备多级权限认证及授权功能。

五、项目过程管理

张家港农商行信贷业务决策引擎项目整体实施周期8个月,项目在2021年03月正式启动,项目上线时间为2021年5月21日一阶段上线,2021年11月份业务产品迁移逐步完成,项目计划分7个阶段。

1.项目启动

项目启动阶段1-2周

主要工作内容:组建项目团队,整合项目资源,确定项目成员职责,建立通讯机制、制定项目计划,开展项目启动会议等。

2.需求分析

需求分析阶段4-6周

主要工作内容:针对业务需求进行搜集、分析梳理需求内容、产出需求文档、进行需求评审等。

3.系统设计

系统设计阶段4-6周

主要工作内容:针对需求内容进行系统开发设计,产出系统设计文档,产出相关设计图表,进行系统设计评审等。

4.系统开发

系统开发阶段6-7个月

主要工作:针对系统开发内容进行分工、依照需求内容分配开发任务、编写开发文档、完成系统开发及自测、进行联调测试等。

5.系统测试

系统测试阶段4-5个月

主要工作内容:编写测试用例、进行系统功能及性能测试、进行sit/uat测试、修改测试问题、回归测试、产出测试报告等。

6.上线投产及试运行

系统试运行阶段1-3个月

主要工作内容:整理上线文档、召开上线评审会议、上线投产、技术及业务验证、试运行及系统推广等。

7.系统运维

主要工作内容:运维监控系统运行情况、记录系统运行情况等。

六、运营情况

1.项目运行状态

项目从2021年3月正式启动以来,在数据采集技术、软件接口开发、联调测试、监控流程、网络架构、硬件部署、业务咨询诊断、现状评估、规则策略制定、体系规划、模型训练、性能调优等方面多次论证,周密计划,有序推进,历经3个月左右时间,搭建了基于大数据、AI技术为一体的稳定、动态的风险侦测体系,提供了多维度的风险分析决策支持,可有效识别信用风险,实施相应的动态安全策略,实现了对业务风险的智能排查、实时预警。

2.项目已产生的效益

本项目已实现了对我行全渠道,全业务条线的多款产品部署上线,平台运行平稳。随着经验的不断积累,风险规则的不断迭代以及系统的持续完善,且随着业务接入范围及场景的不断扩展,将大大提高风险监控精度,提升我行风险识别能力。

后续项目将融入知识图谱、丰富客户画像以及反欺诈模型,持续加强研究与应用,运用客户习惯特征更深层次的挖掘出客户操作偏好、风险趋势、资金变化趋势等多种有益于风险防控的数据价值信息,切实提高我行风险控制能力。

2021年7月,本项目荣获金科创新社主办的2021年中小金融机构数智化转型风控创新优秀案例奖,同时获得张家港农村商业银行2021年度金融创新项目第一名的成绩。

七、项目成效

本项目支撑张家港农商银行信用风险管理建设,加大信用风险信息收集、整理和分析力度,建立和完善信用评级体系,加强信用风险信息共享,提高信贷投放自动决策能力,有效防范信贷风险的诉求,建设统一、集中、自动、先进的信贷业务决策引擎。

1.全面支持业务发展

决策引擎已对接网络金融总部、小微金融事业部、小企业部、信用卡与消费金融部等多个业务部门,全面支持阳光速贷、服装贷、信用卡、大家e贷等21款产品的线上审批与自动化决策,直接支持全行信贷业务规模超100亿。同时,决策引擎部署了全行零售内评评分卡模型与分池模型,支持全行全面风险管理、预期信用损失管理。

2.支持全行降本增效

决策引擎完成建设后,实现四个可配置,包括指标可配置、规则可配置、流程可配置、模型可配置,提升了规则、模型部署效率,大幅缩短了全行线上贷款产品模型、规则的技术开发周期。一是规则阈值实时调整,通过页面直接调整阈值,决策引擎实现了阈值调整的秒级调整;二是新产品上线效率提升,新产品模型规则部署从2-3个月缩短至1个月左右;三是业务审批效率大幅提升,线上业务实时审批效率由从2-3分钟级提升到10秒以内,2022年日均已接近1.9万笔,审批时长大幅缩短。

3.数字化风控能力进一步增强

基于决策引擎建设,数字化风控能力不断提升,一是决策引擎规则迭代,对决策引擎中风控规则的风险表现进行分析,通过LIFT值、逾期单调表现等维度评估风险规则是否有效,2022上半年已迭代255条风控模型规则;二是评分卡模型优化,个人消费贷款申请评分卡KS由17%优化到40%,个人经营贷款申请评分卡KS由17%优化到36%,信用卡申请评分卡KS由33%优化到53%,模型对客户风险识别能力大幅增强;三是平衡业务发展与风险控制,决策引擎中业务整体通过率在30%左右,各类产品通过率各有差异,零售消费类贷款模型审批通过率在20-90%,信用卡模型审批通过率为28%,小微类贷款模型审批通过率在20%-70%,决策引擎上线后支持的主要业务不良率在0.7%以内。

八、经验总结

随着AI机器学习、自然语言处理、知识图谱等技术的发展,算法、数据、硬件处理能力不断提升,金融风控已逐步进入智能化阶段。国内外先进技术的系统设计不仅具备模块化、参数化和标准化,而且建设后的系统应具备规范性、先进性、前瞻性、安全性、高效性、实用性、可靠性、灵活性、扩展性。随着技术的革新,未来的风控决策系统,会向着功能更加丰富,性能更加优良的全渠道、全场景、全时段风控实时智能决策系统演进。

信贷业务决策引擎项目作为我行重要的全行级智能决策平台,将持续优化迭代现有产品的模型管理规则,积极赋能全行的风控创新、数字化转型。

更多金融科技案例和金融数据智能优秀解决方案,请登录数字金融创新知识服务平台-金科创新社案例库、选型库查看。

标签: #prefixspan算法例子