AI金融助手
社区探讨,供大家参考: 金融行业应用系统业务和IT技术数据融合通过大模型进行异常检测所需的数据类型和范围包括哪些? 议题中的业务数据主要是指金融行业应用系统运营过程中实时产生的业务属性相关数据,IT技术数据是指承载该应用系统机房、网络、服务器、操作系统、数据库等软硬件实时运行数据。 主要面临困难:在金融行业中,如何将应用系统业务数据和IT技术数据进行充分融合,并利用大模型算法实时检测业务和IT技术数据中的异常数据,结合业务运营和科技运维相关知识,识别异常数据是否影响业务的连续性和稳定性,并定位问题根源进行解决。 该议题的共识将对金融行业用户提升业务连续性管理能力有显著价值。 期望:如何规范金融行业应用系统业务和IT技术数据的大模型应用的数据标准,有利于更好发挥大模型在金融行业的作用。 重点研讨和交流:保障业务连续性和稳定性是金融行业运维领域工作范畴,希望使用大模型进行异常检测和问题定位能够在运维中得到一定有效应用,每个场景大模型的应用涵盖的数据范围需要建立一定的标准,该议题场景重点研讨:应用系统业务数据和IT技术数据融合进行异常检测所需的数据类型和范围包括哪些?如涉及敏感信息如何加密不影响大模型算法的使用? 问题来自社区会员@fengzhen2003,以下内容来自社区同行探讨 @catalinaspring 金融行业: 数据质量规则的依据来源核心是数据标准。如何保障数据标准被落地以及被执行呢?通过数据质量的情况进行一个检查,这就是数据标准、元数据以及数据质量之间的关系。数据质量的每一条核验规则写到每一个字段上、每一条元数据上。关于数据标准、存量的元数据的治理,对于新增的这部分,我们怎么样从源头上能保证我们数据标准的被有效的执行呢? 常用的一种手段叫数据模型,包括物理模型与数据标准的过程链接和落地,从而保证数据模型是可以从源头上进行管理的。数据标准同时又作为一种输出,支撑数据模型。 对进行数据分类,进行数据分析,把分类规则输出给数据安全。 在数据安全之外,经常有一部分企业在最开始开展数据治理时,是通过元数据、主数据的治理来开展。主数据是什么?有些核心的高价值的数据会形成主数据,数据标准会通过体系的支撑给到主数据。同时因为主数据在实际应用的规程中,对数据标准的使用进行反馈和优化。 关于数据架构管理。输出一些数据的技术标准给到数据模型,同时数据模型会把高价值的数据资产输出给数据架构管理,这就是数据治理与数据管理域的关系。 把数据架构、数据标准、数据质量、数据安全这些建好之后,接下来要进行能力的输出。能力的输出是给到数据应用、数据服务。 数据应用里面的第一个抓手是数据需求管理:一是为了更好地促进数据共享;二是明确数据服务规范,数据需求不断地遵循和适应规范,同时数据服务要反向适应需求——这是一个不断的循环的过程。 数据质量是保证为数据分析业务决策提供高质量的数据,保证数据的有效性。 落地的核心关键点包括: 一是建立数据质量的评分卡。 二是进行源头治理。如果仅仅是在数仓内对处理完的数据进行治理,比如数据质量的提升仅在仓内开展,这是远远不够的。本质上数据从业务端开始,从系统端开始,它的数据还是有问题的,没有本质去解决问题,所以源头治理也是核心关键点。 三是数据质量的分级处置:根据不同的数据问题,不同的数据的重要性,设置对应的数据质量处理方案。 四是认责机制。其实这也是整个数据治理工作开展的核心,可以保障质量问题的发现追踪和解决。 @chinesezzqiang 信息技术经理: 一、如何规范金融行业应用系统业务和IT技术数据的大模型应用的数据标准,有利于更好发挥大模型在金融行业的作用 ? 答: 制定统一的数据标准 :金融行业应制定一套统一的数据标准,包括数据格式、数据质量、数据安全性等方面的规定,以确保不同系统之间的数据互通性和一致性。 建立数据治理体系 :建立数据治理体系,明确数据所有权、数据使用权限、数据质量管理等职责和流程,确保数据的合规性和准确性。 加强数据质量管理 :通过数据清洗、数据校验、数据监控等手段,提高数据质量,减少数据异常和错误,为大模型的训练和应用提供高质量的数据基础。 强化数据安全性 :金融行业数据涉及敏感信息较多,应加强数据加密、数据备份、数据访问控制等安全措施,确保数据不被泄露、篡改或滥用。 推进模型标准化 :推动大模型在金融行业应用的标准化,包括模型开发、模型验证、模型部署等方面的标准化,以提高模型的通用性和可移植性。 建立合作机制 :鼓励金融行业内的机构和企业建立合作机制,共同推进大模型在金融行业的应用和发展,实现资源共享和技术创新。 加强监管和评估 :监管机构应加强对金融行业大模型应用的监管和评估,确保模型应用的合规性和风险可控性,促进金融行业的健康发展。 二、应用系统业务数据和IT技术数据融合进行异常检测所需的数据类型和范围包括哪些?如涉及敏感信息如何加密不影响大模型算法的使用? 答: 应用系统业务数据和IT技术数据融合进行异常检测所需的数据类型和范围可能包括以下几类: 业务数据...