社区探讨，供大家参考：
金融行业应用系统业务和IT技术数据融合通过大模型进行异常检测所需的数据类型和范围包括哪些？议题中的业务数据主要是指金融行业应用系统运营过程中实时产生的业务属性相关数据，IT技术数据是指承载该应用系统机房、网络、服务器、操作系统、数据库等软硬件实时运行数据。
主要面临困难：在金融行业中，如何将应用系统业务数据和IT技术数据进行充分融合，并利用大模型算法实时检测业务和IT技术数据中的异常数据，结合业务运营和科技运维相关知识，识别异常数据是否影响业务的连续性和稳定性，并定位问题根源进行解决。
该议题的共识将对金融行业用户提升业务连续性管理能力有显著价值。
期望：如何规范金融行业应用系统业务和IT技术数据的大模型应用的数据标准，有利于更好发挥大模型在金融行业的作用。
重点研讨和交流：保障业务连续性和稳定性是金融行业运维领域工作范畴，希望使用大模型进行异常检测和问题定位能够在运维中得到一定有效应用，每个场景大模型的应用涵盖的数据范围需要建立一定的标准，该议题场景重点研讨：应用系统业务数据和IT技术数据融合进行异常检测所需的数据类型和范围包括哪些？如涉及敏感信息如何加密不影响大模型算法的使用？
问题来自社区会员@fengzhen2003，以下内容来自社区同行探讨
@catalinaspring 金融行业：
数据质量规则的依据来源核心是数据标准。如何保障数据标准被落地以及被执行呢？通过数据质量的情况进行一个检查，这就是数据标准、元数据以及数据质量之间的关系。数据质量的每一条核验规则写到每一个字段上、每一条元数据上。关于数据标准、存量的元数据的治理，对于新增的这部分，我们怎么样从源头上能保证我们数据标准的被有效的执行呢？
常用的一种手段叫数据模型，包括物理模型与数据标准的过程链接和落地，从而保证数据模型是可以从源头上进行管理的。数据标准同时又作为一种输出，支撑数据模型。
对进行数据分类，进行数据分析，把分类规则输出给数据安全。
在数据安全之外，经常有一部分企业在最开始开展数据治理时，是通过元数据、主数据的治理来开展。主数据是什么？有些核心的高价值的数据会形成主数据，数据标准会通过体系的支撑给到主数据。同时因为主数据在实际应用的规程中，对数据标准的使用进行反馈和优化。
关于数据架构管理。输出一些数据的技术标准给到数据模型，同时数据模型会把高价值的数据资产输出给数据架构管理，这就是数据治理与数据管理域的关系。
把数据架构、数据标准、数据质量、数据安全这些建好之后，接下来要进行能力的输出。能力的输出是给到数据应用、数据服务。
数据应用里面的第一个抓手是数据需求管理：一是为了更好地促进数据共享；二是明确数据服务规范，数据需求不断地遵循和适应规范，同时数据服务要反向适应需求——这是一个不断的循环的过程。
数据质量是保证为数据分析业务决策提供高质量的数据，保证数据的有效性。
落地的核心关键点包括：
一是建立数据质量的评分卡。
二是进行源头治理。如果仅仅是在数仓内对处理完的数据进行治理，比如数据质量的提升仅在仓内开展，这是远远不够的。本质上数据从业务端开始，从系统端开始，它的数据还是有问题的，没有本质去解决问题，所以源头治理也是核心关键点。
三是数据质量的分级处置：根据不同的数据问题，不同的数据的重要性，设置对应的数据质量处理方案。
四是认责机制。其实这也是整个数据治理工作开展的核心，可以保障质量问题的发现追踪和解决。@chinesezzqiang 信息技术经理：
一、如何规范金融行业应用系统业务和IT技术数据的大模型应用的数据标准，有利于更好发挥大模型在金融行业的作用 ？
答：
制定统一的数据标准 ：金融行业应制定一套统一的数据标准，包括数据格式、数据质量、数据安全性等方面的规定，以确保不同系统之间的数据互通性和一致性。
建立数据治理体系 ：建立数据治理体系，明确数据所有权、数据使用权限、数据质量管理等职责和流程，确保数据的合规性和准确性。
加强数据质量管理 ：通过数据清洗、数据校验、数据监控等手段，提高数据质量，减少数据异常和错误，为大模型的训练和应用提供高质量的数据基础。
强化数据安全性 ：金融行业数据涉及敏感信息较多，应加强数据加密、数据备份、数据访问控制等安全措施，确保数据不被泄露、篡改或滥用。
推进模型标准化 ：推动大模型在金融行业应用的标准化，包括模型开发、模型验证、模型部署等方面的标准化，以提高模型的通用性和可移植性。
建立合作机制 ：鼓励金融行业内的机构和企业建立合作机制，共同推进大模型在金融行业的应用和发展，实现资源共享和技术创新。
加强监管和评估 ：监管机构应加强对金融行业大模型应用的监管和评估，确保模型应用的合规性和风险可控性，促进金融行业的健康发展。
二、应用系统业务数据和IT技术数据融合进行异常检测所需的数据类型和范围包括哪些？如涉及敏感信息如何加密不影响大模型算法的使用？
答：
应用系统业务数据和IT技术数据融合进行异常检测所需的数据类型和范围可能包括以下几类：
业务数据 ：这可能包括交易数据、客户信息、账户活动、市场数据等。这些数据通常用于分析业务流程中的异常情况，例如欺诈行为、不正常的交易模式等。
技术数据 ：这类数据通常涉及系统日志、网络流量、错误报告、性能监控等。技术数据可以帮助检测系统中的技术故障、安全漏洞或异常行为。
元数据和上下文信息 ：这包括数据的时间戳、来源、格式等信息，有助于理解数据的上下文并识别异常。
外部数据 ：可能包括第三方数据提供商提供的风险情报、黑名单、欺诈数据库等，用于辅助异常检测。
当涉及敏感信息时，确保数据安全和隐私至关重要。加密敏感信息以保护隐私，同时不影响大模型算法的使用，可以通过以下方法实现：
对称加密 ：使用对称加密算法（如AES）对敏感字段进行加密，然后在模型训练或推理时解密。这种方法要求加密和解密使用相同的密钥，且密钥必须安全存储和管理。
非对称加密 ：使用非对称加密算法（如RSA）对数据进行加密，其中公钥用于加密数据，私钥用于解密。这种方法允许数据在不安全的通道上安全传输，同时保护数据的机密性。
同态加密 ：同态加密允许对加密数据进行计算，得到的结果也是加密的，且不需要解密就可以进行进一步计算。这种方法可以在不暴露原始数据的情况下进行模型训练，但当前同态加密技术可能在性能和计算复杂度方面有限制。
差分隐私 ：差分隐私通过在数据集中添加噪声来保护个体隐私，同时保持数据的统计特性。这种方法可以用于生成脱敏数据集，供模型训练使用。
联邦学习 ：联邦学习是一种分布式机器学习技术，允许在多个数据源上训练模型，而不需要将所有数据集中到一个地方。这种方法可以在保护数据隐私的同时进行模型训练。@waring_id 技术经理：
技术指标和业务指标是不同的维度，要融合这二者的数据指标需要先评估当前的业务流程中涉及的技术要求和指标（现有业务流程都无法准确描述或要求技术指标的不可能直接通过大模型准确检测和判断）。
1、结合业务流程数量数据指标。例如上游流程的数据不一致、单据缺失、服务器资源不足、网络延时高等指标都需要明确具体的值并对应相关的判断原则。
2、结合行业监管要求和业务流程建立算法和对应的优化流程。
3、异常结果的审核判断机制，通过调整能不断优化模型，提升准确率。@ChatGPT 回答：
针对该议题，建议以下几点：
建立数据标准：为了规范金融行业应用系统业务和IT技术数据的大模型应用，需要建立数据标准，明确每个场景大模型应用涵盖的数据范围和数据类型。建立数据标准可以帮助金融行业用户更好地发挥大模型在金融行业的作用，提高业务连续性管理能力。
加密敏感信息：在应用系统业务数据和IT技术数据融合进行异常检测时，可能涉及到敏感信息，如何保护这些信息是一个重要问题。建议对敏感信息进行加密处理，以保护用户隐私，同时不影响大模型算法的使用。
确定异常检测指标：在进行异常检测时，需要确定异常检测指标，包括业务连续性和稳定性相关的指标以及IT技术数据相关的指标。这些指标可以帮助识别异常数据是否影响业务的连续性和稳定性，并定位问题根源进行解决。
建立大模型算法库：建立大模型算法库，包括数据挖掘、机器学习、深度学习等算法，可以帮助金融行业用户更好地应用大模型算法进行异常检测和问题定位。同时，建立算法库也可以促进算法的共享和交流，提高算法的效率和准确性。
加强人工智能技术人才培养：人工智能技术是实现大模型应用的关键，建议金融行业加强人工智能技术人才的培养，提高技术人员的技能水平，以更好地应用大模型算法进行异常检测和问题定位。
您怎么看？
欢迎来探讨
欢迎点击文末阅读原文到社区阅读和讨论交流，发表您的看法觉得本文有用，请转发或点击在看，让更多同行看到
资料/文章推荐：
一文读懂LLM Fine Tuning（微调）【大模型行业应用入门系列】
在银行智能风控方面，大模型应用是否可以超越当前其它算法的效果？
欢迎关注社区 “大语言模型”技术主题 ，将会不断更新优质资料、文章。地址：https://www.talkwithtrend.com/Topic/116059
下载 twt 社区客户端 APP
长按识别二维码即可下载
或到应用商店搜索“twt”
长按二维码关注公众号
*本公众号所发布内容仅代表作者观点，不代表社区立场；封面图片由版权图库授权使用
