（精选报告来源：幻影视界）
随着大模型技术的成熟，从基于数据集的开发转向基于大规模预训练模型的应用工程体系，我们可以想象未来大模型通过API化与云原生环境下的金融业务流程与技术架构的深度整合，从而解决一些从前我们不敢想象的融合问题，比如金融模型应用的成本效率与稳定性，金融知识的准确及专业性、金融合格的严谨可解释性等。不仅如此，云原生和大模型融合的新范式，非常需要新的大模型应用平台降低从特定领域到广泛场景到AI应用的门槛。
《百炼成金-大金融模型新篇章》不仅分析了AI大模型的发展趋势，还深入探讨了金融企业在采纳大模型技术时面临的挑战。作者提出了金融级AI原生的六大要素，包括可靠性、低延时、扩展性、安全性、准确性和开放性，为金融行业AI应用的安全性和有效性提供了重要参考。这些要素对于确保金融行业在利用AI大模型时能够满足行业特有的严格要求至关重要。报告通过深刻的行业洞察、丰富的案例分析以及前瞻性的技术讨论，为金融企业提供了金融大模型应用的路线图和实践指南。相信无论是金融行业的专业人士，还是对金融科技充满热情的学者和研究者，都能从这个报告中获得深刻的洞见和启发。
大模型是 DT 时代标志性产物
大模型是数字转型（DT）时代的产物，标志着人工智能技术的一次重大突破，尤其是在自 然语言处理（NLP）、图像识别、推荐系统等领域。这些大模型，如 OpenAI 的 GPT 系列、 Meta的 Llama、Google的Gemini，基于Transformer架构，通过消化海量数据集进行预训练， 获得了对人类语言、图像等数据的深入理解和处理能力。在数字转型时代，大模型为企业提供了前所未有的机遇，使其能够通过高效的数据分析和 决策，实现业务流程的智能化、优化客户体验和创新产品服务。从金融行业的智能投顾和欺诈 监测，到医疗行业的智能诊断和药物发现，再到零售行业的个性化推荐，大模型的应用正深刻 改变着传统行业的运作模式和价值链。
大模型发展的趋势趋势一：“Cloud+AI” 大模型与云的结合日益紧密
在信息技术领域，无疑地，云计算和人工智能（AI）大模型的快速发展正日益成为推动现 代社会进步的两大驱动力。特别是在中国和美国，这两种技术不仅诞生并蓬勃发展，还持续引 领着全球技术革命的浪潮。随着时间的推移，大模型与云计算的结合日益紧密，这种融合在推 动着科技界走向新的里程碑。
趋势二：“AI Everywhere” 大模型无处不在，成为企业数字化标配
在当今的数字化时代，大模型技术以其强大的数据处理能力和智能化水平，正逐步成为企 业数字化转型的标配。其广泛的应用不仅仅局限于传统的计算中心，更是与小模型、新终端以 及数据中台结合，共同构筑起一个多元化部署与互联互通的新生态，极大地深化了对数据资源 的挖掘与运用能力。
趋势三：“AI Native SaaS Rise” 大模型企业级市场崛起，向深度化、产业化、垂直化方向发展
大模型技术的崛起已成为推动企业级市场向深度化、产业化、垂直化方向发展的关键动力。 企业正越来越倾向于将这一技术作为核心驱动力，深入挖掘其在特定行业中的应用价值和潜力， 进而实现智能化升级与业务创新。
趋势四：“AI API First” 大模型功能性能力突破性增长
近段时间以来，大模型正在经历功能性能力的快速增长和重大突破，其中多模态、Agent 模式以及 Assistant API 成为了推动这一进程的关键力量。这些技术革新不仅扩展了大模型在 不同领域的应用范围，还为人机交互和应用开发带来了新的可能。
多模态技术的出现和成熟拓展了大模型的广度，让机器能够同时处理和理解文本、图像、 音频等多种类型的数据，实现了对人类沟通方式的更全面理解。这标志着 AI 从处理单一类型数据向综合理解不同数据类型的重大进步。多模态大模型在提升信息获取的全面性和准确性方面 展示了巨大潜力，极大地丰富了 AI 在自动化内容创作、跨媒体信息检索、以及增强现实等方面 的应用场景。
Agent 模式的崛起，成为人类与 AI 协作的一种重要方式。在这种模式下，AI 可以作为一 个个体（agent），拥有自我学习和自主决策的能力，在特定的环境中根据既定的目标执行任务。这不仅表明了 AI 的工作模式正变得更加智能化和个性化，也为人类提供了强大的助手，从简单 的数据分析到复杂的决策制定，AI Agent 能够有效地辅助人类完成各种任务，推动人机协作进 入新的阶段。
Assistant API 的推出，为开发者提供了全新的能力，大幅降低了开发门槛。通过简单的 API 调用，开发者可以轻松地将大模型的强大功能集成到自己的应用或服务中，无需深入了解 模型内部的复杂机理，即可搭建出智能化程度高、用户体验好的应用产品。这种开放的、低门 槛的开发方式，不仅加速了创新应用的推出，也让更多企业和个人能够享受到 AI 技术带来的红 利。
趋势五：“AI Cyber Security” 大模型更重视隐私和数据安全
随着大模型的广泛应用，对隐私和数据安全的重视程度日益增强。企业和研究机构正在通 过实施一系列措施，来加强对用户数据的保护，确保信息安全和隐私被妥善处理。这些措施的 核心在于构建一个有效、可靠的数据管理及隐私防护框架，确保大模型安全评估体系的全面性， 并解决 AI 工作的可解释性问题。
有效的数据分类分级制度成为奠定数据管理及隐私防护框架的基础。通过对数据进行系统 的分类和分级，明确不同类别数据的处理要求和安全标准，可以更加有针对性地制定保护措施。 这种方法不仅有助于提升数据处理的效率和精准度，也有利于识别和保护那些最敏感和价值最 高的数据，从而有效减少数据泄露和滥用的风险。
构建一套全面的安全评估体系对于大模型体系至关重要。这套体系应涵盖大模型训练、部署、 应用生命周期的各个阶段，从数据的收集、存储、使用到销毁等，每个环节都应进行严格的安 全审查和评估。通过定期进行安全审计、漏洞扫描和风险评估等活动，可以及时发现和修复安 全漏洞，强化系统的安全防护能力，减轻外部攻击和内部泄露的风险。
随着大模型应用到越来越多的场景，其工作的可解释性问题越来越受到重视。大模型，特 别是 transformer 的架构被认为是“黑盒”，难以解释其决策逻辑和过程。增强 AI 工作的可 解释性不仅有助于建立用户对 AI 决策的信任，也是确保模型公平、无偏见的关键。通过开发和 应用新的解释性技术和方法，让 AI 的决策过程更加透明，可以有效提升模型的公正性和安全性， 减少错误决策和偏差带来的风险。
金融级 AI 原生的平台架构
金融级 AI 原生的平台架构分为：智算设施、智算平台、模型服务和应用服务等 4 个领域。
智算设施（IaaS）：提供大模型所需的底层计算资源和基础架构的服务层，这些资源包括 但不限于服务器、存储、网络以及相关的数据中心设施。对于运行大模型来说，IaaS 层提供了 弹性伸缩性、灵活、高可靠性和安全性的基础设施解决方案，可以大幅简化模型开发和部署的 过程，加快创新速度。
智算平台（PaaS）：提供资源调度与任务管理、训练框架、推理框架以及数据服务。资 源调度与任务管理通过拓扑感知调度、多级配额资源模型、多种队列策略、配额间资源共享等 一系列核心能力，让物理算力集群利用率逼近理论上限。模型训练包括训练快照、训练时自动 容错和作业的重启、训练加速等功能。推理框架提供了模型兼容、推理加速、推理对抗和推理 监控等一系列功能。数据服务提供了向量数据库、图数据库和云原生数据库等数据服务。
模型服务（MaaS）：一站式大模型生产平台，提供从大模型开发、训练到应用的全套解 决方案。
全链路的模型训练及评估工具：全链路模型服务覆盖数据管理、模型训练、评估和部署等 关键环节。数据管理整合了离线和在线数据集，确保训练数据的质量和完备性。模型训练允许 用户选择各类开源大模型、多模态模型，并通过透明化工具监控模型状态。模型评估提供多种 资源，包括单模型和多模型对比，以对标行业标准。并提供一键化的模型部署功能。
集成丰富多样的应用工具：强调了开箱即用的特性，包括预置检索增强、流程编排、 Prompt 模板应用、插件中心支持接入企业系统、
基于大模型快速构建业务应用 agent：智能体中心，并为企业和开发者提供智能体 API 的 调用。其中，智能体应用包含支持 RAG、分析、创作等链路。同时，为保持开放性，整合并 优化了开源框架如 LlamaIndex，提供封装的原子级服务和 SDK。插件中心预设了多样插件， 并支持企业和开发者自定义插件，以提升大模型的调用效率。
多模态数字化应用
随着大模型技术的高速发展，尤其 OpenAI 发布“Sora”后，加速从自然语言向多模态大 模型的演进。多模态大模型不仅能够进行图像、视频的要素识别和场景提取，还可以根据提取 的信息创作出更多原创图片和视频；同时多模态在语音上支持人机交互语言接口，不需要转文字， 就可以在语境中识别复杂和抽象概念，加速智能客服拟人化服务和定制化服务效果。多模态大 模型已经开始在各种业务领域进行探索，例如：智能催收、智能客服、智能推荐和智能运营等 领域，随着多模态大模型与业务创新场景的持续性融合，展现其更高的用户粘性和商业价值， 必将开启了企业构建多模态数字化应用的新时代。
智能提醒：企业通过多模态大模型，将外呼语音通话进行识别和数据抽取，构建用户意图 和客服话术的知识库，同时通过语音特征分析，识别用户的个性化特征，并与用户特征知识库 进行比对和更新。在实时和离线语音交互过程中，通过规则质检和风控，确保人工或机器人的 回复符合领域规范，如果存在舆情风险，会提交人工复审，再进行知识库信息更新。如果符合 规范，将进入新一轮的智能语音交互，通过大模型判断历史交流的用户意图，结合用户特征， 进行个性化语音话术播报（例如：方言定制化），直至达到本通外呼目的为止。
智能客服：企业可以通过多模态大模型，将语音客服、私域咨询和售后交流的文字、图片 和视频信息进行识别和数据抽取，例如：将用户提交的保单、病例等进行识别和数字化，存储 到专属客服知识库和用户特征知识库，通过智能质检和风控，确保提交和回复数据的准确性和安全性。同时根据客户意图识别和个性化生成，满足用需要的回复或报告，再根据用户个性化 特征生成专属文字或语音和视频回复，最后根据用户评价和人工抽检，收纳知识语料。
智能推荐：根据企业业务场景和市场规划目标，通过多模态大模型快速生成文案，在公域 或私域传播，比如广告语、微博文章、微信公众号文章和抖音视频等，同时与多模态图片或视 频 AI 工具相结合，自动生成宣传海报、宣传视频等视觉内容，提升营销素材的生成效率。通过 自然语言交互或私域数据运营，为客户提供个性化的产品推荐和购买建议。根据用户特征数据 分析客户的需求、偏好、风险承受能力等信息，快速准确地推荐适合客户的产品，提高保险销 售效率和客户满意度。
智能运营：在企业和商户私域运营中，通过多模态数字化应用方案能够解决全链路高效运 营。在商户入驻时，通过多模态场景和内容识别能力，完成摊位门头照自动化审核，同时识别 商户和销售商品及价格；在商户运营中，通过多模态识别和生成能力，进行菜单初始化和商品 效果图生成，降低门槛和成本；在日常运营中，通过多模态营销文案、图片和视频的生成能力， 根据时节定制化营销文案和营销海报，以及宣传视频等，增加商户的收益和订单成交量。 多模态数字化应用基于企业外呼、客服、推荐、运营等多模态业务场景，与多模态技术的 丰富和灵活的 AI 服务进行结合，快速实现业务效果。通常调用这类多模型 API 可以分为三步骤：准备和优化输入提示（Prompt）、使用 API 进行模型调用、处理和展示结果。
Prompt 优化：明确通过多模态大模型实现什么样的任务，基于任务需求构建有效的提 示信息。对于文本任务，这可能意味着撰写清晰、具体的指令或问题；对于图像相关任务，则 可能包括选择适当的图像作为输入。通过实验和反复测试，找到最能引导模型输出期望结果的 Prompt 表达方式。调整文本提示的措辞或添加关键信息，改变图像输入的尺寸和质量。
Assistant-API 调用：选择 API：确定适合你任务的 API 服务。不同的多模态大模型可能通过不同的 API 提供服 务，选择合适的 API 是关键。准备请求：遵循所选 API 的文档准备请求。这通常涉及设置合适的 HTTP 请求头、选择 正确的 API 端点、准备必要的认证信息以及构建请求体。发送请求：将准备好的请求发送给 API 服务。这可以通过编程方式使用 HTTP 客户端库 或使用命令行工具完成。处理响应：对 API 返回的结果进行处理。这可能包括解析 JSON 格式的响应内容、错误 处理以及转换模型输出以便进一步使用。
结果召回展示：分析模型返回的数据，对结果进行质量评估。根据需要，可能还要进行 后处理，比如图像的裁剪或调整大小，文本的清理等。将处理过的结果以用户友好的方式展 示出来。根据应用场景，这可能包括在网页上显示生成的文本或图像、在应用程序内部展示 音频播放控件等。
报告原文节选如下：
本文仅供参考，不代表我们的任何投资建议。【幻影视界】整理分享的资料仅推荐阅读，用户获取的资料仅供个人学习，如需使用请参阅报告原文。返回搜狐，查看更多
责任编辑：
