AI助手资讯

新智元报道   编辑：编辑部【新智元导读】专业数据分析师要危了！国产首款金融数据分析AI诞生，数秒即可完成PB级金融数据「海底捞针」，普通用户无需编程就能搞定数据分析。在探索人工智能领域的浪潮中，针对个人消费者C端的AI解决方案的实际落脚点，似乎依旧沿着一条较为狭窄的路径发展。美国著名科技风投机构a16z最新的研究报告透露，当前市面上颇受欢迎的五十种C端AI产品，主要集中于视频、音频、图像和文本处理的智能工具领域，这一趋势反映出面向C端的应用依然有待进一步拓展和深化。在此背景下，国内AI创新企业功夫源科技重磅推出「功夫量化」AI应用，这是针对金融行业的一次跨越性进击。它能够在PB级金融数据海洋中，以秒级速度进行精准的信息搜寻，国内首款面向普通投资者的AI金融数据分析产品。其核心竞争力在于它能够对繁杂的数据进行深度筛选，洞悉背后的价值信息，并据此生成新的、有力的洞见，帮助用户做投资决策。在过去，进行这类复杂的金融分析通常要求分析师具备高级编程技能，并需要在专业金融数据库上执行一系列开发工作。而现在，借助功夫量化的AI技术，即使用户不具备编程能力或使用专业工具的经验也能轻松进行分析。他们只需通过免费的小程序或桌面客户端，以类似ChatGPT的问答形式，即可实时获取所需的分析结果。例如，用户可以轻松查询：「今年3月每天收盘前30分钟逐笔成交数量最多的股票」「中国石油和上汽集团在今年1月3号开盘后10分钟内每分钟逐笔成交数之差」「2024年宁德时代三十分钟内涨幅超过1%的随后五分钟的涨跌幅度」 小程序版：手机端亦可轻松获取TB级数据的AI测算，洞悉市场秘密 桌面客户端：市面上唯一基于l2数据进行因子研究和因子生成的AI计算工具这种能力让普通投资者也能深入挖掘那些曾经只有专业数据分析师才能触碰的深层信息，自由探索数据海洋中的线索，从而揭示新的投资和交易机会。而这对于那些习惯于通过复杂算法和策略来寻求盈利的股票操盘手和期货交易者来说，无疑将面临工作形态与流程的变革——过往，他们可能需要依赖IT开发者或数据分析师来实现复杂策略，如今，在AI的帮助下，他们能够独立完成这些任务，这大幅提升了工作效率，也为他们的决策提供了更直接、更精确的支撑。产品一经推出，已经有金融从业者调侃并感叹，又一波失业大潮要来了！ AI能力强，还需优质数据打底 目前，功夫量化已经为用户提供了覆盖国内全市场的金融市场Level2数据。这种数据的深度和广度，使得用户不仅能够以更高精度分析市场动态，还能更精确地分析市场动态并制定相应的交易策略。Level 2数据的稀缺性和价值体现在其提供比传统市场数据更丰富的交易层面信息，包括订单簿的所有买卖报价级别，这是洞察市场供需状态、预测价格走势并把握交易时机的关键因素。在数据服务行业，Level 2数据往往价格不菲，通常超过10万元人民币，且对于终端用户来说，其使用不仅停留在昂贵的获取成本上，还包括了必要的存储和计算基础设施的搭建。这一系列的技术和财务门槛，自然将许多个人用户和小型机构排除在外，传统上，只有资金雄厚的机构才能够应对这样的成本投入。针对于此，功夫量化团队所开发的全新无服务架构改变了这一局面，通过云计算平台提供弹性算力服务，使得用户无需前期投资即可实现数据的即时在线处理和分析。通过这种创新模式，高成本的数据服务以更加亲民的方式呈现给了C端用户，同时保持专业级的数据处理能力。不同用户之间的计算任务完全隔离在各自的沙盒内，这不仅保障了数据安全，也确保了高并发环境下的优良用户体验。功夫量化团队的产品经理透露，除了现有的Level 2数据，今年内还将进行一系列的数据升级，包括添加基本面数据、另类数据等多种数据类型。这些升级将帮助用户在功夫量化产品内获得更加完整的市场图景。 金融版的特征工程，因子计算创新应用 在机器学习的应用过程中，特征工程是确保模型有效性的关键步骤。在金融行业，这一概念对应着因子的提取和使用，这些因子常常是投资决策和量化策略的基石。针对这种场景，功夫量化还特别推出了基于因子计算的AI Infra—高性能金融因子工厂，支持用户通过功夫量化的先进无服务算力设施来自定义和部署因子计算任务，进而提高金融分析和交易策略的精准度。并通过开放式的API在其他系统内连接使用计算结果。高性能金融因子工厂特点如下：自定义因子计算：用户可根据个人或机构的特定需求，自定义因子计算逻辑。为投资策略带来了极大的灵活性和针对性，满足每个市场参与者采用其独到的视角和策略。无服务算力设施：功夫量化的无服务架构允许用户在虚拟化的隔离环境中运行因子计算任务，无需担心底层硬件的维护和升级。这种云基础设施支持高弹性和可扩展性，确保了计算资源的即时可用性和高效执行。开放式API接口：通过开放式API，用户可以轻松地将因子计算结果集成到其他系统中，无论是内部的交易系统还是外部的分析工具。这种高度的互操作性极大地增强了因子应用的灵活性和广泛性。以上三点共同构成了强大的运营壁垒，为用 户提供个性化、低维护和高度互联的量化交易解决方案的同时，也为商业模式创新奠定了坚实基础。 在特征工程领域，国外已经出现AI基础设施独角兽，例如Tecton就为机构用户提供通用的数据特征管理基础设施。 相比之下，功夫量化专注于金融行业，提供了更为定制化和行业特定的解决方案，包括专业数据、定制工作流集成、交易执行无缝衔接等特点。 同时通过功夫量化特有的产品设计，使得这些功能既能满足专业投资机构的需求，也能完全开放给个人用户自由使用。 AI加速，全能交易Agent即将到来 功夫量化的未来发展计划表明，他们致力于将人工智能功能更全面地融入金融交易的各个环节，从数据分析到实盘交易。这种全链路的AI增强不仅将改变传统的交易方式，还预示着AI在金融领域应用的新纪元。不久后的功夫量化平台将通过高级的用户界面和自然语言处理技术，使用户能够直接与系统对话，描述他们的交易需求和目标。AI Agent将解析这些需求，自动执行以下步骤： 分析数据，识别关键因素 自动生成策略代码 在高精度的回测系统上测试策略 可视化展示回测结果 自动筛选并推荐最佳交易策略 这种交互方式将极大地简化用户的操作流程，降低进入门槛，使金融交易更加智能化和个性化。 别具一格的技术创新型团队 自2017年成立以来，功夫量化团队始终保持一个精练而高效的团队规模。尽管团队成员仅有三十人，但他们覆盖了包括核心研发、产品设计、质量测试、运营管理以及商务等各个职能领域。这种全面而紧凑的团队配置使得功夫量化能够灵活且高效地处理复杂的任务和项目，并且具备同时交付面向大型金融机构的专业软件项目和面向C端用户的大规模在线服务的能力。功夫量化创始人董可人本科毕业于清华大学计算机系，并于利物浦大学计算机系取得博士学位，在多年以前就在知乎等知识平台上凭借在量化交易领域的专业知识获得过大量关注。团队内的其他成员也都非常稳定，创始成员们已经有近十年的合作经验。董可人是早期知乎上金融领域前十答主，也是国内最早的量化布道者在传统金融技术领域，多数团队由于对稳定性和安全性的高需求，往往采用了较为保守的技术栈。与此形成鲜明对比的是，功夫量化团队展示了一种创新的技术实施策略和研发流程，这不仅使他们在技术前沿保持领先，同时也确保了产品的高性能和高稳定性。功夫量化团队在其开发流程中集成了如GitHub、Airtable、Zapier、Hookdeck等工具，这些工具支持高效的代码管理、项目管理和自动化流程。通过采用这些前沿技术与工具，有效缩短开发周期，并同时保持软件质量和稳定性，这使得功夫量化能够仅维持少量人力的情况下即可同时支持专业软件交付和运营大规模在线服务。 One More Thing：开源项目 由于行业内高强度的竞争属性，金融业的交易者除了关注策略能力，也非常关注交易执行环节的系统性能，需要尽可能的降低交易信号执行时的系统延迟，才能确保自己获得更好的交易机会。功夫量化在业内一直以来都以极致的低延迟系统性能为知名，不仅在性能上表现出色，更是开源理念的推行者和贯彻者。除了提供系统核心组件的开源代码，功夫量化团队还打造了完整的在线开源站点（www.libkungfu.cc），提供详细的文档、版本管理、预编译的安装包下载等多项支持。 功夫量化开源站提供了详细的版本追踪、文档和产品下载信息在GitHub上提供的开源仓库，已经收收获3K+加星： 项目地址：https://github.com/kungfu-origin/kungfu 尽管高性能的交易核心系统有很高的商业价值，但功夫量化团队采取了一种在金融科技领域相对少见的开放策略，并采用了开放性极高的Apache License 2.0协议，不会限制用户基于代码进行商业开发。据了解，在竞争激烈的量化私募行业，已经有相当多的公司基于功夫量化的开源产品来打造自己的核心系统，其中也不乏大型头部机构。功夫量化提供的SDK和插件化包管理机制极大地简化了开发人员创建定制交易终端产品的过程。这种高度模块化的设计使得开发者可以轻松集成AI、数据服务、因子计算等功能，而不必从零开始构建。通过功夫量化提供的API，用户只需少量的开发工作，就能实现跨平台、带有图形界面的自定义产品，并且支持Python、JavaScript、C++等多种开发语言，灵活度爆表。最后，想要体验功夫量化的最新产品，可以直接点击下方小程序，赶快来试一试吧： 参考资料： https://www.kungfu-trader.com https://libkungfu.cc https://github.com/kungfu-origin/kungfu

arXiv论文首页截图 这篇文章介绍了BloombergGPT，这是一个针对金融领域的大型语言模型，文章从多个方面对BloombergGPT进行了全面的介绍和分析。BloombergGPT通过其优秀的性能、精心筛选的数据集、先进的模型架构、有效的训练过程和全面的评估方法，展现出了在金融技术领域具有巨大潜力和广阔应用前景。 1. **模型性能**：    BloombergGPT在金融任务上表现出色，通过在大量金融数据上进行训练，该模型展现出了强大的语言理解和生成能力。与其他语言模型相比，BloombergGPT在金融领域的特定任务上取得了显著的性能提升，这表明其在金融领域具有独特的优势和应用潜力。 2. **数据集**：    为了训练BloombergGPT，研究团队使用了多个金融数据集，包括财经新闻、公司报告、市场数据等。这些数据集的精心筛选和整合确保了模型在金融领域的训练数据具有高度的相关性和多样性，从而提升了模型在金融任务上的表现。 3. **模型架构**：    文章详细介绍了BloombergGPT的模型架构，包括自注意力机制、层归一化、前馈神经网络等关键组件。这些组件的结合使得BloombergGPT能够有效地捕捉金融领域的复杂语义和关联信息，从而实现在金融任务上的高效表现。 4. **训练过程**：    在训练BloombergGPT时，研究团队采用了先进的训练策略和技术，确保模型能够充分利用大规模金融数据进行有效学习。通过精心设计的训练过程和优化算法，BloombergGPT得以在金融任务上取得优异的性能，并展现出对金融领域特定问题的强大适应能力。 5. **评估方法**：    为了评估BloombergGPT的性能，研究团队采用了多种标准的金融任务和基准数据集。通过在这些任务上进行全面的评估和比较，可以客观地评价BloombergGPT在不同金融场景下的表现，并为进一步优化和应用提供参考依据。

本报记者 蒋牧云 何莎莎 上海 北京报道 数据作为新型生产要素，其重要性在金融机构运营中愈发重要。然而，多位业内人士告诉《中国经营报》记者，数据管理涉及数据的采集、存储、处理、分析和保护等多个环节，需要专业的技术支持和高效的IT系统。此外，在处理数据时，金融机构必须遵守严格的法规要求，确保数据的合法性和合规性，这进一步增加了数据管理的复杂性。 这一背景下记者也注意到，快速更新迭代的人工智能技术正在帮助金融机构进一步完善数据管理。如通过AIGC技术进行智能数据盘点、自动生成脚本等，大幅提升了管理效率。 不过，在采访中多位业内人士也都指出，金融机构数据管理仍面临不少挑战，比如目前数据质量和数据来源参差不齐，需要投入大量资源进行数据清洗和验证。 安全与降本增效成为重点 “数据二十条”、《“数据要素×”三年行动计划（2024—2026年）》发布后，国家数据局以及各省数据局接连揭牌与成立。在一系列政策推动，以及数字化大背景下，金融机构对于数据管理愈加重视。近期，国家金融监督管理总局也发布了《银行保险机构数据安全管理办法（征求意见稿）》，旨在规范银行业、保险业数据处理活动，保障数据安全，促进数据合理开发利用。 市场聚焦的重点方面，根据不久前沙利文联合头豹研究院发布的《2023年中国数据管理解决方案市场报告》，目前市场上的数据管理解决方案技术动态围绕增效降本与数据安全两大主题进行，以加强解决方案与企业数据管理能力可持续发展建设的匹配度，提高解决方案落地效果。 具体而言，通过数据的开发、治理等，能为金融机构带来什么，其中又有哪些难点？北京社科院副研究员、数据资产化研究院执行院长王鹏告诉记者，通过数据开发可以揭示出客户的偏好、市场的趋势以及潜在的业务机会，从而推动金融产品和服务的创新。通过对数据的深入分析，金融机构可以构建更精细的风险评估模型，以更好地识别、评估和管理各类风险。此外，有效的数据治理可以确保数据的质量和准确性，减少错误和重复工作，从而提升内部运营的效率。 不过王鹏也表示，金融机构在数据管理方便尚存在不少难点，比如数据管理涉及数据的采集、存储、处理、分析和保护等多个环节，需要专业的技术支持和高效的IT系统。在处理数据时，金融机构必须遵守严格的法规要求，确保数据的合法性和合规性，这进一步增加了数据管理的复杂性。与此同时，数据管理需要跨部门协作和全员参与，但不同部门之间可能存在数据壁垒和利益冲突，这会影响数据管理的效果。 一系列背景下，人工智能的迭代与升级给数据管理带来了更多可能性。根据沙利文联合头豹研究院发布的《2023年中国数据管理解决方案市场报告》，早期自动化与智能化的实现主要基于预设的规则与模型，能够一定程度上减轻数据管理团队的压力，但可实现的功能与影响的范围还很有限。随着 AI 技术提高，可实现的智能化功能得到扩展，如预测性功能、自适应功能、自然语言理解相关功能等，这些功能不仅能够让企业进一步减轻团队压力，更好地进行数据洞察，降低数据管理运维成本，还能够降低数据使用门槛，扩大数据使用对象范围，从而助力企业同时解决技术落地与组织协作的问题，让数据变得能用、好用、易用，使数据能够真正地赋能企业业务发展。 王鹏也向记者表示，人工智能技术在金融领域有多个应用场景，比如智能数据分类与存储，AI可以自动识别和分类数据，将其存储到合适的位置，便于后续的分析和使用；数据清洗与预处理，AI可以帮助自动清洗数据中的错误、重复和冗余信息，提高数据质量；以及智能数据分析与预测，AI可以构建复杂的数据分析模型，进行市场预测、风险评估等高级分析任务等。王鹏进一步表示，AI可以自动化处理大量数据，大大提高了数据处理的效率，在减少对大量数据分析师需求的同时，降低了人力成本。而AI的数据分析可以提供更准确、更深入的洞察，支持更明智的决策。 应用水平逐步提升 目前AI技术是如何在金融机构的数据管理中落地的？ 在数据资产盘点场景上，中国光大银行数据资产管理部潘学芳在不久前公开的刊文中提到，目前，商业银行的数据资产盘点基本采用“自上而下”或“自下而上”方式开展，主要是通过人工梳理和标注的方法，对全量的数据资产进行摸底盘点，工作过程面临投入人员多、工作量大、时间长，以及更新不及时等问题。随着AIGC技术的兴起和广泛应用，则为智能化盘点数据资产带来了新的思路与方向。 具体而言，通过利用AIGC技术，配合专家规则与增量学习，能在一定条件下实现智能化盘点。通过在样本集中应用“非监督机器学习LDA模型+专家规则”的方法生成带标签的样本数据，极大地降低了人工标注样本的工作量。比如一个10万级别的样本数据集，仅需人工标注1万—3万，人工工作量减少70%至90%，大大减轻了人工工作成本。同时，基于“增量学习+经验池”的方法使得数据资产管理平台积累的用户反馈信息代替模型更新所必需的人工调参，实现了模型的自动更新维护。 中小金融机构方面，有业内人士向记者指出，对于部分中小金融机构而言，由于拥有独特的个性化差异。一方面受到资源限制无法直接进行全体量科技投入，另一方面也需要保持自身特色进行针对性发展。为此，在设计相关数据管理产品时需要着重轻量化并明确机构的定位及战略规划。 记者了解到，近日，神州信息（000555.SZ）“六合上甲”一体化数据智能开发平台成功中标陕西农信数据门户及数据资产管理平台建设项目。该平台融合了AIGC技术，为金融机构实现数据管理和各类应用场景提供数据开发、治理、分析等全链路解决方案，在大批量离线数据开发等领域采用自动生成脚本方法，并可自动生成单元测试脚本。同时还引入了离线数据开发脚本自动生成、流批脚本自动生成、测试脚本自动生成、自动测试和数据资产目录自动编排等技术。 神州信息方面表示，公司充分考虑陕西农信现有系统、数据资产以及业务应用的开展现状，基于不同视角构建多层次、多维度的数据资产体系，建立了数据资产目录框架。通过对陕西农信数据现状的调研，建立元数据、指标数据、数据标签、数据质量、数据服务接口等盘点规范，形成满足业务与技术要求的存量数据、新增数据的盘点方法，并以此为基础完成数据资产盘点工作，使数据有效汇聚，保障数据的一致性。按照数据安全管理要求，完成数据资产的分级分类管理，同时建立数据资产互联互通模式运营机制，实现数据门户及数据资产管理平台与DevOps（开发与运维）平台对接融合。 也需要注意的是，金融机构在数据管理过程中仍存在不少挑战。前述报告中就指出，一方面，企业加强了数据管理技术落地实践，数据管理水平正在逐步提高；另一方面，企业也面临着技术落地后仍无法充分将数据价值释放的问题，这主要源于企业在数字化转型过程中，需要带着现有 IT 架构、组织架构进行技术迭代，一味地追求新技术而没有考虑企业固有属性，会导致无法将数据价值与公司业务发展连通，如技术复杂化加重数据孤岛、技术复杂化扩大数据团队与业务团队的沟通成本等。 神州信息首席数据官黄万忠在此前的公开演讲中也提到，数据治理（管理）的起点是数据的来源和采集，目前的数据来源仍然是比较割裂，比如不同的数据属于不同的机构或者不同的版块，并没有打通；其次是数据质量有待提升；第三，数据治理是需要金融机构通盘考虑的战略层面的问题，不单单是某个系统、某个方案或某个部门的事情；第四，做数据治理也应该自下而上，以机构的业务为导向。 传播星球APP联合创始人付学军则补充道，金融机构对于数据管理的要求是在不断提高的，机构需要更高效、更安全、更智能的数据管理方式，以满足不断增长的数据需求。同时，随着数据规模的扩大和复杂性的增加，数据管理的难度也在增加，因此金融机构需要不断优化数据管理策略和技术，以应对这些挑战。这可能包括采用更先进的数据存储和处理技术、加强数据安全和隐私保护措施、提高数据质量和准确性等。此外，金融机构也需要建立完善的数据管理制度和流程，以确保数据管理的规范化和标准化。

来源：环球网 【环球网综合报道】4月11日，以“数创未来，智慧金融”为主题的2024华为金融创新数据基础设施峰会在重庆召开。在本次峰会上，华为数据存储产品线总裁周跃峰面向金融行业正式发布中心AI、边缘AI、AI数据保护、AI数据湖四大解决方案，助力金融行业加速拥抱AI，构筑AI时代可靠数据基础设施。 华为公司副总裁、数据存储产品线总裁 周跃峰博士 AI大模型的飞速发展，带来金融行业服务场景和商业模式的变革，金融数据资产的价值将被充分释放。在此过程中，金融行业数据基础设施的建设面临三大挑战： 首先， AI大模型集群规模已迈入万卡、十万卡时代，大集群带来更加频繁的集群故障，重复的数据准备、断点续训导致算力资源闲置，集群利用率不足50%。此外， AI大模型中包含大量高价值数据，更易成为勒索病毒攻击或样本投毒的目标，存在极大数据安全隐患。最后，缺数据、无AI，如何管理好、用好数据资产，成为AI发展的先决条件。 为应对以上挑战，华为发布系列AI创新解决方案，帮助金融客户构建安全、可靠、开放的AI数据基础设施，面向中心AI、边缘AI等多个场景，使能金融行业业务创新。 面向金融行业中心AI场景，华为推出中心AI方案：打造AI集群系统（ACS，AI Cluster System），通过集成一站式数据处理工具链框架eDataMate、模型使能工具ModelMate、应用开发接口框架AppEngine、NPU虚拟化、容器、昇腾算力使能软件CANN与MindX及高性能OceanStor A 系列专业AI存储，充分发挥存算网协同优势，实现统一管理运维，有效提升集群可用度30%，打造AI中心系统级最优方案。中心AI集群系统极具开放性。开放支持第三方数据处理，开放支持百模千态，赋能各AI应用开发伙伴。 面向金融行业边缘AI场景，华为推出边缘AI方案：FusionCube A3000训/推超融合一体机内置数据处理工具链框架eDataMate，实现多元数据快速归集，加速知识生成；内嵌RAG，实时更新推理业务知识，消除大模型幻觉，满足百亿参数精准推理要求；搭载DME管理软件，统筹管理存算网等基础硬件及软件平台资源；预置AppEngine、MindSpore等算力使能软件，加速AI应用开发上线周期。华为FusionCube A3000积极与各模型厂商合作，加速AI技术商业变现。 面向金融行业AI数据保护场景，华为推出安全、高性能的AI数据保护方案：通过部署DME数据管理引擎，精准识别AI集群中的各类风险，实现对AI集群的精准安全策略管理；通过在存储集群中部署OceanCyber数据安全卡，对写入数据进行熵值分析，实现对勒索攻击的事前、事中、事后全流程侦测分析，勒索攻击侦测准确率高达99.9%；通过部署OceanProtect备份一体机，对关键数据进行高效备份，实现数据秒级恢复，防篡改、防勒索，保障AI训练数据高可靠、业务不中断。 最后，面向企业全域数据管理的挑战，华为推出AI数据湖方案：对AI集群系统（ACS）中的存储集群能力进行增强，基于OceanStor A系列存储集群与OceanStor Pacific系列海量存储集群的智能分级能力，DME内含的GFS全局文件系统能力，实现企业全域数据资产可视、可管、可用。 华为中国区金融系统部总经理陈林表示，AI在金融行业的应用逐渐深入，坚实灵活的数据底座日益成为AI创新的基石。华为致力于通过数据存储产业积累，使能金融行业AI大模型应用、数据安全、数据管理能力建设，并与广大客户及伙伴紧密合作，共同建设一个更安全、稳定、高效的金融存力生态系统，助力金融行业打造创新数据基础设施。 AI为创新金融服务提供动力，华为数据存储打造面向中心AI的AI集群系统，面向边缘AI的FusionCube A3000训/推超融合一体机，全面的AI数据保护方案以及实现全域数据资产可视、可管、可用的AI数据湖方案，助力金融客户构建AI Ready的数据基础设施。