AI助手资讯

为什么不少AI金融产品都很鸡肋？ 作者  周舟 金融科技这一行，存在两种「伪AI产品」。一种是温室花朵，产品性能在实验室和小数据场景中表现优越，然而一旦放在枪弹雨林的复杂业务环境中，系统立马崩溃。好比碰到欧美球队的中国男篮。二是画蛇添足式产品，很多IT问题，明明可以用简单、传统的技术方法就能解决，但企业非得让客户使用更贵、更复杂的产品。犹如高射炮打蚊子。金融行业到底需要什么样的人工智能？为此，雷锋网《AI金融评论》策划了「AI能否解决金融刚需问题」系列选题，借同一个话题，对不同背景的受访者、产品和客群各异的企业们进行采访，期望在不同的商业和技术认知下捕捉观点碰撞的火花。本系列选题的第一篇文章，由冰鉴科技CEO顾凌云讲述他眼中AI和金融之间的关系。以下为顾凌云的所感所想： 闻见鱼腥味儿的“鲨鱼” 90年代末，我在CMU计算机学院攻读博士，当时选择了AI作为研究方向。其实在21世纪的第一个十年里，人工智能从商用角度来讲，始终是阳春白雪，难以落地。直到深度学习爆发后，我才意识到，AI的时代要来了。于是在2015年，我创办了AI金融风控公司———冰鉴科技。「冰鉴」拥有上百家客户，其中也包括工商银行总行、中国银行总行等大客户，投标经历，不可谓不丰富。当年有一家国有行，在网上公开招标，这一赛道里的金融科技公司，听到这条消息后，都像嗅到了血腥味的鲨鱼一样。那次POC极其惨烈，一共来了29条“鲨鱼”。这29家公司中不仅有做人工智能算法的、有做IT系统的，甚至，连咨询公司都来凑份热闹。这么多公司只选出5家进入第二轮竞争，而「冰鉴」是这5家公司当中「技术标」第一名。当然，这并不意味着我们最终赢得胜利，后面还有竞争更为激烈的「商务标」。商场如战场，这5家公司中，有一家在圈内比较知名的公司砸了一个极低的价格。但幸运的是，这家大型银行的商务标的百分比调的没有那么高，技术标的百分比也调的没那么低。最后，我们争得了技术标和综合标的第一名，成功拿到了这一单。这是我印象最深刻的一次POC经历。当然，POC测试也好、投标经历也罢，要想成功竞标，拥有一支技术铁军，永远是第一位。 别把AI当成炫技的道具 管理一支卓越的技术队伍，最基本的原则就是，领导者能够清晰地定义问题，清楚地知道每一种AI方法的能力和边界。我之前听一些专家谈到这么一个观点，如果能用上个世纪的传统方法很好地解决问题，那就别轻易用最新的算法。其实在金融风控领域也同样如此，很多业务根本用不到先进的机器学习模型，一个简单的决策树或逻辑回归就能完成。但很多AI公司犯了一个比较致命的错误，认为凡事都该用前沿和复杂的方法。最后把AI这个实用的工具，弄成了炫技的道具。这非常可悲。AI不是一个筐，任何东西都可以往里装。从CMU读书到创办冰鉴科技，虽然一直都在和AI打交道，但我不认为AI就是放之四海而皆准的真理、不认为在任何场景下AI都可以应用地比现有的技术都要好。张口闭口谈AI，却对以往的信贷风控方法嗤之以鼻，那它基本不是一家AI公司。AI不是「排他型」的技术，不会一路走来像坦克碾压一样，把历史上所有的算法或方法都扔进垃圾桶。在我们做数据处理时，数据的来源越是繁杂、越是难以用人工分析，AI所发挥的功能越强。当每一个物理变量都非常清晰，我们为什么还一定要用AI画蛇添足？但是，这并不意味着企业要减少科学家团队的招募力度。根据我多年经验来看，搭建一个特别昂贵的机器学习团队，非常必要。冰鉴85%以上的员工是技术人员，很多来自CMU、MIT、斯坦福等高校，他们无论是工程师还是产品经理，撸起袖子就可写代码、整整领子便能谈商务。一家科技公司靠一个算法或者一个特别复杂的机器学习模型，就想长期领跑行业，几乎不可能。科技在不断变迁，研究的方向也在不断改变，一家公司能在某一技术领域领先其他对手6~9个月，就已经非常了不起。我认为，能够保证我们在最新的领域中始终保持自己独到的见解，甚至再进一步，引领行业新的研究方向，才是我们打造昂贵机器学习团队的最终目的。 “鸡肋”的人工智能 目前人工智能在金融行业中有着非常多的应用，企业也不断在拿锤子找钉子。但很多时候，AI在一些看似热门的应用领域，其实际效果并不理想。在计算机视觉当中，有个非常传统的研究领域叫OCR，说白了就是识别图片上的文字，然后提取出来，变成可编辑的文档。这些数据电子化后，我们做模型就会非常方便。听起来很简单，但实际操作却非常困难。如果OCR扫描的是高考试卷，哪里放照片、哪里写姓名、哪里填数字，每一张试卷的格式都一样，那么OCR可以很快捷的识别。但是如果每一张纸的内容不同，就很难处理了。每一次上法庭前，律师都需要准备大量的材料。每份材料都有相对应的观点，需要一一分类。这些事，全靠法律实习生或者实习律师，通过查阅浩如烟海的文献资料，归纳总结出来。律师事务所就在想，这些法律材料比如公司的营业执照、组织机构代码、财务文件、合同等等都是打印出来的图片。能否通过OCR将这些图片扫描，然后通过自然语言处理，找出相关内容，放到律师的观点下。这样律师上庭的时候， 不用自动归纳总结，用AI技术就可以轻松搜证。这是一个听起来，目前技术可以解决的问题。但是真正操作起来，即使用最好的NLP技术，50%的正确率也达不到。换言之，和扔硬币没区别，我扔硬币的准确率还50%。法务这样的一个场景，很多公司都在做，都希望赚钱，但实际上AI的实际应用效果一点都不好，而且价格高昂。你可以去任意一家律师事务所询问，有没有人采购这种可以轻松分析大量法律文件，归纳总结并拿去上庭的AI产品。一定不会有答案。 AI没能帮助律师事务所处理这个问题，实际上是因为底层的技术本身还不够强劲，从理论到实践还有很长的路要走。想要解决这个问题，AI企业第一要做的是将基础算法再往前推进一步，第二点是在数据采集的过程中，保证采集的数据更加清晰、干净。此外，在非常火热的智能营销领域，由于用户有多元化的需求，然而市场上的产品较少，导致推荐效果并不理想。我们的方法则是用很多跟AI相关的算法，对流量进行分层。一家公司不管好坏，只要购买了流量，我们就能根据非常有限的信息，对每一个客户进行一次用户画像。画像后，进行分层，分层后，对不同的人群和不同的流量，进行最优化，然后匹配。 让AI成为“鸡腿” 食之无味、弃之可惜，如何让AI这只“鸡肋”变成“鸡腿”，一直是金融和科技公司在思考的问题。银行需要一些客观的标准来鉴别哪家金融科技公司AI实力更强，随着合作的愈发紧密，甲乙两方也逐渐摸索出一套比较通用的技术指标。其中第一个标准叫「KS值」，KS是俄罗斯两位科学家的名字，因为两个人的名字太长，世界上没几个人能记得，所以把他们名字的第一个字母提取出来。这是一个用来衡量AI模型好坏非常通用的指标。另外一个指标叫「AUC」（Area Under Curve），就是在一条曲线下的面积到底有多大，在这个曲线下的面积越大，说明这个模型效果越好，反之模型效果越差。还有一个指标叫「F-score」，当准确率变得越来越高的时候，效果也会越来越好，可以把更多的坏人挡在门外。刚才讲了三个指标，但是如果你的模型覆盖率太低，那也没用。假如某个模型的目标是覆盖1000万人，即便你测试了1000人，达到了测试标准，但是这并不代表你的AI产品一定就是好的。此外，AI模型也是有时效性的，随着时间的变化，它的性能是否会大幅下降？AI模型在更新的过程中，是否需要大量时间和金钱？AI模型和银行的核心系统在对接的过程当中是否简易？AI模型本身是否做的很标准化？这些都是在技术指标之外，银行使用AI产品时，必须要考量的标准。金融业务十分复杂，每项业务所需要的AI能力也不尽相同。我们知道，人工智能的三大技术分支：计算机视觉、语音语义、机器学习，对实际业务的改善效果也各有千秋。计算机视觉在人脸识别、生物特征识别上应用的更多，具体到金融业务中，在支付方式上应用的就很广泛，现在很多人去商店购物都是刷脸支付；当你去银行或者证券公司开户，也普遍使用这样的技术。当一家企业开完户后，你如果要申请贷款或者理财时，语音语义（自然语言处理）所具备的舆情分析能力就变得很重要。计算机视觉、自然语言处理一般是应用在贷款过程中。贷款后，金融机构需要判断个人或者企业发展稳不稳定，是否能还钱。而机器学习算法本身就可以帮助金融机构决定谁先还款、如何还款。在贷后管理环节，还可以应用语音识别技术。利用人工智能客服，可以大大减少人力成本、提高效率。此外，教育客户什么是AI、怎么用AI也是非常重要的一点。我们的方式是联合建模，手把手地和客户共同完成一个项目。联合建模比咨询更进一步，大家肩并肩坐在一起，我告诉你我是怎么一步一步把这个模型建出来的，你跟着我用你的数据重复一遍，这种方法是教育不太懂AI的客户最好的方法。当然，银行在评估金融科技公司的产品时，也会有自己自有的一套指标或者方法。比如说某些消费金融机构，会执行一套客观的指标。以24小时、7天或者30天为一个期限，他们会时时刻刻监控模型的效果，一旦模型的效果超出规定范围，马上就会根据期限调整产品。即使你本身的模型效果很稳定，他也会每3个月做一次测评，每6个月做一次测评，每一年对供应商进行一次重新的测评和调换。通过这种方法来保证他们使用的产品，一直由最佳技术实力的公司提供。 我的一些思考 从业这么多年，我不断地在加深一个认识：科技和监管之间的关系到底是什么？很多人认为这两者之间是一对冤家，监管越严，科技公司发展得越困难。我觉得不是。监管本身跟谁都没有仇，监管是为了能够让金融和科技在合法、合规的框架中更好的发展。监管，实际上监管的都是金融机构，当然金融公司受到了影响，科技公司也会受到影响，但这并不意味着监管直接对科技产生了影响。大多时候，监管限制了金融机构的发展，却促进了金融科技公司的长远进步。没有监管，科技本身将裹足不前。因为没有监管，银行和金融机构赚钱太容易，从而不会在技术上有大规模的投入。但是，一旦有了监管，金融机构就戴了锁链，还想赚钱就必须提高自己的竞争力，而提高自己竞争力最好的方法是拥抱科技公司，所以最终监管暂时抑制了金融公司的发展，促进了科技公司的发展， 最终促进了两者的共同发展。监管的本质是良币去驱逐劣币，监管打击的是劣币，促进了真正的科技公司的发展。科技公司一般都比较前卫，研究的东西也比较新颖。人们于是认为科技公司开着一辆法拉利跑车，嗡地一声就开出去很远，监管可能还骑着一辆二八大杠的自行车，在后面追也追不上。实际上不会这样。因为「监管」在整个道路上面设计了网格化。网格化就是红绿灯、限速、停车等标志，跑得再快的法拉利，到了路口，也要停下来。红绿灯的时间由「监管」来调控，如果监管觉得科技可以跑得更快，就让绿灯亮的时间更长；如果觉得科技已经跑得太快了，有超速的倾向，监管可以将红灯的时间调得更长。最后，我也想对金融科技的创业者和优秀技术人才说几句话。如果你是悲观主义者，那就别再往AI金融行业里跳了，它早已不是蓝海，而是一片看不到头的红海，你还往里跳什么，即便你穿着救生衣，带着游泳圈跳进来，不淹死你，也能挤死你。如果你是乐观派，你们赶紧来吧，AI金融和其他所有行业比起来，属于近水楼台先得月，是离国民经济最核心的地方。在这样的行业中，对于科技的渴求是最强烈的，是最容易做出一番事业、最容易发挥我们技术人才聪明头脑的。推荐阅读封面图来源：电影《万物理论》

深度学习的强大之处在于，在参数化的神经网络里，工程人员可以实现任何复杂的变换。但是，数据与算法不安全性，就像是深度学习这项技术的阿喀琉斯之踵。 “几乎所有的AI企业都没有赚到钱，而根源问题在于人工智能技术本身的缺陷——数据与算法的不安全性。” 对于目前AI企业的生存困境，清华大学人工智能研究院院长张钹院士的这番话很直接。张钹院士向雷锋网《AI金融评论》说到，在AI技术驱动的产业中，全球前40个独角兽企业遍布了所有的领域，估值70亿到500亿之间。然而，这些独角兽都面临的问题在于：估值极高、销量极小，一家100亿估值的企业，其销售额不到一个亿。这不是国内知名学者第一次直陈AI产业的问题。事实上，深度学习的不可解释等“原生性”的问题，在目前看来，仍然没有很好的解决办法。即便是金融这样有着较高信息化基础、问题定义更加清晰的领域，再快的落地速度也掩盖不了AI的可靠性、安全性、可解释性等问题。 同时，银行等金融机构对数据的“敏感”程度和监管力度，让数据几乎没有离开本地的可能，不解决数据安全与隐私保护的问题，AI企业赋能金融的未来，也必然囿于数据孤岛之中。 诸多的AI企业，困在了“数据和算法”里。 深度学习的“阿喀琉斯之踵” 当前，AI基础设施建设的重心集中在数据平台、算力平台上，主要为各类AI解决方案提供基本的运算条件，为AI提供基础生产力，相当于是解决了AI的温饱问题。在这些基础设施的支撑下，数据和算力的快速增长作为“外部驱动力”，带动了AI产业在包括人脸识别、语音识别等领域的一波浪潮，驱动AI产业“第一增长曲线”的出现。但是，传统行业由于场景复杂和隐私保护等限制，真正可以使用数据往往并不充足，同时算力的增长也解决不了算法能力上限的问题。深度学习发展到今天，一个核心特征是神经网络模型变得越来越复杂，训练集越来越大。例如，今年最火爆的AI机器是GPT-3。GPT-3的网络层数可以达到96层，参数可以到1750亿，模型大小700G。经过了将近0.5万亿个单词的预训练，在不进行微调的情况下，GPT-3可以在多个NLP基准上达到最先进的性能。张钹院士表示，深度学习的强大之处在于，在参数化的神经网络里，工程人员可以实现任何复杂的变换。“换句话说，任何一个图像、文本输进去，都可以用参数化的神经网络将其变成所需要的结果。不管多么复杂，因为这是一个通用的函数映射。”但是，数据与算法不安全性，就像是深度学习这项技术的阿喀琉斯之踵。张钹院士表示，算法不安全的原因主要有三点：特征（伪语义）——语义空间映射是多对一；语义空间不是距离空间，是离散的层次空间；缺少语义的基于条件概率建模的“黑箱”学习方法；而这三点原因也决定了AI模型的推广能力很差。“马跟石头的语义距离很远，但是在形式空间里的距离又很近，形式空间里做出来的区别，不能保证在语义空间是安全的。这就是为什么AI模型非常容易受到干扰的攻击。这也就造成现在企业为什么难以做大做强，必须扩大应用产品的安全性和鲁棒性。”RealAI联合创始人刘荔园向AI金融评论表示，AI的可靠性、安全性不高带来的深层次问题在于无法应用到关键场景中的核心问题上，核心决策问题，一定对AI的这些要素要求非常高。她认为，用户并不是需要一个工程化的机器学习建模平台，而是不管有没有这个平台，都能知道业务可解释的点在哪里，保证模型上线之后是可控的。这是RealAI选择切入的市场。因此，RealAI想要解决的是各个行业的核心——“决策”问题，而要解决这样的问题，不单是需要提供算法能力，同时还有AI应用可控方面的因素共同支撑。这也就是清华人工智能研究院提出“第三代人工智能”的出发点。在2018年的CCF-GAIR峰会上，张钹院士就提出，今后发展的方向是把第一代人工智能知识驱动的方法和第二代人工智能数据驱动的方法结合起来，发展安全、可信、可靠和可扩展的人工智能技术，从而推动人工智能的创新应用。从这个角度来说，第三代人工智能技术体系，包括了贝叶斯深度学习、可解释机器学习、AI安全对抗攻防、新一代知识图谱、隐私保护机器学习等技术。就以贝叶斯深度学习为例，通过对变量之间的关系及神经网络参数进行概率建模，将数据和预测结果中天然存在的不确定性纳入算法，从而实现可靠、可解释的AI。清华大学人工智能研究院基础理论研究中心主任朱军教授评价到，它（贝叶斯深度学习）既有贝叶斯本身的可解释性，可以从少量的数据里边来学习；另外又有深度学习非常强大的拟合能力。 支付宝首席科学家漆远也曾向AI金融评论强调，AI发展方向之一，是必须成长为经得起攻击的博弈智能体，而贝叶斯机器学习就是将不确定性和小概率事件的研究，和推理能力、理解能力结合到一起，实现对AI对抗攻防能力的提升。 地平线机器人创始人兼CEO余凯也曾表示，深度神经网络其实更加适合做感知，而贝叶斯理论的核心是推理，只有从感知到推理才能到决策。因此，未来的AI发展需要拓宽“数据”和“算力”之外的维度，在相同的数据、算力条件下，更好的支撑AI赋能行业的深度应用，打开AI产业化全新的市场空间。 搭建AI的原生基础设施 近日，由清华大学人工智能研究院、北京智源人工智能研究院、瑞莱智慧联合主办的“2020第三代人工智能产业论坛暨瑞莱智慧RealAI战略发布会”在北京召开。本次战略发布会上，隐私保护机器学习平台RealSecure和人工智能安全平台RealSafe2.0版本相继发布，而发布这两款产品的公司——瑞莱智慧RealAI，则是一家从清华园里走出来的AI企业。瑞莱智慧CEO田天是清华大学计算机系博士，曾获评西贝尔学者，清华大学特等奖学金，为计算机系十余年间唯一研究生获奖者。他向AI金融评论表示，在应用中碰到技术难题时，我们不是见一个解决一个，修修补补；而是发现一个问题就看到一类问题，并通过底层技术框架、平台的突破，帮助产业进行升级。从全行业内来看，RealAI的出身和这种“平台化”打法，有些类似于国内的商汤：2001年，商汤创始人汤晓鸥教授一手建立了香港中文大学多媒体实验室，深入探索计算机视觉领域的研究工作，这间实验室的初创团队就是成立商汤科技的前身。RealAI则是依托清华大学人工智能研究院设立的人工智能企业，由清华大学人工智能研究院院长张钹院士、清华大学人工智能研究院基础理论研究中心主任朱军教授共同担任首席科学家。从研发背景来看，两者都拥有国内最顶尖的技术、人才资源。“学者型”特质的公司强在科研和技术能力，可以直接定位到AI产业发展的最前沿，而这类公司的最终目标是实现平台型产品的AI赋能，一旦成功，想象空间巨大。但是，除了“学者型”气质浓厚的创业公司，AI行业里还有诸多“接地气”的传统厂商。田天认为，渠道占优的行业厂商，是在传统解决方案的基础上加上一部分AI进行升级改造，进而快速实领域内的增量式提升。就以安防行业为例，无论是传统的安防企业诸如海康威视、大华股份，还是人工智能初创企业商汤、旷视等都在加大AI安防领域的投入。然而，如果AI能力不强或者只是实现一些“同质化”的浅层应用，在红海市场中会面临激烈的竞争。此外，AI在行业里落地，一大困难在于“应用场景的碎片化”，最终容易让创业公司沦为一个个的“项目制”公司，导致运营成本高居不下，难以实现技术和产品的高“复用性”。田天认为，正如社交领域的“微信”，电商领域的“淘宝”，平台型公司如果能选择一个好的方向，满足产业价值非常高的功能点，推广成本被摊薄后，成长速度会比聚焦在某个领域的公司更快。但是，走这条路线的公司，具备较长的布局周期和极强的技术和资源粘性，这对于一般的创业团队来说，是一个不小的挑战。 两款新平台：数据安全与算法安全 RealAI在这次发布会上共发布了两款新品，还是从数据安全和算法安全两方面入手。 首先是，隐私保护机器学习平台RealSecure。隐私保护机器学习平台：从“雕版印刷”到“活字印刷”数据安全主要涉及两方面：一是要解决隐私保护的问题，二是解决数据所有权的问题。 从实现第三代人工智能的思路出发，企业需要用更好的方法打通数据，保证数据隐私安全前提下最大化的挖掘数据价值。 这个过程中，受保护的、可用不可见的数据交互非常重要。在很多高价值商业场景，如金融、医疗、交通场景中，有价值的数据常常分散在不同的机构和用户手中，形成了大大小小的数据孤岛，明显制约了AI能力的提升。早在2016年，谷歌就提出了联邦学习的概念，可以实现“数据可用不可见”。近几年，在产学研的联合推动下，国内外诸多科技巨头，均已开始搭建联邦学习的研究与应用团队。国内也出现联邦学习、共享智能、知识联邦、联邦智能和异步联邦学习等多个相关研究方向，AI金融评论也以多篇文章和数次系列公开课，跟进隐私保护与数据安全的研究进程。RealAI所提出隐私保护机器学习与其同属一类技术范畴，但更强调隐私保护属性。不同于传统机器学习，隐私保护机器学习是分布式、密码学、人工智能三个领域的结合，这就意味着，企业想要做隐私保护机器学习，之前搭建起来的人工智能团队、经验等方法论不能直接拿来复用，需要重新搭建隐私保护机器学习体系下的团队与方法论。田天表示，重新堆人力将原有机器学习代码一点点的改写成联邦学习代码，这种方式显然并不落地，可落地的联邦学习平台，必须是与原有机器学习生态一脉相承的。而“一脉相承”有两层含义：一是算法的一脉相承，指机器学习算法与隐私保护机器学习算法应是继承关系，而非完全重构的关系，原有的AI算法积累，可以通过平台自动实现隐私保护化，实现两大生态的统一。二是应用的一脉相承，建模使用上需要符合原有数据科学家的建模流程，交互方式上既能支持UI的业务级一键建模，还可以支持以jupyter的形式建模，大幅度提高应用灵活度，让数据科学家能够以最熟悉的方式使用联邦学习。田天说到，数据科学家还是数据科学家，本地怎么建模、隐私保护就怎样建模，分布式、加密的工作全部一键自动完成。这也是RealAI推出隐私保护机器学习平台RealSecure（RSC）的两点考虑，据AI金融评论了解，这款平台是业内首款隐私保护AI编译器。以底层数据流图的视角揭示机器学习算法与对应分布式隐私保护机器学习算法的联系，通过“算子”组合将两端的生态打通，解决企业搭建隐私保护生态面临着的性能差、易用性差、黑盒协议等诸多难题。如何理解这里定位的“编译器”？田天解释道，在与传统处理方式相比，RSC能够将机器学习算法一键编译成隐私保护机器学习算法。“如果说此前的改写方式像‘雕版印刷’一样，RSC则实现了‘活字印刷’，将模型代码解构到‘算子’级别，通过算子的灵活组合来适配各种各样的机器学习算法，摆脱重复改写的繁琐工作，实现灵活‘制版’。”据AI金融评论了解，在底层编译的加持，以及融合密码技术与算法的优化，RSC能够实现性能的大幅提升。比如，在某实际风控场景中，RSC模型训练相比某主流国产开源框架性能提升40倍，耗时从4小时40分钟缩减至6分钟。人工智能安全平台：AI算法的“杀毒软件”现在，AI应用随处可见。目前市面上的手机均不同程度地配备了人脸识别方案；在公共场所，地方政府也已经部署了人脸识别摄像头，用于嫌疑犯追踪。最出名的莫过于“张学友的演唱会”，在2018年，张学友演唱会上就累计拿下了近80名违法犯罪分子。但是，随着人工智能规模化应用加速，其面临的安全风险也日益凸显出来。去年，RealAI就实现了通过一副印有特殊纹理图案的眼镜，解锁了他人的手机；针对安防监控的场景，通过穿上印有特殊纹理图案的衣服，就能逃过人体检测算法实现隐身。田天表示，目前，最广泛使用的深度学习技术，是通过查看数据集中许多的示例进行学习从而建立出模型的。与人类不同，深度学习模型没有可以利用的基础知识，它们的全部知识完全取决于训练的数据。当数据集中的数据被攻击者有意的操纵，植入秘密的后门时，模型就会学习到后门中的特征，比如图片中的向日葵。那么在实际运行中时，这个向日葵就会触发模型出错。解决人工智能安全问题的核心，在于理解为什么人工智能模型学习的模式如此脆弱。然而，对于广泛使用的最新机器学习算法（例如深度神经网络）是如何学习和工作的，人们了解得很少，即使在今天，它们仍然在许多方面仍是黑盒的。因此，RealAI推出了首个针对人工智能模型的“杀毒软件”和“防火墙”——RealSafe平台，一方面能够对模型的安全性进行全面检测，另一方面提供多种增强安全性的方案。在本次发布会上，RealSafe平台迎来2.0升级，在模型安全性检测方面，能针对对抗样本攻击，给出安全评分以及将检测场景从人脸识别拓展到了目标检测、图像分类外。此外，RealSafe 2.0还增加了模型后门检测功能，能够在不获取模型结构及参数等具体信息的情况下，分辨出仅在特定输入情况才会识别出错平时表现正常的被植入后门的模型。除了能够对安全性检测以外，平台也提供了安全性提升方案。 通过内置的对抗样本去噪方法，可以帮助用户在人工智能应用中，破坏掉攻击者恶意添加的图像噪声，使模型能够正常运作。 通过内置的对抗样本检测方法，可以帮助用户检测输入数据是否存在恶意添加的图像噪声，避免其进入人工智能系统的业务流程。 通过提供平台自动化生成的、能够使被测模型出错的对抗样本，帮助用户进行对抗训练，训练出更加鲁棒的算法模型。 目前，RealSafe平台已在工信部重大建设项目以及某电网公司落地应用。RealAI产品副总裁唐家渝表示，未来还将在RealSafe平台中集成更多安全风险的检测能力，包括数据逆向还原风险、成员推理风险、模型窃取等安全风险。虽然，AI算法界的“杀毒软件”这一说法由RealAI最早提出，但满足类似功能的产品在市面上也并非独此一家。比如，行业内早有一些人工智能对抗技术的工具包，例如foolbox、IBM的ART以及谷歌的CleverHans。田天认为，这些公司推出的技术，更多还是停留在学术研究阶段，还没有进入到商业应用的阶段。“很多学术机构发布的工具，是一种白盒的算法，如果要商用，要去检测某款AI系统的安全性，我们不可能要求对方把所有的源代码都给我们，他们会觉得更不安全。”因此，人工智能安全平台在提供检测方案的时候必须要具备“黑盒”的检测能力。据AI金融评论了解，RealAI目前在金融、工业、公共服务三大领域中进行布局。田天也向我们表示，这几大领域都有很好的机会，基本处于同步推进的状态。但是在落地速度上，金融领域会相对快一些。这也取决于金融业本身已有的信息化基础、金融问题的定义更加清晰。而在工业领域，由于这个行业的改造周期更长，项目推进的周期也更长。以金融场景为例，风控场景中数据有偏问题尤其突出，如何评估没有贷后表现的拒绝客群、挖掘其中的优质客户一向是行业难题。RealAI利用自研的半监督回捞模型，提高对拒绝客群质量的识别能力，实现捞回客群与原风控放款客群风险一致下，帮助金融机构无成本提升20%的资产规模。刘荔园也向AI金融评论透露，很多金融机构已经在使用黑盒模型，但是金融机构还是希望在可解释性上更进一步。“这个机会不仅仅是留给第一波吃到螃蟹的人，而是让更多的用户能够更安心、更大面积的使用这些模型。”田天说到，“短期内，我们需要做出一些效果突出的行业解决方案；长期来看，我们希望逐步把生态体系打造出来，对AI赋能所需要的各方面能力（算法、数据）进行集成，让解决方案提供商完成一系列AI应用的搭建，这个能体现出我们作为一家平台型公司的价值。” 推荐阅读