文章主题:自然语言处理, AI模型, 机器学习, 深度学习
每经记者:文巧 每经编辑:高涵
图片来源:视觉中国
ChatGPT继续在人工智能领域引发关注。虽然谷歌在过去两年中因审慎立场未能推出Bard,从而让OpenAI抢得先机,但作为硅谷的领军企业,谷歌从未缺乏挑战权威、后来居上的决心和实力。
在3月6日的某个时刻,一支由谷歌和德国柏林工业大学联合组成的AI研究团队,成功揭示了历史上最大规模的视觉语言模型——PaLM-E。作为一种独特的多模态具身视觉语言模型,PaLM-E的诞生标志着视觉和语言的集成将正式进入机器人控制的领域。
一条令人振奋的消息在AI投资领域激起了火花,那就是刘天杰这位在AI投资圈耕耘多年的资深人士。作为华映资本的董事以及AIGC领域的一线投资人,刘天杰的眼光独到。早在去年下半年,由ChatGPT模型前身GPT3驱动的恋爱应用——AI聊天软件Replika便吸引了他的注意。这一事件使得刘天杰深刻地认识到,基于NLP(自然语言处理)的AI模型已经相较于过去发生了显著的变化。
在接受《每日经济新闻》记者的采访中,他强调道:“我们意识到,PaLM-E已经在与现实世界产生一定的互动效果。”有趣的是,正如他所预见的那样,由ChatGPT引领的道路歧义非常明确,他关注的重点在于未来各个领域更多可能的AI赋能应用,如SaaS、RPA(机器人流程自动化)以及机器人技术等。
自从ChatGPT及其相关API面世以来, behind the scenes of this massive model has attracted a swarm of startups. According to Liu Tianjie, this surge in AI development is fundamentally different from the Metaverse and Web3, as the internet ecosystem has been rebuilt. However, in the chaotic market, many projects were merely “hype-seeking”, and only those with authentic user base and a deep understanding of user needs can survive.
ChatGPT出圈,多领域创业者拥抱大模型
在2022年的下半年,一款名为Replika的人工智能聊天软件在全球范围内引起了人们的极大关注。令人惊讶的是,用户与AI聊天的时间越长,AI就会越了解他们的喜好、习惯以及情感,甚至能够捕捉到用户的语气变化。更为有趣的是,该软件的创始人在接受采访时表示,有大约40%的用户在与AI建立起了恋爱关系。
Replika是一款以OpenAI的GPT-3大模型为基础的聊天软件,这也是ChatGPT基于的GPT-3.5模型的前身。不久之后,刘天杰便注意到了这个新兴的应用。他察觉到,基于自然语言处理(NLP)的AI技术相较于以往已经有了显著的提升,因此他开始关注该领域的发展及投资潜力。
随着ChatGPT的公布,以及GPT-3.5 Turbo的API开放,AI的浪潮蔓延到各行各业,市场对此的反应可以用“狂欢”二字来概括。在刘天杰看来,实际上,开放API是符合预期的,这个项目原本就是开源的,此前也已经有很多人在用GPT3或者GPT-3.5的开源代码来做应用。
ChatGPT 的迅速崛起显然超出了他的预期。在整个人工智能生成领域 (AIGC) 中,目前中国正处于一个风起云涌的时期。相比之下,硅谷的风暴则更为猛烈,因为那里的几个大型语言模型已经相当成熟,至少有数百项来自美国的相关项目正在涌现。
“(ChatGPT)确实加快了公众对于AIGC或者AI领域的关注。但是,这条路进化到今天并非一蹴而就。包括ChatGPT的基础模型Transformer,实际上也是2017年就提出来了。”刘天杰告诉《每日经济新闻》记者,“从2017年到今天,大家一直在做大量的工程化工作。到今天ChatGPT有这个成绩,跟之前多年的积累是息息相关的。”
他向每经记者透露,目前看到的创业者其实不仅仅是AI领域的,其他很多领域也在开始拥抱新的大模型以及新的AI能力。
“我们更多地会把这个领域定义成AI+,而不是AIGC。意思就是,利用AI赋能给各行各业。我觉得未来这将是(所有公司的)一个基础能力。”刘天杰说道。
OpenAI用低价策略构建“AI飞轮”
OpenAI在ChatGPT上的脚步显得非常主动和激动。大热刚刚3个月,ChatGPT API就高调上线了。这个API由GPT-3.5 Turbo模型支持。HerAI App的开发者王绍此前告诉《每日经济新闻》记者,接口服务定价大约是3分/1000个汉字。这一定价较GPT-3.5模型便宜90%。
“Turbo就是加速的意思,它的反应速度是要比ChatGPT要快很多的。从底层算力上看,其实没有发生太大的变化。但成本降低、反应速度提高,这只能说明一件事,就是GPT-3.5 Turbo模型实际使用的参数相比ChatGPT下降了。”刘天杰说道。
他随即向每经记者解释,“比如说,你有1750亿个参数,但是你喂给它的训练集很小,也训练不出效果,会导致大量的问题,我们称其为过拟合。所以,参数大意味着训练集要足够大。但是,参数越大并不意味着模型的表现越好,越能理解人的语义。恰恰相反的是,现在大家都想用更少的参数训练出一个更好的大模型。”
为什么GPT-3.5 Turbo能在更小的参数上实现更好的效果呢?“实际上,ChatGPT已经积累了大量用户使用的实际对话集,这些对话集相比OpenAI使用无监督训练的语义集,要更准确、更高质量。”刘天杰说道,“因为,用户实际使用的对话中有上下文、有反馈,收集这些数据后再去训练模型,新的模型就会比之前更精确,就达到了用更小的参数量实现更准确的效果。
在刘天杰看来,GPT-3.5 Turbo成本的下降,核心的一点就是实际计算的成本确实比之前要低,因为它的模型更准了。
“当然,一方面也因为OpenAI本身不是一个盈利机构,并且它也需要更多的用户参与进来,去形成这种实际的对话集,再输入模型中做进一步的训练,而低价也会导致用户量进一步的增长。”他说道。
刘天杰表示,这就是所谓的“AI飞轮”。“用户提高了,数据变多了,模型更准了,用户自然更多了。飞轮一旦跑起来,OpenAI就能甩掉其他对手,这也是它低价策略的一个原因。”
ChatGPT浪潮重构互联网生态,三类创业机会涌现
随着ChatGPT API的开放,调用这个接口来实现AI赋能成为许多创业公司的追求,这种热潮不免让人想起元宇宙、Web3等新概念引领的风潮。许多人会问,看看两年前扎克伯格看好的元宇宙如今在哪儿,未来ChatGPT又会在哪儿?不过,在刘天杰看来,这一波兴起的AI浪潮与前一段时间的元宇宙、Web3有本质上的区别。
“元宇宙、Web3是一个分布式的东西。在这里,大家希望互联网信息或者经济系统,都用一个分布式、加密式的方式去重构。”他向《每日经济新闻》记者说道,“但当前这一波AI浪潮恰恰相反,它会变成一个非常集中的东西,未来AI的底层能力将由有基础预训练大模型能力的几个大厂提供,其他人就在这些底层大模型上去开发应用。”
“所以说,整个互联网的生态我认为是重构了。这有点类似于当年的云服务,由几个大厂来做云服务厂商,在云之上,你们去开发各种各样的应用。”刘天杰进一步说道。
在ChatGPT引领的这一波AI浪潮中,刘天杰看到了三大层次的创业机会。第一类是做中文的底层大模型。“这类创业者往往都是高校出来的,比如说清华系有一大堆人在做底层大模型。但任重而道远,训练底层大模型,一是非常烧钱,二是要有足够强的算力。”他告诉每经记者。
图片来源:视觉中国
“另外,小公司收集训练集的能力不够,而大模型的‘大’,大在它的训练集。小公司并没有积累大量的数据。”他说道。
第二类是中间层,比如做模型的微调、预训练;或者在底层大模型的基础上训练新模型,比如虚拟人模型。“这些模型是基于底层大模型的语义能力,然后在这个能力之上加了各种限制条件。”他说道,这里有一些创业机会,但并不算多。
第三类是应用层,这也是大多数创业公司正在探究的道路。“目前最直接的是生成图片、文字、视频甚至3D内容。但是这些相对来说壁垒不够,因为模型也不是你的,训练集也不是你的,无非就是做一点优化的工作。”刘天杰说道。
“当然还有更前沿的,就是科学家团队在探索真正的终局——通用智能,但这一块现在还在一个非常早期的阶段。”他向每经记者介绍道。
泥沙俱下,用户需求才是创业的根本
在刘天杰的预想中,ChatGPT引领的这条路子是很清楚的,他看重的就是未来更多各行各业能够去做AI赋能的应用,比如SaaS、RPA(机器人流程自动化),甚至是机器人。
他现在主要关注两大板块,一是AI生成3D资产。“因为这一块有真正会掏钱的客户——游戏公司。这一块是他们的痛点,因为制作3D内容非常昂贵,如果能用AI制作3D内容,是他们求之不得的。但目前大模型的能力还解决不了3D的生成,这是一个我们会重点关注的领域。”
二是文字转换动作的应用。“也就是说,我用AI指挥实体的东西去执行操作,比如说机器人、RPA(机器人流程自动化)、全局的智能助手等。这一块涉及到大模型的多模态输出和输入,是一个相对来说比较前沿的领域,也是大模型没有完全解决的领域。”刘天杰解释道。
市场太热,到底哪些才是靠谱的项目?对此,一些投资人直言“又兴奋又焦虑”。
不过,刘天杰还没到焦虑的地步,他直言,“我们看了太多这种新技术、新概念的例子,第一波(冲在前面的)有很多蹭热度的。从经典的盖特纳创业模型来看,新技术都会先经历这样的事情,后面真正能使用这个技术的人才会崛起。”
他向《每日经济新闻》记者透露,很多很强的创业者,例如传统大厂里面职位非常高的人,或者在科学界有头有脸的人,也都被吸引入场。“国内比如说美团的王慧文、快手CTO以及某电商大厂技术负责人。”
据刘天杰介绍,某电商大厂技术负责人提出了Transformer大模型中一个关键的技术路线,叫做多头注意力机制。“泥沙俱下,当然有大量蹭热度的,但是也有很多很强的创业者在开始干这件事。”他说道。
ChatGPT身后的蓝海让许多创业公司蜂拥而至。在刘天杰看来,“现在许多所谓的AIGC项目,并非这一波预训练大模型(ChatGPT)之后产生的,它的技术路线上其实跟大模型没有任何关系,相当于之前传统范式的AI上,包了一层AIGC的壳,就非说自己是大模型,但实际上跟大模型没什么关系。”
他认为,能够落地的应用需要创业者在对应的细分产业中做实。“你要理解产业本身的经济机制和运行规则,以及用户需求,尤其用户需求永远是最重要的。因为在这里,AI只是提供效率的工具,它类似一个乘数。你必须得有前面的‘1’,也就是真实的客户和客户需求。”
每日经济新闻
自然语言处理, AI模型, 机器学习, 深度学习
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!