万字长文解读:从Transformer到ChatGPT,通用人工智能曙光初现中国最大尼姑庵,2万多女性在此修行,你知道在哪里吗?
AI情感助手

万字长文解读:从Transformer到ChatGPT,通用人工智能曙光初现中国最大尼姑庵,2万多女性在此修行,你知道在哪里吗?

ChatGPT掀起的NLP大语言模型热浪,不仅将各家科技巨头和独角兽们推向风口浪尖,在它背后的神经网络也被纷纷热议。但实际上,除了神经网络之外,知识图谱在AI的发展历程中也被寄予厚望。自然语言处理是如何伴随人工智能各个流派不断发展、沉淀,直至爆发的?本文作者将带来他的思考。作者 | 王文广出品 | 新程序员自ChatGPT推出以来,不仅业内津津乐道并纷纷赞叹自然语言处理(Natural Language Processing, NLP)大模型的魔力,更有探讨通用人工智能(Artificial general intelligence,AGI)的奇点来临。有报道说Google CEO Sundar Pichai发出红色警报(Red code)并促使了谷歌创始人佩奇与布林的回归,以避免受到颠覆性的影响[1][2][3]。同时,根据路透社的报道,ChatGPT发布仅两个月就有1亿用户参与狂欢,成为有史以来用户增长最快的产品[4]。本文以ChatGPT为契机,介绍飞速发展的自然语言处理技术(如图1所示)。 图1 ChatGPT引发 Google“红色警报” [1][2][3]从机器翻译到ChatGPT:自然语言处理的进化自然语言处理的历史可以追溯到1949年,恰好与共和国同龄。但是由香农的学生、数学家Warren Weaver发布的有关机器翻译的研讨备忘录被认为是自然语言处理的起点,比1956年达特茅斯会议提出“人工智能(Artificial Intelligence,AI)” 的概念还略早一些。二十世纪五、六十年代是自然语言处理发展的第一阶段,致力于通过词典、生成语法(图2)和形式语言来研究自然语言,奠定了自然语言处理技术的基础,并使得人们认识到了计算对于语言的重要意义。这个阶段的代表性的成果有1954年自动翻译(俄语到英语)的“Georgetown–IBM实验”,诺姆·乔姆斯基(Noam Chomsky)于1955年提交的博士论文《变换分析(Transformational Analysis)》和1957年出版的著作《句法结构(Syntactic Structures)》等。 图2 句法分析示例,来自《知识图谱:认知智能理论与实战》图4-5,P149[6]在二十世纪六、七十年代,对话系统得到了发展,比如SHRDLU、LUNAR和ELIZA(图3)。麻省理工学院的SHRDLU采用句法分析与“启发式理解器(heuristic understander)”相结合的方法来理解语言并做出响应。LUNAR科学自然语言信息系统(Lunar Sciences Natural Language Information System)则试图通过英语对话的方式来帮助科学家们便捷地从阿帕网(ARPA net)获取信息,这倒像是当前爆火的ChatGPT雏形。ELIZA是那时对话系统的集大成者,集成了关键词识别(图4)、最小上下文挖掘、模式匹配和脚本编辑等功能[5]。 图3 ELIZA对话系统,摘自维基百科ELIZA词条 图4 ELIZA系统中关键词挖掘的流程图[5]随着自然语言处理任务愈加复杂,人们认识到知识的缺乏会导致在复杂任务上难以为继,由此知识驱动人工智能逐渐在二十世纪七、八十年代兴起。语义网络(Semantic Network)和本体(Ontology)是当时研究的热点,其目的是将知识表示成机器能够理解和使用的形式,并最终发展为现在的知识图谱[6]。在这个阶段,WordNet、CYC等大量本体库被构建,基于本体和逻辑的自然语言处理系统是研究热点。进入二十世纪末二十一世纪初,人们认识到符号方法存在一些问题,比如试图让逻辑与知识覆盖智能的全部方面几乎是不可完成的任务。统计自然语言处理(Statistical NLP)由此兴起并逐渐成为语言建模的核心,其基本理念是将语言处理视为噪声信道信息传输,并通过给出每个消息的观测输出概率来表征传输,从而进行语言建模。相比于符号方法,统计方法灵活性更强,在大量语料支撑下能获得更优的效果。在统计语言建模中,互信息(Mutual Information)可以用于词汇关系的研究,N元语法(N-Gram)模型是典型的语言模型之一,最大似然准则用于解决语言建模的稀疏问题,浅层神经网络也早早就应用于语言建模,隐马尔可夫模型(Hidden Markov Model,HMM)和条件随机场(Conditional Random Fields ,CRF)(图5)是这个阶段的扛把子。在搜索引擎的推动下,统计自然语言处理在词法分析、机器翻译、序列标注和语音识别等任务中广泛使用。 图5...
《AIGC新时代深圳企业积极拥抱新技术:ChatGPT助力产业创新发展》
AI创业助手

《AIGC新时代深圳企业积极拥抱新技术:ChatGPT助力产业创新发展》

本文讨论了深圳企业在AIGC新时代中积极拥抱新技术,尤其是ChatGPT和AIGC的研发与应用。截至2022年底,深圳人工智能相关企业数量已达到1920家,预计超过2000家。ChatGPT的火爆使得普通用户首次感受到AI的魅力,引发了社会对AI相关应用的需求,对深圳AIGC产业的发展产生了积极的推动作用。同时,深圳在软件领域的发展处于领先地位,拥有先发优势。然而,ChatGPT仍有其局限性,如缺乏严谨性、输出内容的真实性和安全性等问题。尽管如此,ChatGPT的成功仍意味着通用人工智能(AGI)的道路上又迈出了重要的一步,未来将有许多新的研究方向和新方法等待我们去探索。
AI进化之恐:ChatGPT引发的技术革命与监管挑战
AI创业助手

AI进化之恐:ChatGPT引发的技术革命与监管挑战

本文主要讨论了人工智能助手ChatGPT的发展及其引发的热潮。尽管ChatGPT在生成文本、图像、音频和视频等多模态任务处理方面取得了显著进展,但其发展也引发了关于数据隐私、安全性、伦理等方面的担忧。随着监管的加强,人工智能在各行各业的应用或将持续扩大,但同时也需充分考虑安全和隐私等问题,以促进人工智能的健康发展。
ChatGPT创业潮来了,我既兴奋又焦虑
AI创业助手

ChatGPT创业潮来了,我既兴奋又焦虑

点击上方蓝色字关注我们~ ChatGPT会颠覆很多领域,但这个蛋糕最终被大厂还是创业公司吃到还是个未知数。 来源 | 深燃 (shenrancaijing) 作者 | 唐亚华 最近一段时间,ChatGPT从AI领域破圈,成了互联网领域的新风口。创业者和投资人也兴奋起来了。 创业的方向已经很明了。做中国版对标ChatGPT的大模型,是显而易见的一条路。目前百度的“文心一言”已经呼之欲出,原美团联合创始人王慧文也宣布携5000万美元进军AI,要打造中国的OpenAI(ChatGPT的研发公司)。 同时,将ChatGPT这样的大模型平行扩展,从文字信息知识模型扩展到图片、视频等领域,也有同等机会。另外,顺着ChatGPT的方向再往前走一步,又是另一个思路,如今的ChatGPT理解能力强,但准确性和时效性弱,在后者上下功夫,也是不少创业者在做的事。 大模型之外,ChatGPT在各垂直领域的应用可能是适合更多创业者的路径。ChatGPT可以应用到文案、营销、设计、行业研究等文化传媒领域,还有医疗+AI,教育+AI,企业服务中的智能客服、数字人,以及游戏等各行各业中。有从业者提到,每个领域都可以训练适合自己的ChatGPT。 机会有很多,不过最终作为创业投资项目,其可行性还待验证。现在,ChatGPT欠缺严密的逻辑能力,也缺乏一些常识,在很多领域的应用壁垒不高但模型训练成本高,短期之内商业化也有难度。 投资人最近既兴奋又焦虑,市场很热,但蹭热度的占据大多数,真正靠谱的项目不多,他们目前普遍处于高度关注但下手谨慎的状态。毕竟,ChatGPT会颠覆很多领域,但这个蛋糕最终被大厂还是创业公司吃到还是个未知数。 01 大模型、小场景, 盯紧ChatGPT 要找到ChatGPT领域的创业投资机会,有必要先弄清楚ChatGPT的特点。 众所周知,ChatGPT是生成式AI,与之对应的是分析式AI。微软投资的人工智能企业OpenAI从2015年开始研发这个模型,直到2020年,OpenAI发布了GPT-3语言模型,才引起国内外科技从业者对生成式AI的关注。 如今的ChatGPT,是OpenAI在ChatGPT-3.5的基础上,模拟人的自然语言,重点做了聊天对话方面的训练而形成的,同时,这一代的ChatGPT具备了创造、生成内容的能力。 英诺天使基金合伙人王晟告诉深燃,他们一年半之前就把AIGC(利用人工智能技术来生成内容)确定为主要投资方向了,也已经投了专注大模型的项目深言科技和做全新应用场景的公司深空交响。 ChatGPT突然爆了,“好处是我们已经投了的项目非常受人关注,最近每天都有好几个投资机构去和他们约见面。不好之处是本来我们在这一波AIGC方面的认知和布局是领先行业的,相对有时间逐步完善布局,现在这一波热度让市场开始变得混乱。”他说。 在王晟看来,国内ChatGPT相关的创业投资机会有两大方向:第一是研发大模型,直接对标ChatGPT,比如做中国版ChatGPT,同时,在ChatGPT这类语言大模型之外还可以扩展到图片、视频等领域;第二就是将ChatGPT垂直应用到各个细分领域。 目前,涉足大模型的国内大厂已有不少。百度的文心一言、华为的盘古模型,字节跳动和达摩院也有自己的模型。这些大部分是语言模型,也有一些多模态的模型,比如达摩院的M6模型,它可以生成文本,也可以生成图像。但国内的模型可能限于某些比较小众的应用,还没有形成非常大规模的市场影响力。 初创企业在该领域也有相当的发展。其中,比较有代表性的国内人工智能企业“智谱AI”近年来一直在做关于千亿模型和万亿模型的研究。他们主导研发了多语言千亿级预训练模型(是深度学习架构,经过训练以执行大量数据上的特定任务)GLM-130B,并打造了认知大模型平台(认知模型是指描述人类认知结构和认知过程的模型)Bigmodel.ai,形成了AIGC产品矩阵,提供智能API(应用程序接口)服务。从应用落地层面,智谱AI于2022年推出的AI数字人,在北京冬奥会及卡塔尔世界杯上受到广泛关注。 “大模型需要高水平团队,得是资深从业者,同时有比较强的AI工程化能力,另外我们倾向于看好曾经花过大钱做过大模型的团队。”王晟说。不过他也指出,中国能做语言类大模型的团队非常有限,加上大厂、一些科研机构和创业公司,总体数量可能不超过十个团队,加上图片、音乐、视频、3D资产等领域的大模型,全国能投的标的也就几十个。所以说大模型是一个重点关注的范围,但投资机构和普通创业者能抓住的机会不多。 ChatGPT如何适用细分领域,是更多创业者关心的事情。在这里,我们先解释一下ChatGPT身上的一些特性。跃盟科技创始人兼CEO王冉对深燃分析,评价一个模型好坏要从处理信息的适用性、准确度、时效性三个维度来看。ChatGPT对标的是搜索,可以从这三个维度对比ChatGPT和搜索的差别。 他进一步解释:搜索目前用的主要是关键词搜索,ChatGPT却能很好地识别自然语言,所以在适应性上,ChatGPT能做到满分10分;在信息的准确度上,现在搜索引擎已经做到了前十条结果点击率95%,前三条的结果点击率80%-85%,ChatGPT在准确度上做了妥协,在知识跟推理里用了更模糊的方式,准确率远远不如搜索,能打6分;在时效性上,ChatGPT是0分,它的模型是以年为单位训练的,不适合处理有时效性的信息。 所以ChatGPT是一个强适应性、弱准确度、弱时效性的产品模型,在这样的特点之下,应用场景也就明确了。 “这些特点就决定了ChatGPT不适合从0到1,更适合从1到N,它不能代替用户寻找正确答案,而适合在搜索之后做二次加工处理,比如总结、分类、做表、纠错、写代码,另一类应用是模糊推理下的创造,比如写小说、创意设计。”王冉说。 理论上说,基于ChatGPT大模型,能做各个行业的解决方案,来提升生产力,比如媒体、设计、营销、行业研究、智能客服、影视特效、教育、医疗、游戏等领域。王晟也提到,现在很多广告公司平面设计师的工作很大程度上已经是AI在做,设计师对成果再做优化,另外,ChatGPT如果运用到游戏中,里面的NPC可以真实互动,游戏也会变得更酷。 02 AI、医疗、教育, 谁能借ChatGPT起飞? ChatGPT具体怎么应用到细分领域,创业者的现身说法最有说服力。 王冉的跃盟科技从2016年就专注AI赛道,目前在做服务直播、新媒体或新的电商形态的AIGC模型。“我们提供一个模型底层技术,能在搜索之上,把直播间的商品按照用户的需求呈现出来,比如用户搜索情人节买点什么,我就把所有直播间在卖的对应商品信息整理出来,用对话或搜索推荐的方式推给用户。” 在这一业务中,王冉重视的是模型的准确性和时效性,因为电商的平台信息、价格信息都要准确,时效上,要做到小时级乃至分钟级。 “现在我们要做的就是准备好迎接大模型的到来。”医疗AI领域创业公司“左手医生”创始人张超说。最近每天找他咨询的同行很多,大家都在讨论怎么用、效果怎么样、怎么投入,他的感受是,ChatGPT让医疗AI领域原来很多不好解决的问题忽然能解决了,AI医生离商业化、大规模使用又近了。 张超整理了ChatGPT对医疗AI的影响,首先,ChatGPT可以用在文档的处理类任务上,比如,抽取类、结构化类任务、摘要类任务,解决医生的文书工作;同时,可以带动一堆监管类任务应用,比如质控、DRG(疾病诊断相关分组);还有一个重要应用是人机沟通类任务,比如智能自诊、预问诊、分导诊、随访等;最后,ChatGPT对全科医生的打造也更有利,比如AI能更好地辅助诊断、做指标解读、开方、做基础患者教育、完成智能问答等。 “AI医生目前需要解决的核心就是语义问题,以前我让AI系统理解10个指令,如果患者的问题不在这10个指令范围之内,系统就不会回答了,因为患者输入的问题可能用的不是标准表达方式,有了ChatGPT,新指令出现的时候它还能很好地处理。”另外,张超还提到,大家一直吐槽AI电话随访是人工智障,有了ChatGPT,系统可能对患者的提问对答如流,也可能从患者语无伦次的回复中整理出有价值的数据。 “原来我们做的是一个70分的产品,这一版优化完升级之后,应该能达到90分。接下来行业里面如果有人发布了大模型,我们会考虑采购,在大模型基础上用我们的数据去升级优化模型。”张超预计再过两三个月就能用起来,就看OpenAI或国内大厂谁先开放出来,“不过投入也不会少,硬件追加大概得1000-2000万元,预期在这块投入的研发成本一年也得近3000万元。” 教育和ChatGPT契合的场景也很多。 在新东方优编程董事长朱宇看来,在学前阶段,ChatGPT可以做成一个能够帮助孩子探索世界,解答小孩各类问题的陪伴机器人,上升到小学、中学,经过训练的ChatGPT可以像老师一样答疑,比如学生的水平比较低,就调取最低级的概念解释,一步步告诉答案,如果提问者是个水平很高的学生,直接说几个关键步骤就行。再往上一层级,ChatGPT能做到个性化推送学习素材,甚至能编写针对每一个学生的教材。 “ChatGPT现在已经会写小说、写报告了,实际上学生用的教材涉及到的知识点是固定的,比小说和报告的素材更简单,只需要用不同层次的学生听得懂、有兴趣听的方式输出就可以了,比如可以选择更活泼幽默的方式。”朱宇说,这可能是跨时代的意义,几乎能颠覆过去三四千年以来的知识传递方式。 悉之智能创始人兼CEO孙一乔目前看好ChatGPT做语言学习方面的结合,“我最近正好在学英语,以前都是跟外教一对一练习,但外教不太懂中文,有一些词汇我表达不出来,外教也不知道我想说什么,我的合伙人利用现在的ChatGPT加上语音识别与合成功能,结合一个虚拟AI形象,做出了可以与我进行流畅的英语对话的AI老师,大大的提高了我的英语学习效率,降低了学习成本。未来一些以真人为主的英语教学,可能会被替代。”...
《ChatGPT崛起:AI领域的新风口》
AI创业助手

《ChatGPT崛起:AI领域的新风口》

近期,ChatGPT成为AI领域热点,国内科技巨头和互联网大佬纷纷加入研发大模型竞赛。ChatGPT被视为新一代工业革命的象征,将对金融、医疗、教育等行业产生深远影响,为创业者提供新的机遇。