万字长文解读:从Transformer到ChatGPT,通用人工智能曙光初现中方凌晨发布重要消息,中俄外长会晤内容公布,美国担忧的事发生
AI情感助手

万字长文解读:从Transformer到ChatGPT,通用人工智能曙光初现中方凌晨发布重要消息,中俄外长会晤内容公布,美国担忧的事发生

ChatGPT掀起的NLP大语言模型热浪,不仅将各家科技巨头和独角兽们推向风口浪尖,在它背后的神经网络也被纷纷热议。但实际上,除了神经网络之外,知识图谱在AI的发展历程中也被寄予厚望。自然语言处理是如何伴随人工智能各个流派不断发展、沉淀,直至爆发的?本文作者将带来他的思考。作者 | 王文广出品 | 新程序员自ChatGPT推出以来,不仅业内津津乐道并纷纷赞叹自然语言处理(Natural Language Processing, NLP)大模型的魔力,更有探讨通用人工智能(Artificial general intelligence,AGI)的奇点来临。有报道说Google CEO Sundar Pichai发出红色警报(Red code)并促使了谷歌创始人佩奇与布林的回归,以避免受到颠覆性的影响[1][2][3]。同时,根据路透社的报道,ChatGPT发布仅两个月就有1亿用户参与狂欢,成为有史以来用户增长最快的产品[4]。本文以ChatGPT为契机,介绍飞速发展的自然语言处理技术(如图1所示)。 图1 ChatGPT引发 Google“红色警报” [1][2][3]从机器翻译到ChatGPT:自然语言处理的进化自然语言处理的历史可以追溯到1949年,恰好与共和国同龄。但是由香农的学生、数学家Warren Weaver发布的有关机器翻译的研讨备忘录被认为是自然语言处理的起点,比1956年达特茅斯会议提出“人工智能(Artificial Intelligence,AI)” 的概念还略早一些。二十世纪五、六十年代是自然语言处理发展的第一阶段,致力于通过词典、生成语法(图2)和形式语言来研究自然语言,奠定了自然语言处理技术的基础,并使得人们认识到了计算对于语言的重要意义。这个阶段的代表性的成果有1954年自动翻译(俄语到英语)的“Georgetown–IBM实验”,诺姆·乔姆斯基(Noam Chomsky)于1955年提交的博士论文《变换分析(Transformational Analysis)》和1957年出版的著作《句法结构(Syntactic Structures)》等。 图2 句法分析示例,来自《知识图谱:认知智能理论与实战》图4-5,P149[6]在二十世纪六、七十年代,对话系统得到了发展,比如SHRDLU、LUNAR和ELIZA(图3)。麻省理工学院的SHRDLU采用句法分析与“启发式理解器(heuristic understander)”相结合的方法来理解语言并做出响应。LUNAR科学自然语言信息系统(Lunar Sciences Natural Language Information System)则试图通过英语对话的方式来帮助科学家们便捷地从阿帕网(ARPA net)获取信息,这倒像是当前爆火的ChatGPT雏形。ELIZA是那时对话系统的集大成者,集成了关键词识别(图4)、最小上下文挖掘、模式匹配和脚本编辑等功能[5]。 图3 ELIZA对话系统,摘自维基百科ELIZA词条 图4 ELIZA系统中关键词挖掘的流程图[5]随着自然语言处理任务愈加复杂,人们认识到知识的缺乏会导致在复杂任务上难以为继,由此知识驱动人工智能逐渐在二十世纪七、八十年代兴起。语义网络(Semantic Network)和本体(Ontology)是当时研究的热点,其目的是将知识表示成机器能够理解和使用的形式,并最终发展为现在的知识图谱[6]。在这个阶段,WordNet、CYC等大量本体库被构建,基于本体和逻辑的自然语言处理系统是研究热点。进入二十世纪末二十一世纪初,人们认识到符号方法存在一些问题,比如试图让逻辑与知识覆盖智能的全部方面几乎是不可完成的任务。统计自然语言处理(Statistical NLP)由此兴起并逐渐成为语言建模的核心,其基本理念是将语言处理视为噪声信道信息传输,并通过给出每个消息的观测输出概率来表征传输,从而进行语言建模。相比于符号方法,统计方法灵活性更强,在大量语料支撑下能获得更优的效果。在统计语言建模中,互信息(Mutual Information)可以用于词汇关系的研究,N元语法(N-Gram)模型是典型的语言模型之一,最大似然准则用于解决语言建模的稀疏问题,浅层神经网络也早早就应用于语言建模,隐马尔可夫模型(Hidden Markov Model,HMM)和条件随机场(Conditional Random Fields ,CRF)(图5)是这个阶段的扛把子。在搜索引擎的推动下,统计自然语言处理在词法分析、机器翻译、序列标注和语音识别等任务中广泛使用。 图5...
ChatGPT热度爆表,平均工资新高度?科技金融业领涨;黄金价格历史新高,避险情绪高涨;百度文心一
AI情感助手

ChatGPT热度爆表,平均工资新高度?科技金融业领涨;黄金价格历史新高,避险情绪高涨;百度文心一

1. ChatGPT访问量再创新高,百度文心一言内测企业数量众多,涵盖多个行业。2. 美联储加息引发黄金价格上涨,北京金饰价格上调;汽车国六排放标准7月1日起全面实施。3. 文化旅游数据显示,河南接待游客最多,四川湖南数据下滑;快手电商升级激励措施,快手电商GMV增长明显。
「ChatGPT翻盘?世界币与微软收购战,AI身份证何去何从?」
AI情感助手

「ChatGPT翻盘?世界币与微软收购战,AI身份证何去何从?」

本文汇总了多个科技和商业动态,包括人工智能应用「世界币」及其加密钱包World App的推出,试图成为AI时代的“身份证”;Twitter CEO马斯克宣布将清除不活跃账户并存档,微软收购动视暴雪交易被英国否决;LinkedIn裁员并关闭中国求职应用;吉利与长安深化合作智能化电动化;任天堂Switch销量突破1亿,iPhone16Pro可能加大屏幕尺寸至6.9英寸;以及佳能新品PowerShot V10曝光等。各事件围绕科技发展、市场竞争和企业战略展开。
ChatGPT爆火,AI能取代人类工作吗?众人态度各异…
AI情感助手

ChatGPT爆火,AI能取代人类工作吗?众人态度各异…

ChatGPT引发广泛关注后,人们担忧其可能取代金融、媒体和教育等行业工作。尽管一些人表示短期内不担心被AI取代,但该事件也促使他们强化专业能力。虽然AI在诗词创作上展现了一定水平,但在复杂的人际互动和情绪理解等方面尚无法完全替代人类,如教育领域中的个别功能或辅助可能,但教师的角色难以被AI完全取代。ChatGPT作为提升效率的工具存在,也可能带来就业结构的变化,未来的发展还需进一步观察。
ChatGPT爆火,它真的无所不能吗?100个问题大揭秘
AI情感助手

ChatGPT爆火,它真的无所不能吗?100个问题大揭秘

OpenAI的ChatGPT模型近期引发中文互联网热议,该人工智能能进行多领域对话,从编程到心理咨询无所不能,吸引了大批用户沉迷。尽管它备受推崇,但也存在被指出废话过多的问题。针对用户提出的100个问题,ChatGPT展现了其在提供客观信息、解释技术和文化差异方面的功能,但对主观评价和未来预测则表示无法判断。总体而言,ChatGPT作为一种强大的语言工具带来了便利与挑战。
赵汀阳: 究竟在哪个问题上, ChatGPT逼得思想无路可走?|文化纵横
AI情感助手

赵汀阳: 究竟在哪个问题上, ChatGPT逼得思想无路可走?|文化纵横

✪ 赵汀阳 中国社会科学院哲学研究所 【导读】2022年底以来,由人工智能实验室OpenAI发布的对话式语言模型ChatGPT引发持续关注。近期,ChatGPT之父奥特曼(Sam Altman)表示,技术发展是一个线性进程,很难用“跨越式”进步来形容某种技术,但如果一定要选出一个可以载入史册的时刻,他将选择ChatGPT。 许多人追问,GPT是否在侵夺人的主体性,会把人类的思想与哲学导向何方?在哲学家赵汀阳看来,GPT很杰出,但尚未形成人工智能的技术代差。从本质上看,当前的人工智能仍然属于图灵机,它们在物理能力、来自人类的设计能力以及通过人的知识投喂所形成的自我训练、互动学习等方面具有突出表现,但终究没有而且远远没有把人的全部思维,尤其是高级思维能力翻译为机器思维。 在他看来,GPT仍然在经验主义与进化论的轨道上运转。无限逼近人类智能的图灵机将是人类最好的工具,然而,人类念念不忘的“自虐”问题是:人工智能何时超越人成为新主体?人类提心吊胆而兴奋地等待这一天的到来。赵汀阳认为,人工智能如果获得突破式发展,需要超越人类的智能常数,或者至少达到人类的智能常数。但很遗憾,GPT还没有创造性,它的品质仍是平庸的。他指出,人工智能发展的后果之一,是人类技术文明与制度文明发展的不匹配。换言之,技术文明的发展水平远远超过制度文明的发展水平,而制度文明无法快速有效回应技术文明的需要——这种基于人类文明的自身困境,才是问题的关键所在。 本文即将发表于《探索与争鸣》2023年第3期,原题为《GPT推进哲学问题了吗?》,仅代表作者观点,供诸君思考。 GPT推进哲学问题了吗? 题目的提问明显是一个后续问题,接续的是若干年前我在另一篇文章的提问“人工智能提出了什么哲学问题”。那篇文章涉及的背景事件是“阿尔法狗系列”,在此无需复述。这个后续问题的背景事件是“GPT系列”(此刻已经由ChatGPT升级到GPT-4)。如同阿尔法狗事件,ChatGPT引起世界轰动,而“更能干”的GPT-4更是引爆全网,一时间颂词滚滚。不过,此类在背后有着“无限商机”的商业化或传媒化轰动几乎都言过其实。不实之词往往很成功,比不实之词更受欢迎的是完全不实的谣言。然而,GPT系列获得的颂词可不是谣言,虽然有些言过其实,但它的确有真本事,而且潜力很大,可以想象其后续迭代更可能有惊人之举。在技术上,GPT系列确实推进了人工智能的神奇应用,但这并非对思维的实质推进,仍与阿尔法狗同属一个技术级别,是这个技术级别里的高水平应用,简单地说,GPT很杰出,但尚未形成人工智能的技术代差。GPT系列的厉害之处在于进入了语言领域,而语言是人类的本质,这就切中了人类主体性的要害,问题就严重了。那么,GPT系列人工智能推进哲学问题了吗? ▍首先是何种意义上的哲学 这里的讨论首先排除对人工智能进行人文主义批判或伦理批判,这种“哲学”不属于这里考虑的哲学概念。价值批判只是表态,未进入实质问题,属于日常价值判断,严格地说不属于哲学。凡是相当于“我认为这是好的”句型的意见都不是哲学。人工智能势不可挡,注定是人类的未来。对人工智能的人文主义或伦理批判只能说明哲学傻了眼,文不对题,没有能够回答人工智能提出的实质问题,比如对意识、主体性、智能等概念的挑战。 就哲学的不可替代的思想功能而言,哲学研究任何思想“界限”问题,例如知识的基本假设、思维的基本设置、价值的最终根据之类,而对思想界限的研究必定形成思想的自反性或自相关性(reflexivity or self-reference)而达到反思的极限。除了对思想边界进行极限反思,哲学的其他功能都是可替代的,实际上其已经被科学和社会科学所替代。思想的极限边界意味着思想走不出去了,只能自我说明。正如维特根斯坦指出的,哲学问题的一般句型相当于:我不知道怎么走了。这不是迷路,而是没有路了,到头了,思想没有更多的理由了,于是回到了思想的初始状态。本真的哲学就是思想迫使自身回到思想的初始状态,对思想进行再创造。不在思想初始状态上工作的是史学,不是哲学。那么,这里的问题是,人工智能在哪些问题上迫使思想回到了初始状态?逼得思想无路可走? ▍图灵机人工智能的能力界限 当前的人工智能仍然属于图灵机,包括近来出现的GPT系列。图灵机人工智能的能力成分可以大致分析为如下方面。 (1)物理能力。计算机的速度超过人无数倍,而且可以不休息,在高速度下,最简单的技术也有难以置信的高效能力,所谓“唯快不破”。可以预料,在不远的将来,各种类型的图灵机可以联合起来形成大系统,就像人类形成一个大集体,以万众一心的方式联合作业,很可能会形成类似“全知全能”的上帝的效果,那么,机器人就成为通用人工智能(AGI)。我相信这是一个合理推测,就是说,制造类似个体人那样的个体化通用人工智能不太现实,属于科幻片的拟人化想象,比较合理的想象是,那些貌似个体的通用人工智能是联合作业的,实际上属于一个系统,因此,通用人工智能最可能是“系统人”而不是“独立人”。 (2)来自人类的设计能力。这意味着,任何图灵机的设计能力都不超过人的能力,只能小于或等于人类思维能力,类似于某种速度无限逼近光速。需要指出的是,人工智能的“心灵”可以与人相似但不必要与人相似,它完全可以是另一种心灵。当然,由于人的心灵是目前的唯一榜样(外星人还存在于科幻里),模仿人类心灵就是现成路径,但事实证明,逼真模仿人的心灵其实最难。人的心灵像是“上帝”的作品,要模仿人类心灵就需要破解“上帝”的智能,这似乎超越了人目前的智能。有趣的事实是,计算机的主流设计从来就不是对人类心灵结构的复制性模仿,而是有用性的功能模仿,以及对相关功能的原理模仿。莱布尼兹为计算机设想的二进制逻辑—数学表达就已经确定了功能—原理模仿的进路。二进制数学对于人的心灵显然不方便,绝非人的自然选择(多数人类根据手指自然地选中了十进制,也有十二进制之类,不知什么理由,但据说以数学观点看,七进制的功能最优)。然而对于机械运算而言,二进制却是最优,而且就产出有效结果而言,其思维“功能”或“原理”相等。可见,功能才是要点。人工智能的运算方式虽与人有所不同,但也是人设计出来的,仍然是人类智能的一种可能性,相当于人类智能里的一个可能世界。因此,人工智能的“不同算法”无需惊讶,类似于人类发明轮子的时候并不是模仿走路,而是为了实现搬运的功能,事实上,所有机器都是实现人想要的功能而不是模仿人的自然所是。总之,图灵机人工智能的设计能力属于并且不超过人类智能,尽管在物理速度的加持下显示出超人能力。 (3)人工智能的惊人知识量来自人的大量“喂食”和人工智能无穷迭代的自我训练和互动学习形成的进化。通过被输入知识,加上从互联网获取资料,人工智能会获得人所不及的巨大数据,在理论容量上可以获得人类全部知识,再加上与人类互动学习,人工智能将来一定会近乎“全知”——但全能要难得多,因为全能涉及更复杂的神经网络,即使保洁员的简单劳动也需要无比复杂的神经网络设计,所以,通用人工智能尚需时日。“全能”的智能复杂度远高于“全知”,这或暗示着某个深刻的智能问题,还不能判断是什么样的问题,但似乎提示了,收集一切知识的博学和无漏记忆的“活字典”能力并不需要高智能,也不意味着高智能。真正的高智能或许是量子式的能力,是反思能力以及传说中的“统觉”能力。这可能要等待量子计算机去证明了。 以上综合能力已经足以使人工智能形成惊人能力,但终究没有而且远远没有把人的全部思维尤其是高级思维能力翻译为机器思维。这里的障碍是一个尚未解决的知识论问题,即人类思维对于人类自身也不完全透明,我们并不完全理解人类的思维。人类思维有一部分仍然是黑箱,尤其是创造性思维,即从0到1的创造方式是目前无法解释的。创造性的秘密还无法还原为心理学、生物学和神经学的理论,所以目前没有理论能够解释,换句话说,创造性至今没有翻译方式,我们甚至不可能教给另一个人如何进行创造性思维,更别提教给人工智能。 目前人工智能的貌似创造性思维是假的,无非是心理学水平的联想和组合,并非从0到1的创作;人类思维的另一部分属于公开程序,即知识的生产程序,基本上都可以还原为函数关系。从理论上说,知识生产程序可以喂给人工智能,但也没有想象的那么容易。程序输入相对容易,但移植知识的意义却不容易。知识是一个解释和自解释系统,要真正理解一种知识,就需要理解知识的系统和结构,这意味着,良好地理解一种知识的意义就需要配备一个良好的解释系统。可是,人类的知识解释系统并不完善,存在着许多直观或默会的理解。就是说,人类思维方式存在着许多难以解释或难以证明的概念、假设和意义,有着作为思想底层结构的形而上学,因此不能完全程序化,也就很难喂给人工智能所有的知识生产系统——但喂食某些知识系统,例如“足够清楚的”数学系统则是可能的。 吊诡的是,人类生产知识的能力超过反思知识的能力,两种能力并不对称,这是一件有些神秘的事情。就目前比较明确的反思来看,知识生产的主要方法是还原法,还原即简化,把难以理解的复杂性化简为心灵一目了然的简单关系,或者说以“清楚明白”的事情去解释混沌不清的事情。笛卡尔想象的“清楚明白”大致相当于在数学和逻辑上能够理解的命题。还原以最简单的方式显示了思维的两个底层原理:其一是经验性的相关性,典型地表达为函数关系,其最简单的形式就是逻辑和(x∧y)与逻辑并(x∨y),简化到这个层次的基本命题,任何智能都可直接理解,没有更基本的命题了;其二是形式的分析性,最简单的形式就是基于实质蕴含即真值蕴含(x→y)的逻辑和数学推论。这也是最基本的命题,没有更基本的了,任何智能可直接理解。即使亚里士多德的古老逻辑或毕达哥拉斯和欧几里德的初步数学推理也不是很简单的,而是比较“高级了”,已经包含许多不彻底甚至不清楚的“自明”假设、概括性概念和一般化原则,还有一些需要经验背景的内容,并不是机器能够直接理解的。当然,可以把所有数学系统都喂给机器,然后机器照章办事地假装懂。这个“假装懂”的有趣问题稍后再讨论。 还原论的思想目标是发现因果性和必然性。这两个概念貌似简单,其实非常复杂,并非自然直观,而是形而上学假设,是人的发明,自然并没有给与我们因果性和必然性的概念,或者说,自然现象里并没有因果性和必然性的直接显现。自然里甚至不存在必然性,只有不确定性和无限复杂性,必然性纯粹是逻辑和数学的发明,并且只存在于封闭而能行的系统里。既然必然性不存在于自然,因果性也随之变得有些可疑了,似乎至多是无限逼近必然关联的极大概率。我还愿意提醒,可能性和概率的概念也都是人的发明,甚至同一律、矛盾律和排中律也是人的发明,这些规律在自然里也是可疑的,也只是存在于思维结构里。可以说,绝大多数概念都是人的发明,而概念就是思想的边界,创造概念就是开拓思想边疆(巴迪欧是这样想的)。于是遇到了一个关键问题:作为人类思想基础的概念都是一般普遍或高度概括的,有着难以切分的丰富意义和整体性,因此无法还原(化简),这意味着还原方法的局限性。人类早就注意到概念或思想甚至自然事物的不可分的整体性,因此在哲学上形成了相对于还原论的整体论,在今天表现为最新的一种综合科学,称为“复杂科学”。比较粗鲁地说,就目前的技术水平而言,人工智能可以进行还原论的思维,但尚无能力建立整体性的思维,因此人工智能尚无思想能力而只有运算能力。 这里的讨论试图说明,我们所知道的思想仅限于人类发明的思想,而且唯此一例,在人工智能得以自己建立主体性思维之前,不存在另一种思想。人工智能的惊人之处在于运算的效率,在工作能量上远超过人(类似核能高于人工能),但人工智能的工作原理或思维能力目前只能无限逼近人却不可能超越人,因为人工智能的思维方式也是人的发明——人为机器专门发明了一种最适合机器的思维,而这种适合机器的思维还不能实现充分思维,即兼备还原论和整体论双重能力的思维,因此还没有思想——充分的思维不一定是人的思维,可以是外星人或人工智能自己发明的思维,只是图灵机人工智能办不到。 ▍人工智能的经验主义和进化论 目前的人工智能都属于图灵机,可是图灵测试却恐怕已经失灵了,这个有趣的事情说明,图灵把测试标准定得太低,难不倒GPT系列人工智能,反倒只能从过于标准化或过于政治正确的回答来推测谁是人工智能——正常人大概不会坚持不懈地说些滴水不漏的政治正确的废话,除非是神经病或人工智能。GPT(包括最新的GPT-4)提出的新问题是,它属于图灵机,却有能力通过图灵测试。“像人而不是人”这个新问题废掉了图灵测试。为什么可以这样?这就需要分析GPT的思维原则。目前的人工智能都采取经验主义和进化论原则,这样的思维水平大致相当于原始人。人工智能的“学习”,主要意思是收集材料和记忆,而其“训练”的主要意思是吃一堑长一智。如此简单听起来令人失望,但加上无敌的运算速度就有神奇效果了。 传统图灵机相当于数学直觉主义的信徒,且称之为“布劳威尔型号”,其知识生产限于能行有限步骤可实现的确定必然结果,就是说,它能够承认的知识是封闭领域里的确定知识。有限步骤无法解决的问题就出事了,比如说让它运算个悖论或者圆周率之类,不知道会死机还是永不停机。这种图灵机只按照给定规则去做作业,显然没有主体性,是工具而不是主体,其思维方式可称为机械主义。GPT是图灵机的升级版(很快还会有更高级的),其思维方式已经从机械主义切换为经验主义和进化论。GPT的思维没有实现封闭化,超越了“布劳威尔型号”,变成了“维特根斯坦2型”(符合后期维特根斯坦哲学),其思维居然有了黑箱,它在建立信息或语言关联时有着语境化的不确定性、灵活性或即兴性,因此形成了思维不完全透明的黑箱效果,即使设计者也不完全知道它是怎么想的,比如说不清楚它在什么时候和为什么会突然“一本正经地胡说八道”。但这种“自主性”可不是主体性,GPT并没有自己的信念和想法。 GPT的思维技艺尚不足以发展出传媒夸大其词的通用人工智能。GPT的大语言模型(LLM)“思维”大概是这样的:首先是获得语言词汇和用法的大数据,然后进行“预训练”,即在语言大数据里去发现统计学意义上的概率性规律或搭配模式,一旦掌握了大量此类统计性的规律,就会以不是人的方式说很像人的话。比如发现you、eat、an和apple这几个词汇大概率相关,就知道可以说出you eat an apple这句话,至于什么意思,人工智能并不懂,只是假装懂,即知道关联性,但不知道关联性背后的思想。这样的预训练是完全经验主义的,类似于原始人在没有先验语法的情况下以完全经验主义的方式发展一种语言——当然其实不如原始人,原始人是真的懂语言的意思的——准确地说是发现了大量高概率的关联。这种所谓的“训练和学习”就是以真实标签代替了人工标签,意味着不需要先天语法的彻底经验主义。有趣的是,乔姆斯基对GPT缺乏先天语法表示了不满。GPT的语言训练—学习几乎完全符合后期维特根斯坦的语言游戏理论。后期维特根斯坦在关于意义的问题上放弃了先验论而采取了经验主义的分析,其中还发展了一种近似于数学直觉主义的理解,所谓“意义在于用法”就是只信任“有限实例”而不是依靠先验普遍原则来理解意义。简单地说,维特根斯坦相信,实例(examples)的有限集合定义了语词和可能语句的意义值域。GPT正是这样做的,可以说,GPT是个维特根斯坦型的经验主义者。 GPT不用概括性的原则,只通过实例集合来形成意义,准确率如此之高,或许维特根斯坦也会为之惊叹。不过,海量训练—学习虽然能够通过实例的增长而实现理解的增长,但永远存在例外,也就难免有时会胡说。那么,假如引进乔姆斯基的先天语法或深层语法,GPT的语言水平会有所提高吗?其实有点疑问,乔姆斯基的先天语法研究并不完善,并不能证明全人类真的有一种通用的先天语法,至少汉语的语法就显示出某些深层的差异(可参考沈家煊先生的理论),可见先天语法还有待研究。可以肯定的是,语言的意义域存在着大量发散的(discursive)关联,似乎更适合经验主义而不是先验论的理解。 既然语义关联有着大量不合逻辑的“文学化”链接,那么,GPT如何在开放条件下去保证语义关联的经验主义有效性?假如没有理解错的话,GPT的策略大概是这样的:除了基于大数据的统计学,同时还使用了预测—修正程序,估计就是贝叶斯概率推理,这样就可以理解GPT何以能够从特殊推导一般模式,当然不是普遍必然那种一般模式,只是在不断修正中的相对最大可能性。在GPT的自我学习和自我修正过程中,又引入了一个更加拟人的方法,即行为主义的奖励—惩罚原则(行为主义是互动经验主义),以此诱导其思维的加速优化和强化,称为“强化学习”。强化学习需要与真实的人互动,人对其回答的积极或消极反馈就是所谓奖励和惩罚,GPT据此来调整其模型参数。但有个疑点:人类会给出大量自私、无聊、偏见、狭隘和恶意的反馈,与人类互动所获得的奖惩参数恐怕很难产生最优结果。这是一个与民主同构的难题。背后的深层问题是:民主同时是一种非集权的专制,是流行、流俗、平庸或缺乏创造性的意识形态专制。为了控制不良因素,GPT只能引入一些人工标签,于是其经验主义就不再纯粹了。比如,GPT会鼓励说you eat an apple,但不鼓励说出you eat shit。这样长期学习下去,GPT会不会变成一个平庸的迎合者?世界上多一个平庸之辈不要紧,但人工智能这个过于响亮的名字或可能导致GPT被识别为思想权威或人民代言人。 也许,人工智能还可以引入更多复杂一些的思维模型,按照我的想象,比如博弈论和演化博弈论的一些模型,还有复杂科学的一些模型,包括因果涌现(causal emergence)模型,还有溯因推理(abductive logic)之类,就应该对人工智能有用。总之,加持多种技术会有助于更准确地形成“意义涌现”,并且在无限迭代的训练和学习中不断更新意义涌现。可以想象,这个过程无限逼近人的经验主义进化方式,而且依靠高速度把万年实现为屈指可数的天数。 不断有新因素加入的迭代就是进化,人工智能的高速迭代实现了“强进化”。这样的高速进化看起来会让人工智能无限逼近人,那么是否会超越人?是否能够成为超人的新主体?请允许我提出一个“新芝诺问题”。众所周知,按照芝诺的算法,阿基里斯永远追不上乌龟,但在物理学上,阿基里斯当然瞬间就能超过乌龟。新芝诺问题的要点在于,人类知识可以无限发展,但受到生物学的限制,人类的智能存在着极限(心灵和身体的能力都有其极限),相当于智能被上帝锁死,因此人类智能有着某种无法超越的智能常数,类似于光速是宇宙的一个不可超越的常数,而人工智能的设计智能来自人类,那么,给定人工智能限于图灵机,合理推测是,图灵机人工智能可以无限逼近人的知识,但无法超过人的智能常数,类似于不可能比光速更快。如此,在智能常数的限制下,人工智能阿基里斯就真的追不上人类乌龟了,当然两者会无限逼近。给定这个情况,无限逼近人类智能的图灵机将是人类最好的工具,能够帮助人类创造更好的生活。然而,人类念念不忘的“自虐”问题是:人工智能何时超越人成为新主体?人类提心吊胆而兴奋地等待这一天的到来。 ▍人工智能如何可能突破奇点 GPT的互动表现使人在一种观看恐怖片的自虐兴奋中不断追问人工智能是否将要成为超级人工智能。其实GPT追求的只是成为比超级人工智能低一级的通用人工智能(AGI)。通用人工智能尚未形成一个通用定义,但一般来说,AGI是一个比超级人工智能要谦虚一些的概念,其确定的意思是“样样都能干”,但不保证“样样比人强”。至于AGI是否具有自我意识,却是一个尚无定论的问题。只有当一个问题被极端化而形成思想自反性,才成为哲学问题,而那些在技术上能够解决的问题都被消化为科学问题,因此,这里要讨论的只是极端化的人工智能问题,即人工智能将来是否能够突破人类的智能常数而成为一种真正的新主体?这个问题的惊悚性等价于外星人来到地球——人类一直是地球上的唯一主体,如果出现了新主体,人类的主体地位就成问题了。这个问题属于提前预告,但预告有可能是错误的,人们对未来的预测似乎很少是正确的。 人工智能突破奇点有两种可能性:(1)超越人类的智能常数,这必须能够产生与人不同而高于人的另一种思维;(2)达到人类的智能常数,又有着比人类智能更大的运作能量。可能性(2)是安全奇点,看起来非常可能,只是需要时间,但可能性(1)是危险奇点,幸亏目前还难以想象。从根本上说,人工智能突破奇点需要获得自我意识、反思性、创造性。这三者密切相关。...
探智能边界?哲学家带你一窥图灵测试背后的真谛
AI情感助手

探智能边界?哲学家带你一窥图灵测试背后的真谛

复旦大学于5月27日举办118周年校庆,以科学研究为中心,延续学术传统,通过40多位名师的学术演讲推进知识交流。其中,哲学教授徐英瑾以电影《人工智能》中的哲学问题引发对人工智能的深入探讨,强调了哲学在打通学科和寻找普遍规律中的作用,以及对当前人工智能水平持谨慎乐观态度。
ChatGPT概念再掀高潮,科技领域新投资主线?TMT板块热浪汹涌,2023年A股市场风向标?
AI情感助手

ChatGPT概念再掀高潮,科技领域新投资主线?TMT板块热浪汹涌,2023年A股市场风向标?

2月15日,A股在TMT行业领涨下下跌,ChatGPT概念涨幅居前;ChatGPT相关公司及信创等科技股受到政策和市场热捧;科技有望成2023年A股主线,TMT板块潜力受机构看好。北京发布人工智能发展白皮书,强化ChatGPT底座和支持头部企业建设大模型。不过,ChatGPT在A股的快速发展也伴随着情绪炒作和技术短板的问题。全面注册制预期将提升市场效率和科技企业上市可期性。2022年TMT企业IPO数量及科创板融资额显著增加,显示了资本市场的活跃和选择。未来,TMT企业可能继续偏向A股市场,同时香港18C和美股复苏也将影响一级市场布局。
万字长文解读:从Transformer到ChatGPT,通用人工智能曙光初现《无间》大结局,沈啸至死不知,花向雨就是他“死去”的女儿!
AI情感助手

万字长文解读:从Transformer到ChatGPT,通用人工智能曙光初现《无间》大结局,沈啸至死不知,花向雨就是他“死去”的女儿!

ChatGPT掀起的NLP大语言模型热浪,不仅将各家科技巨头和独角兽们推向风口浪尖,在它背后的神经网络也被纷纷热议。但实际上,除了神经网络之外,知识图谱在AI的发展历程中也被寄予厚望。自然语言处理是如何伴随人工智能各个流派不断发展、沉淀,直至爆发的?本文作者将带来他的思考。作者 | 王文广出品 | 新程序员自ChatGPT推出以来,不仅业内津津乐道并纷纷赞叹自然语言处理(Natural Language Processing, NLP)大模型的魔力,更有探讨通用人工智能(Artificial general intelligence,AGI)的奇点来临。有报道说Google CEO Sundar Pichai发出红色警报(Red code)并促使了谷歌创始人佩奇与布林的回归,以避免受到颠覆性的影响[1][2][3]。同时,根据路透社的报道,ChatGPT发布仅两个月就有1亿用户参与狂欢,成为有史以来用户增长最快的产品[4]。本文以ChatGPT为契机,介绍飞速发展的自然语言处理技术(如图1所示)。 图1 ChatGPT引发 Google“红色警报” [1][2][3]从机器翻译到ChatGPT:自然语言处理的进化自然语言处理的历史可以追溯到1949年,恰好与共和国同龄。但是由香农的学生、数学家Warren Weaver发布的有关机器翻译的研讨备忘录被认为是自然语言处理的起点,比1956年达特茅斯会议提出“人工智能(Artificial Intelligence,AI)” 的概念还略早一些。二十世纪五、六十年代是自然语言处理发展的第一阶段,致力于通过词典、生成语法(图2)和形式语言来研究自然语言,奠定了自然语言处理技术的基础,并使得人们认识到了计算对于语言的重要意义。这个阶段的代表性的成果有1954年自动翻译(俄语到英语)的“Georgetown–IBM实验”,诺姆·乔姆斯基(Noam Chomsky)于1955年提交的博士论文《变换分析(Transformational Analysis)》和1957年出版的著作《句法结构(Syntactic Structures)》等。 图2 句法分析示例,来自《知识图谱:认知智能理论与实战》图4-5,P149[6]在二十世纪六、七十年代,对话系统得到了发展,比如SHRDLU、LUNAR和ELIZA(图3)。麻省理工学院的SHRDLU采用句法分析与“启发式理解器(heuristic understander)”相结合的方法来理解语言并做出响应。LUNAR科学自然语言信息系统(Lunar Sciences Natural Language Information System)则试图通过英语对话的方式来帮助科学家们便捷地从阿帕网(ARPA net)获取信息,这倒像是当前爆火的ChatGPT雏形。ELIZA是那时对话系统的集大成者,集成了关键词识别(图4)、最小上下文挖掘、模式匹配和脚本编辑等功能[5]。 图3 ELIZA对话系统,摘自维基百科ELIZA词条 图4 ELIZA系统中关键词挖掘的流程图[5]随着自然语言处理任务愈加复杂,人们认识到知识的缺乏会导致在复杂任务上难以为继,由此知识驱动人工智能逐渐在二十世纪七、八十年代兴起。语义网络(Semantic Network)和本体(Ontology)是当时研究的热点,其目的是将知识表示成机器能够理解和使用的形式,并最终发展为现在的知识图谱[6]。在这个阶段,WordNet、CYC等大量本体库被构建,基于本体和逻辑的自然语言处理系统是研究热点。进入二十世纪末二十一世纪初,人们认识到符号方法存在一些问题,比如试图让逻辑与知识覆盖智能的全部方面几乎是不可完成的任务。统计自然语言处理(Statistical NLP)由此兴起并逐渐成为语言建模的核心,其基本理念是将语言处理视为噪声信道信息传输,并通过给出每个消息的观测输出概率来表征传输,从而进行语言建模。相比于符号方法,统计方法灵活性更强,在大量语料支撑下能获得更优的效果。在统计语言建模中,互信息(Mutual Information)可以用于词汇关系的研究,N元语法(N-Gram)模型是典型的语言模型之一,最大似然准则用于解决语言建模的稀疏问题,浅层神经网络也早早就应用于语言建模,隐马尔可夫模型(Hidden Markov Model,HMM)和条件随机场(Conditional Random Fields ,CRF)(图5)是这个阶段的扛把子。在搜索引擎的推动下,统计自然语言处理在词法分析、机器翻译、序列标注和语音识别等任务中广泛使用。 图5...