从词语意义到关系推断,ChatGPT是如何理解人类语言的?
导语:这是一个革命性的技术,对于许多知识工作者来说,从市场营销到工程师,从招聘人员到社会工作者,GPT将改变一切。 现在,你可能已经听说过OpenAI的ChatGPT,或者任何一个替代品GPT-3、GPT-4、微软的Bing Chat、Facebook的LLaMa甚至谷歌的Bard。 它们是可以参与对话的人工智能程序。它们非常聪明,很容易被误认为是人类,并能熟练完成各种任务,从写论文到创建网站。 一台电脑怎么能进行这样的对话呢?让我们来看看它是如何工作的。 1、一种概率性的方法 自然语言最简单的模型是一个天真的概率模型,也被称为马尔可夫链 1 。这个想法很简单:取一个参考文本,越长越好,然后学习单词序列的概率。例如,给定一个句子: The cat eats the rat. 猫吃了老鼠。 该模型将了解到,在 “猫 ”之后,总是有 “吃”,然后是“的”。但是在“the”之后,有50%的机会出现“猫”,50%的机会出现 “老鼠”。 我们可以用这个模型来问一个不完整的句子后的下一个词是什么。如果我们重复这个过程,我们可以生成整个句子。 如果我们要求模型生成一个句子,我们可以得到与训练文本完全相同的东西: The cat eats the rat. 猫吃了老鼠。 We could also get: 我们也可以得到: The rat. The cat eats the cat eats the cat eats the rat....