文章主题:科技圈, 微软, 裁员, macro经济状况
受到科技行业 “潮流” 的引领,微软公司在2023年3月底前计划全球裁员约1万人,占其员工总数的5%。此次大规模裁员被视为微软对宏观经济环境和客户需求变化的一种应对策略。然而,这一举措并未影响公司拥有足够的财力对人工智能领域的领军企业OpenAI进行新一轮的投资。
根据Semafor的外媒报道,微软将投入100亿美元资金对OpenAI进行投资,并将在取得回报之前获得OpenAI公司75%的利润分配权益。一旦回收初始投资,微软将拥有OpenAI公司49%的股权。
对不起,我无法理解您提供的信息。能否请您提供更多的上下文或详细的信息,以便我能更好地帮助您?
ChatGPT在2022年11月30日向客户端正式推出,仅仅两个月过后,基于该模型的工具平台的月活跃用户数量便已经达到了1亿。近期,ChatGPT further升级并推出了Plus增值版,仅需每月支付20美元,便可为更多的企业和学生提供会员服务。与此同时,摩根士丹利的一份研究报告正在探讨ChatGPT是否会威胁到谷歌的地位,报告中指出:“这种语言模型有可能占据一部分市场份额,并对谷歌作为互联网用户入口的地位产生冲击。”
在深度学习的波涛汹涌中,近年来NLP领域的科研成果日益显著,不仅开辟了众多新颖的应用前景,但在商业化的关键环节上却仍未能取得突破性进展。然而,近期OpenAI与微软土财主的联合投资,无疑引发了NLP技术企业的新一轮集体焦虑,这无疑将推动该领域的进一步发展。
ChatGPT的过去与现在ChatGPT是一种基于微调后的GPT3.5模型的AI助手,它与早期的一些NLP预训练大模型如ELMO、谷歌的BERT、ALBERT,以及百度的人工智能助手ERNIE和达摩院M6等相似。这些模型都具有广泛的应用场景,例如知识检索、人机交互、语言翻译和文学创作等。这表明预训练模型在自然语言处理领域已经具备了相当高的能力,可以应对各种复杂的任务需求。
但不同的是,ChatGPT这次还提供了客户端界面,用户可直接通过客户端基于模型训练出的“机器人”进行交互,并且实现WebUI免费版。这种做法也让许多C端用户可以迅速调用ChatGPT,如构思小说框架、写论文、辅助课程设计、为程序debug等操作花样百出。
在GPT3.5之前,OpenAI已经连续发布三个版本的GPT模型,尤其以GPT-3最为著名。在此期间,GPT模型就开始疯狂通过增加可训练参数、增加训练样本等方式进行改进。但暴力拆解方式下,GPT-3依然会经常产生错误,曾有专家指出,“如果没有大量复杂的工程调试,GPT-3还无法真正投入使用。”
另一方面,GPT-3,其参数量就已经达到1750亿,并使用了45TB的训练样本。这意味着当AI任务训练效果提升的同时,也对模型训练成本和时间带来了巨大挑战。业内有人曾估计仅训练GPT-3模型就需要1200万美元,如果用一块非常先进的英伟达GPU训练GPT-3,大概需要100年。
在Transformer思潮的推动下,语言模型进入“巨量”时代,大模型已经在产业界带来了一系列连锁变化。而NLP领域又并非是一个独立的技术范畴,依然需要有底层算力、大数据、知识图谱、迁移学习等核心技术的支撑。
如果GPT按照以往的发展逻辑,将会逐渐通过开源方式让科研与工程界共享技术红利。但在商业世界,绝非如此简单。
微软的神来一笔2019年,在联合创始人马斯克转身离开后,OpenAI宣布重组,成为有利润上限的盈利机构,股东的投资回报被限制为不超过原始投资金额的100倍。同年7月,微软以10亿美元注资,并获得了OpenAI GPT-3的独家授权,而OpenAI则可借助微软的Azure云服务平台解决商业化问题,缓解高昂的成本压力。
过去几年,OpenAI与微软的合作节奏逐渐加快。2021年,OpenAI与代码托管平台Github(被微软收购)合作推出Copilot AI智能代码生成平台,可将文字语言提示词转化为代码,目前是为了提升开发者编码效率。
2022年,OpenAI先后推出图像生成器DALL-E 2和文本生成器ChatGPT,微软也迅速将其整合到自身产品套件,如搜索引擎Bing、Office办公全家桶、会议视频产品Teams Premium均已经计划应用ChatGPT。
而如今,微软不仅希望进行新一轮百亿美金投资,还表示将在Azure云平台中整合ChatGPT,实现Azure OpenAI服务全面上市,通过该服务可访问OpenAI开发的AI模型,届时微软的每个产品都将具备相同的AI能力。
与OpenAI的合作,成为微软到迄今为止在AI领域一笔成功的买卖,对微软在搜索引擎、办公、会议视频,以及云市场引发了强烈冲击,而这也让外界“期待”有望在2023年发布的GPT-4。
热闹的背后据外媒CNBC爆料,谷歌最近正在加快研发一个名为“学徒巴德”(Apprentice Bard)的聊天机器人,其基于LaMDA语言模型。显然,谷歌于去年12月针对ChatGPT的“红色警报”已经拉响。而除了LaMDA之外,谷歌也已经计划将图像生成模型Imagen对抗OpenAI的DALL·E 2。
而据百度披露,今年1月初,百度搜索将升级“生成式搜索”能力,基于百度自研的生成式模型能力,为用户开放式的搜索提问或定制化的信息需求“创作答案”。此外据路透社报道,百度曾计划于3月将该服务作为独立应用推出,再逐步将其集成到搜索引擎中。
无论在当下关注度较为集中的搜索领域,还是其他潜在领域,受ChatGPT的强烈刺激,包括谷歌、百度在内的AI主力梯队已经快速跟进起来。不过,源自GPT本身涉及的伦理问题与技术难点依然存在。
如Stack Overflow已经宣布禁止将ChatGPT所产生的问题用于回答社区问题,并给出违规者最多可被封禁30天的惩戒措施。当不少大学生开始用ChatGPT写作业,纽约大学等高校的教授及学者们也发出警告,将AI视为作弊行为。
在技术层面,GPT-3曾经会犯的错误,在ChatGPT上也并未解决掉,如只能计算精通十以内的加减法,甚至还会“一本正经地胡说八道”。这与ChatGPT的训练语料库有一定关系,其喂养的数据还是来自2021年前来自互联网的数十亿个文本示例。例如在专业知识领域或者信息更新快的IT领域,模型训练任务和训练效果往往会受其制约。
而在训练成本上,小冰公司CEO李笛此前表达,“ChatGPT主要是研究性质上的突破。它有非常好的创新,即证明了在原有的大模型基础之上,进行一些新的训练方法,可以更好地提高对话质量。但如果小冰用ChatGPT的方式来运行系统,现在小冰每天承载的交互量就需要花近3亿人民币的对话成本,即使ChatGPT可以把成本优化到现在的10%,也赚不回来。”
据外媒披露,微软此前的融资就以现金+Azure云算力的方式作为兑付,模型训练最消耗的也恰恰是算力成本。这也难怪分析机构预测,ChatGPT使用量的快速增长可能使英伟达在12个月内销售额达到30亿至110亿美元。长期来看,这也将是微软应对算力高投入与ChatGPT高增长可预见收益下的一种对冲策略。
其实,ChatGPT出现之前,基本国内大的AI玩家就已经在涉足构建出类似于GPT、但主要基于中文语料库的预训练大模型。大模型在落地过程中呈现出了与以往模型不同的技术特征,也带来了更好的智能化水平。
“但是大模型想要在某个方向上训练得更好,智能化水平更高,需要在具体落地场景引入额外的领域知识,才能解决实际问题。AI大模型有其自身特点,训练时使用的数据集主要来自互联网,在通用知识和领域知识的分布上存在不均,会影响其在具体行业的应用。”浪潮信息AI软件研发总监吴韶华对钛媒体App表示。
对于更多的创业公司而言,大模型做微调或二次开发的方式,且不说仍需要大量算力的支持,在实际场景中,能不能等到成熟落地也需要时间成本。
在ChatGPT之后,势必会有更多的AI团队试图给出算法更加精准、训练成本更低、对于用户而言调取更方便的模型,它可能依然会结合Transformer,也可能运用新的机器学习方法,提出对语言翻译、文本生成、甚至情感分析等NLP通用场景下的解决思路。
尤其对于中国的AI团队,也会在ChatGPT的这场狂欢中继续回答一个老问题:当技术的风口再次来了,如何避免走过去商业目标不清晰的老路?(本文首发钛媒体APP 作者 | 杨丽)
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!