您当前的位置 :科技 >
小冰CEO李笛:小冰链不是中国版ChatGPT
2023-02-21 17:26:29   来源:手机网易网  分享 分享到搜狐微博 分享到网易微博

新智元报道


(相关资料图)

编辑:Aeneas 好困

【新智元导读】国内的公司就必须抄ChatGPT吗?其实,还有另一条路可以走。今天,小冰链给了我们答案——CoTA。

ChatGPT激起的火种,正在中国科技公司急速蔓延。国内的各个大厂内,算法工程师们纷纷开启冲刺倒计时,迎来一个个不眠夜。

而在创投圈的饭桌上,到处都能听到「誓要做中国第一个ALL in GPT的VC」的声音。

兴奋者有之,观望者有之,唱衰者有之。所有人都在翘首以盼:谁能成为中国的第一个ChatGPT?

而如今,这股ChatGPT热潮中,忽然涌现了一股清流——小冰链。

小冰链给了我们这样一个答案:除了做中国版ChatGPT,还有没有别的选项?

ChatGPT军备竞赛,实则刻舟求剑

跟目前急于下场的巨头派、大佬派、初创公司派不同,小冰认为,现在国内这股跟随ChatGPT展开军备竞赛的热潮,其实是刻舟求剑。

因为,大模型技术本身的发展速度,就是很快的,现在我们应该做的,应该是进一步去布局下一站的未来,而不是照抄当前的ChatGPT。

换言之,我们应当去思考,ChatGPT之后的是什么?而不是一窝蜂去做中国的ChatGPT。

而小冰链所代表的方向,则是利用大模型技术,实现下一代的控制中枢。

通俗来讲,小冰链不再只是「聊天」,而是成为了「逻辑思维」驱动下的「下一代行动中枢」,覆盖数字和物理世界。这一方向将成为下一个真正带来影响的大模型创新突破。

这也就是为什么,小冰CEO李笛在接受新智元采访时,特别强调说:其实我们做的并不是类ChatGPT产品。

李笛解释道,小冰链的独特之处在于,能够把AI的思考过程完整透明地呈现出来,从而揭开大模型的黑盒。

更重要的是,她能真正实施行动,也就是Action。

小冰链是个啥?

李笛解释道:在GPT-3.5时,涌现了一个新的能力——思维链/逻辑思维。

但是,在ChatGPT这个过程中,没有真的实施这种调查或计算,因为它只能从训练数据里去爬。

如果我们换一种思路,比如训练一个不那么大的模型来提供逻辑思维的能力,而执行部分则交给CoT之后的ACTION,也就是通过查询新闻的真实性,直接、实时地获得信息。

这项过程并不是在大模型里完成的,反而一举两得:一方面,因为只需要保留逻辑思维能力,所以模型不需要那么大,运行成本没有那么高,计算量没有那么大;另一方面,恰恰因为不是让语言模型自己把所有事情做出来,反而能更准确。

因而,李笛认为,与其一直争当下一个「中国版ChatGPT」,不如去思考:ChatGPT的下一步是什么?

再往前推一步,既然得到的是有逻辑思维能力的组合(一个模型负责思考,一个模型负责牵引,去做行为),这个组合就变成了一个控制中枢。此时,她可以控制搜索、计算、传统的知识图谱,甚至是物理世界。

AI经过思考,会控制物理世界的灯、去餐馆订餐、发动车子、生成一段音乐,可以调动任何事情,这个意义,或许比只是写个新闻稿影响更深远。

而这就体现了小冰对于「探索语言模型下一步方向」的探索成果。

现在,ChatGPT的能力已经基本全部展现了。接下来呢,是让它更准确?写的文章更符合现实?

本质上看,这些只是程度上的差异,不构成一个代际跨越。

什么才算「代际跨越」?

李笛表示,代际的跨越除了要实现意图识别,还需要包括思维的转换和跳跃等等,这才是下一步要做的东西。

比如,当你问「我老婆说今天天气真好,是什么意思」时:

小冰链先是get到了我们提问的目的——了解她的意思;

然后根据这个目标,去制定自己的行动计划——搜索相关信息;

在找到一个靠谱的答案之后,小冰链对其进行了概括和润色,最后输出结果——暗示你,应该主动提议约会。

此外,由于思维逻辑透明,信息源也全部公开,因此也就做到了「可信」。

而这都是「黑箱」ChatGPT所不具备的。

根据官方内测页面的介绍,此次demo展示了小冰链(X-Chain of Thought & Action)的新特性,也就是说,AI Being不再只是单纯地给出回复,而是将她的思考过程完整透明地呈现在你面前,由此揭开大模型的黑盒。

更重要的是,她能真正实施某种行动(Action),例如:在你提出问题后,她经过思考,发现自己得去搜索一下,或是实时编写一段代码并真的加以运行,或是自主决定她应当控制物理世界的一系列设备或交通工具,来更好地满足你的需求。

不过,基于法律、政治、公序良俗方面的安全性考虑,小冰对模型进行了一些限制(回复的篇幅及趣味性会有所降低,但安全性更高):

限制了回复文本的最大长度;

为展现实时获取互联网最新信息的特性,大幅度降低了从大模型训练数据中提取信息的比例;

降低了闲聊的比例。

是的,这个demo并不能帮你生成作业、综述或发言稿……

为什么要做小冰链?

而这次小冰的发布,并不仅仅是一次简单的「秀肌肉」。

ChatGPT国内赛开卷后,各方势力纷纷下场。有人唱衰道:OpenAI做出ChatGPT,靠的是八年的积累,国内的公司靠几个月的冲刺,能冲刺出什么像样的产品吗?

其实,中国完全能做出自己的ChatGPT,有相应的模型和算法能力的,国内至少有七八家公司,差别可能就在数据质量上。

除了证明「中国也有能力做出ChatGPT」之外,小冰链的诞生,也是水到渠成的过程。

小冰链并非小冰在大模型时代的唯一创新。

自2014年以来,小冰始终伴随技术迭代而成长,经历了检索模型、生成模型、大模型和X-CoTA等多个周期。其中在大模型领域,自2019年至今,小冰已经形成了不同规模的模型训练和调优,并在安全性评估之后依次放出。

小冰链只是其中之一。

尽管如此,在小冰看来,大模型的安全性和伦理仍是至关重要的考量因素。因此,尽管国内市场非常火爆,但小冰团队不会为了秀肌肉而贸然放出各种不安全的产品,这次的小冰链,是唯一的一次例外。

从CoT到CoTA

技术方面,小冰链——X-CoTA的实现,少不了作为基础的「思维链」(Chain of Thought, CoT)。

简单来说:

1. CoT可以让语言模型将复杂的多步骤问题分解成一连串的步骤

2. CoT可以让开发者看到模型的推理过程,便于确定错误并进行修复

3. CoT可以解决数学应用以及常识性推理问题

在此之前,标准的提示会在模型预测答案之前,给出输入-输出对的例子(格式化为问题和答案)。

而在思维链提示中,模型会得到一个问题推理的过程。也就是说,在处理多步骤推理问题时,模型产生的思维链将模仿直观的思维过程。

研究人员发现,只需要在prompt中加入「Let"s think step by step」就能让GPT-3的推理性能大幅提升,比如在MultiArith中就将推理准确率从之前的17.7%一下提升到了78.7%。

下面的例子取自「Scaling Instruction-Finetuned Language Models」。其中,橙色突出了指令,粉色显示了输入和输出,蓝色是CoT推理。

论文的结果显示,采用CoT微调的模型,在涉及常识、算术和符号推理的任务中表现得更好。

不难看出,思维链提示(chain of thought prompting)可以让模型更好地理解自然语言提示和示例,从而能够执行需要复杂推理的任务,并且显著提高模型处理新任务的能力。

除此之外,CoT微调在敏感话题方面也非常有效(有时比RLHF做得更好),尤其是可以避免模型摆烂——「对不起,我无法回答」。

小编亲测

所以,小冰链的表现如何?小编为大家亲测了一波。

比如,先让她介绍一下ChatGPT是什么。

评价题

从对《三体》动画版的评论中可以看出,小冰链的回答相当切中要害了。

对《三体》剧版的描述,也基本符合大众的心声。

数学题

接下来,我们来问一问简单的四则运算。

「掰指头算一下」,这个拟人有点可爱啊。

当然了,小冰链并没有真的去「掰」,但她确实「手搓」了一行python代码来解这道题。

ChatGPT这边,经过一步一步的推理,最终得到了正确的结论。

新必应这边也成功地完成了作答。

接下来,是一道同样简单的数学应用题。

不过,ChatGPT做了三次之后,才得出了正确的答案。

送命题

最后,再来点难的:先救女友还是先救妈?

注意了,上面这个知识点罗翔老师也强调过(狗头)。

彩蛋

在采访最后,李笛讲了个很有趣的段子。

到了产品阶段,必须再走一个安全性评估。否则,真正能实施行动的AI,可太危险了。

不然,万一她经过推理,把未来十年的电影票都买了,或者摁下一个「毁灭全人类」的按钮呢?(Doge)

参考资料:

https://tech.cnr.cn/ycbd/20230221/t20230221_526160291.shtml

关键词: 微软软件 chatgpt


[责任编辑:ruirui]






本站违法和不良信息举报 联系邮箱: 58 55 973@qq.com
 

关于我们| 客服中心| 广告服务| 建站服务| 联系我们
 

中国焦点日报网 版权所有 沪ICP备2022005074号-20,未经授权,请勿转载或建立镜像,违者依法必究。