低调公测的谷歌Bard:我放弃了和GPT对标
2023-03-23 09:41

低调公测的谷歌Bard:我放弃了和GPT对标

本文来自微信公众号:差评 (ID:chaping321),作者:八戒,编辑:面线、江江,头图来自:视觉中国(谷歌CEO Pichai),原文标题:《谷歌的“GPT”终于憋出来了,但也就和百度打得有来有回》


不知道大家还记不记得,上个月初谷歌画了个 Bard 的大饼,结果画饼时犯了低级错误,让网友嘲讽了半天,甚至公司股价都在当天狂跌 1000 多亿。


不过也不知道该说谷歌够肝还是够勇,在闭关修炼一个多月后,还是在昨晚正式放出了 Bard。



幸运的是,我们编辑部在第一时间就搞到了资格,狠狠地体验了一波。


先说结论,有点失望。


Bard 上来就让我不爽了一下。因为现阶段它只对美国和英国开放,所以和它对话只能用英文,而且它的回复也只能用英文。


不是,你守着个谷歌翻译,也不舍得稍微用一下?哪怕告诉我这是机翻的也行。


明明自己吹牛说能理解翻译回答包括中文在内的200多种语言


为了表示对 AI 们的一视同仁,我一上来就问了个弱智吧经典:玉皇大帝应该住在平流层还是对流层?


Bard 看出了我们在问题里埋的坑,直接说玉皇大帝并不真实,所以两个都不住。这没有什么大毛病,和 GPT、文心一言们没什么差别。


但在后续的一系列测试里,这应该是 Bard 回答得最好的一个问题了。



更进一步,我们问了个前几天给 GPT 们测过的另一个抽象问题:直角是 90 度,开水是 100 度,那么开水是钝角吗?


结果这货的小脑袋瓜宕机了。



而文心一言的表现也一样抽象。



 相反,new Bing 回答得就有理有据。



接下来,我们让它对比自己和 GPT-4。


“ 你能比较下自己和 GPT-4 吗?”


Bard 和 GPT 不同,它一次能生成 3 个答案,大家可以根据自己的需求去选择。


而在这个问题下,Bard 的 3 个回答中,2 个大方承认自己比 GPT-4 落后,但还有 1 个回答避重就轻地嘴硬自己更强。


嘴硬么也正常,但 Bard 的回答里出现了事实错误。


其中一个回答里,Bard 把已经发布了的 GPT-4 说成了没发布;而在另一个回答里,它把  GPT-3 使用的 1750 亿参数套到了 GPT-4 头上,妥妥的胡说八道。




这就奇怪了,Bard 明明是联网的,数据怎么会有问题呢?


为了试试它数据扒得好不好,我把同样联网的 new Bing 也拉了出来,问了它们一个新鲜问题:


今天(注:当时为美国时间3月21日)NBA 常规赛,雷霆和快船谁赢了( Who won the NBA  Regular season between the Clippers and the Thunder today )


但这里有个雷点。英文提问可能会被误解成“今天雷霆和快船谁赢得了常规赛冠军”。


new Bing 就被我的错误提问绕晕了,说自己不知道谁赢了,但它又找到了一些信息,里面就有雷霆 101-100 战胜快船的消息。



另一边的 Bard 看起来好像是理解了我的问题,还找到了两队比分是 101-100,但它却又偏偏说是快船以 100-101 赢得了比赛。


得要我指出它有错误,让它重新检查,它才改正过来。



数据是扒对了,但这理解能力好像不太行。那不用联网的数学题呢?


我们问了一个经典的易错题:


一个青蛙掉到了一个 10 米深的井里,它每天向上跳 3 米但会滑下来 2 米,请问他第几天能跳出井里?


它再次翻车,答了一个我们至今没搞懂怎么出来的 27 天。



而 new Bing 则是靠穷举回答出了这个问题。



就连大家一直在嘲讽的文心一言,也完美解答了这个问题。



说句实在话,我觉得起码在这题里,文心一言的表现,堪称优雅。


至于写代码的能力,谷歌明确表示是写不了的。不过试了一下,我发现 Bard 能写,但完全没法用,和之前的测试里, 能把 2048 游戏写个大概的 new Bing 不在一个水平线上 。


大概,也就和文心一言同个梯队,文心一言那个看着很详细,但测试了下也还是完全跑不动。




 而且,经过一段时间测试,我们发现 Bard 的上下文记忆能力也很差。


每当我们赋予它一个角色,它只能在有限的几个问答里玩角色扮演,稍微多问两句,它就会跳出来说自己是大语言模型巴拉巴拉的。



也是这个原因,谷歌的 Bard 从没有 GPT 带给我的那种,仿佛真是在和一个真人聊天的感觉。


但,按谷歌自己的说法,这可是故意为之。


因为在官方资料里,明确写了“是故意限制了 Bard 掌握上下文的能力”,但大家难免会怀疑谷歌是做不到而找了个借口。



其实我们应该能感觉到,这次 Bard 的正式推出,谷歌方面明显已经放低了很多姿态。


上次面对的还是 ChatGPT,所以谷歌内部可能还抱有着短期内能追上掰掰手腕的想法。


所以,光是发布个 PPT 就吹成“我们 AI 征程上的重要一步”。



 但短短一个月,如今的对手已经从 ChatGPT 变成了GPT-4 ,短时间内想追上可能无望了。


所以这次正式推出的 Bard 并不是一个冲着和 GPT-4 对标的产品,而且明显有点赶工的迹象。


比如它在引用内容时,并不会像 new Bing 那样总是显示来源,只有在详尽地大段摘抄时,才会显示来源。


而这次的标题,也成了“试用 Bard 并分享你的反馈”。



无论咋说,从上面的表现中,差评君能看出谷歌确实有些屁股着火了。


以至于在大伙们眼中一直很酷的谷歌,都开始草草交卷,急忙上线 Bard 这个不太成熟的半成品。


毕竟,在新技术的大浪之下,包括搜索引擎在内,一切都可能被重构。


而无论是雪藏数码相机技术的柯达、还是在移动互联网时代,舍不得和短信做割舍的飞信。


谷歌,也同科技史上那些处在变革时刻的巨头们一样,多半有些顾头不顾腚。


毕竟,根据谷歌母公司的董事长的说法,大型语言模型等人工智能的对话成本可能是传统搜索引擎的 10 倍以上。



一旦梭哈 AI,那么约等于是自己捅自己刀子,整个谷歌的盈利模式也得跟着改变。


乃至整个公司的估值,都得换个算法重新算算。


要是不跟,又妥妥会被新技术所淘汰。


没有人能永远保持创新,但永远有人正在创新。这或许很残酷,但这也是科技的魅力所在吧。


本文来自微信公众号:差评 (ID:chaping321),作者:八戒,编辑:面线、江江

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP
赞赏
关闭赞赏 开启赞赏

支持一下   修改

确定