Gemini vs GPT,谁输谁赢?
2023-12-08 09:31

Gemini vs GPT,谁输谁赢?

本文来自微信公众号:未尽研究 (ID:Weijin_Research),作者:周健工,原文标题:《双子座Gemini vs. GPT》,题图来自:Google Gemini

文章摘要
本文介绍了Gemini双子座和GPT之间的竞争关系,对它们在基准测试中的表现进行了比较,并讨论了Gemini发布对谷歌和AI领域的影响。

• 💥 Gemini Ultra在多项学术基准测试中展现出超越时代的结果,特别是在语言理解方面表现优秀。

• 💪 谷歌拥有强大的大模型训练和推理平台,使Gemini能够迅速迭代并建立反馈闭环。

• 🚀 谷歌的AI计算基础设施对Gemini的推出起到关键作用,同时谷歌还推出了用于Pixel手机的Nano模型,进一步加持其硬件业务。

Gemini(英文名双子座)推出,国内媒体标题上各种“王炸”“杀器”“碾压”之外,其实它展示的各种功能,已经很难再激起人们一度熟悉的神奇感和令人惊喜的效果了。


和所有的人一样,我首先关心的是,它超过GPT-4了吗?


昨天看到Gemini发布的消息,第一件事,是把Gemini测试的表格,直接上传到Bard,它果然能对图表进行比较详细准确的解读。如与GPT-4相比,认为明年初推出的Gemini Ultra胜出,已经面世的Gemini Pro逊色,各自在多项指标上的表现如下:


“根据这张图的数据,GPT-4在大多数基准测试中都优于Gemini Pro。例如,在MMLU、GSM8K、MATH、BIG-Bench-Hard、HumanEval、Natural2Code、DROP、HellaSwag和WMT23等基准测试中,GPT-4的准确率都高于Gemini。”


“根据谷歌提供的数据,Gemini Ultra在32个广泛使用的学术基准测试中有30个都表现出了超越当前时代的‘先进结果’,而这些基准测试也是当前LLM领域最常用、最泛用的测试。其中,它以90.0%的得分成为第一个在MMLU(大规模多任务语言理解)上超越人类专家的模型(该测试结合了数学、物理、历史、法律、医学和伦理等57个学科)。Gemini Ultra还在新的MMMU基准测试上表现出了59.4%的领先级性能,该测试涵盖了“需要深思熟虑的”不同领域的多模态任务。


相比之下,GPT-4在MMLU基准测试中的得分为87.29%,在MMMU基准测试中的得分为52.9%。因此,Gemini Ultra在大多数基准测试中都优于GPT-4。”


不过,与许多熟悉大模型测评江湖的专家一样,我也要问一句,这些测评的参考价值有多大?


例如,最受关注的是所谓的Gemini对语言的理解力首次达到(而不是超过)了人类专家的水平,而且在这一项上的学霸级的90分,是尚未发布的Gemini Ultra“碾压”GPT-4的最重要依据。


但是,这个说法很快就引发了一些争议,认为在MMLU这项指标上有点人为拔高。只有CoT(思维链)达到32个例子时,Gemini才能达到90分,超过GPT-4;当例子数量减少到5个,Gemini Ultra得分83.7%,不如GPT-4得分86.4%,高于GPT-3.5的70%。



谷歌在5月份发布Palm-2的时候,也挑出了两个优于GPT-4的指标,但是后来这个大模型怎么样,大家都清楚了。



Gemini发布的喧嚣中,值得注意的是谷歌云发布了TPUv5p,训练大模型每刀效率提升2倍以上。不管Gemini是否碾压了GPT-4,但有一点是肯定的,谷歌拥有比微软更强大的大模型训练和推理平台。谷歌研究负责人Jeff Dean特意从技术报告中拎出了这些亮点:



大家比较公认的是,Gemini赶上了GPT-4,其多模态能力甚至超过了GPT-4V。Meta的PyTorch联合创始人Soumich Chintala认为:


“似乎在基准测试上不让GPT-4。谷歌拥有现有的客户和平台可以开始建立反馈闭环,无需担心模型采纳问题。而且谷歌将使用TPU进行推理,因此不必像OpenAI和微软那样支付给NVIDIA 70%的利润(直到他们的芯片准备好并投入生产)。这是令人兴奋的转变。”



Gemini以后将成为谷歌所有产品与服务的基础模型。从技术报告中可以看出,开发这个大模型,由Google DeepMind牵头,几乎所有的主要研发部门、基础设施部门与数据内容部门都参与了,后面列出了约800名贡献者名单,与目前OpenAI公司的人数相当。


今年3月份GPT-4发布之后,谷歌很快把DeepMInd和Google Brain合并,由哈萨比斯担任CEO,主要使命,就是牵头研发多模态大模型Gemini。


谷歌拥有最大的AI人才库,包括Transformer论文在内的最重要研究成果,几乎都出自谷歌。谷歌还拥有最强的AI基础设施、最大的数据库、最强的搜索以及最丰富的应用场景。哈萨比斯的愿景也是实现通用人工智能。谷歌没有任何理由一直跟在OpenAI的后面追赶。


许多人认为谷歌动作迟缓,是因为大公司病。这肯定是一个原因,也导致谷歌今年以来的人才流失。


另外还有一个重要原因,作为一家已经拥有AI全栈技术与顶级应用的科技巨头,谷歌的行为肯定与初创公司OpenAI有所不同。


谷歌最重视的仍然是搜索。它并不想用语言大模型来颠覆搜索,而是用它来加强搜索,谷歌称之为生成式搜索。它也需要考虑生成式搜索的成本。大模型每次query的成本已经大幅度下降,但仍然比搜索的每次query昂贵。谷歌必须要考虑的,是每年为全世界数十亿用户提供的数万亿次免费搜索的成本。


所以对于谷歌来说,它的AI计算基础设施非常重要。它希望能在训练、推理、能耗等方面的成本降下来,既能支持生成式搜索,同时又加持其他的业务,包括硬件业务。


谷歌这次推出用于Pixel手机的两款Nano模型,会进一步推动生成式人工智能向设备端部署。同一天,苹果悄悄公布了基于M芯片的大模型训练和部署框架MLX,Mac笔记本电脑将会更加AI化。


谷歌推出Gemini已经晚了吗?似乎并不晚。正如哈萨比斯所说,发布了Gemini之后,就回到了他当初在DeepMind所熟悉的节奏,会迅速地迭代出更好的产品,从1.0版本到2.0版本。


Gemini推出,给Claude、Inflection,也包括开源的Llama2等大模型带来新的压力,这种压力会传递到国内。目前国内最好的大模型,综合水平基本上处于GPT-3.5这一档。进入2024年,大模型的竞争,可能会形成真正的双子座:GPT-5与Gemini-1。


本文来自微信公众号:未尽研究 (ID:Weijin_Research),作者:周健工

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP