深度解读:AI产业10大分歧
2024-08-25 12:37

深度解读:AI产业10大分歧

作者:费斌杰(北京市青联委员 熵简科技CEO),原文标题:《【干货】Cohere CEO深度解读AI产业10大分歧》,头图来自:视觉中国

文章摘要
Cohere CEO分享AI产业分歧与未来方向。

• 🎮 科技公司CEO多为骨灰级游戏玩家,有助于培养韧性。

• 🚀 Scaling Law依然有效,但需要更高效的小模型。

• 🤖 短期看语音,长期看通用机器人是确定性AI机遇。

近日,头部AI创业公司Cohere的CEO Aidan Gomez在20VC播客节目中,和大家分享了他的真知灼见。


Aidan Gomez是Transformer七子之一(也是其中发量最茂盛的一位)。2019年,Aidan Gomez成立了AI创业公司Cohere,聚焦企业端的大模型服务。短短几年时间,公司估值突破55亿美金,累计融资10亿美金。


作为AI一线从业者,Aidan在访谈中深入分享了他观察到的行业动态,含金量很高,解答了不少大家关心的问题。


我这里给大家脱脱水,只讲干货,有一些关键内容我会直接援引原文,以便更好的传达Aidan本意。


AI公司CEO与电子游戏


访谈一开始,Aidan和主持人Harry Stebbings讨论了一个非常有趣的话题:为什么优秀的科技公司CEO大多是骨灰级游戏玩家。


Aidan认为,电子游戏在潜移默化中塑造了玩家的韧性、不断尝试的勇气、以及乐观主义的心态。


在游戏中,你知道你可以失败,然后try again, get better。这种progress through failure的精神内核,是CEO的必备素养。


电子游戏,是一种培养resilience的有效途径。


Aidan坦言,在部分国家的文化中,you only got one shot,不成功便成仁,这种社会文化是对科技创新的天然抑制剂。


Scaling Law是否依然成立?


Aidan给出了非常明确的判断:Scaling Law依然成立,并将在相当长的时期内保持有效。


Scaling Law的本质在于,为了实现模型智力水平的线性增长,你需要指数级的提升算力投入。


现实问题在于,几乎没有企业会真的部署GPT-4模型,因为它太大了,投入产出比很低。


市场需要更小、更高效的模型,而不是单纯的scaling up。


如何在AI竞赛中脱颖而出?


作为基础大模型提供商,主要有两种出路。


一种是坚定scaling up,自建机房,提高算力投入,把模型变得更大。用Aidan的原话说:


Scaling up is the most trustworthy way to improve the model.


但是这条路线需要巨大的财力支持,创业公司本身是玩不转的。


Google前CEO Eric Schmidt近日爆料OpenAI的星际之门计划预计耗资3000亿美金,这对于创业公司来说显然是个天文数字。


因此,对于AI创业公司而言,走这条路线的前提是成为科技巨头的附庸,用独立性交换入场券。


Plan B:数据创新、算法创新


另一种出路是不完全依赖于scaling up,而是在数据、算法层面进行创新。


首先来看数据创新:


目前开源领域中,绝大部分的成果都来自于数据创新,其中又可以分为两大流派。数据创新的第一种方式,是采用更好的爬虫算法,更准确的parsing网页,提高训练集的质量。


Aidan指出,互联网上充斥着大量重复、错误的脏数据,如何降低它们的权重,提升高质量数据的训练权重,是提升模型能力的一大关键。


数据创新的第二种方式,就是合成数据。这也是Cohere在重点攻克的方向。


然后来看算法创新:去年底OpenAI爆出Q*的传闻,本质上是AI的算法创新。


AI算法创新的核心,是围绕“搜索”展开的。


The key ideas around new RL algorithm is about "Search".


Aidan认为当前大模型并不具备Solving problems的概念。无论你问一个很简单的问题(比如1+1=?),还是一个超难的问题(比如市场价格预测),大模型都一视同仁的“秒回”。


这其实是不合理的。我们需要让大模型学会“慢思考”,要让大模型学会从错误中成长。


这些都涉及RL算法层面的创新,这方面的潜在提升空间巨大。


推理能力不足,源于训练数据匮乏


Aidan认为,目前大模型的推理能力依然不足,这背后的主要原因是训练数据匮乏。


在我看来,这是一个非常重要的观点,我把原文中涉及的两句话贴出来:


There's not much training data that demonstrates reasoning on the internet. Internet is just the output of reasoning process.


互联网虽然数据体量庞大,但绝大部分都是人类的推理结果,并非推理过程。


人类并不习惯于把思考问题的每一个步骤清晰地写出来,而是习惯于预设结论,你说你的我说我的。


推理过程数据的严重缺乏,极大程度限制了大模型的推理能力,因此包括Cohere在内的AI公司都在积极自建推理训练数据集。


如何看待合成数据的发展?


当前大模型API市场基本被合成数据垄断了。


“People are creating data from these big expensive models to fine-tune smaller models that are more efficient.”


Aidan认为这算是一种另类的“模型蒸馏”方法,就是有点猫鼠游戏的感觉。


大模型厂商都在降价,未来会卷到免费吗?


Aidan认为未来只卖大模型 API,生意将会很难做,它最终会成为一个zero-margin business。


原因很简单,人们只关心性能最强大的模型。


There's no market for last year's model.


要获得长期发展,就需要在AI应用层做文章。


Aidan坦言,Ilya离开之后的new OpenAI更像是一家AI应用公司,而不再是一家以追求AGI为核心目标的公司了。


从商业角度来看,这种转变是完全正确的,单纯卷模型能力并不是一个好的商业模式。


企业客户对AI最大的误解是什么?


在Aidan看来,企业客户对AI最大的担忧是幻觉现象,但他认为这种担忧有点过度了。


首先,现在的大模型确实存在幻觉现象,但随着大模型能力的提升,hallucination rate已经显著下降。


其次,通过RAG,我们能够在大模型的回答输出中加上reference,进一步降低幻觉导致的问题。


最重要的是:We exist in a world with humans and humans hallucinate constantly.


AI存在幻觉现象,绝不是我们通盘否定AI的理由,因为我们人类几乎每时每刻都在产生幻觉。


确定性的AI机遇:短期看语音,长期看机器人


短期来看,AI最确定性的机会,是基于语音的交互重构。


Aidan推荐还没有尝试过和AI语音交流的朋友,抓紧去体验一下。


当你听到大模型那富含情感的语气、吐字间的呼吸、咂嘴等小动作时,你会震撼于语音大模型带来的用户体验。


长期来看,通用机器人是下一个具有较大确定性的领域。


因为大模型的出现解决了机器人领域中最棘手的问题,即reasoner和planner。


In 5-10 years, we will have general purpose humanoid robotics that are cheap and robust.


未来芯片领域还会是英伟达一家独大吗?


目前芯片领域是整个AI产业margin最高的环节,几乎被英伟达一家垄断。


Cohere为了满足企业客户的需求,在不同芯片架构上进行大模型训练,因此Aidan在这个问题上拥有绝对的发言权。


芯片需求可以进一步分为推理侧和训练侧。


目前推理侧的芯片供给已经趋向于完全竞争。


相比推理侧而言,训练侧对芯片的性能要求更高,目前集中度很高,主要有英伟达和Google的TPU。

Aidan认为,这个格局很快会发生改变:


AMD, AWS Trainium are going to be ready for prime time.


It's going to change faster than most people think.

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP
赞赏
关闭赞赏 开启赞赏

支持一下   修改

确定