本文来自微信公众号:未尽研究 (ID:Weijin_Research),作者:未尽研究,题图来自:视觉中国
本文来自微信公众号:未尽研究 (ID:Weijin_Research),作者:未尽研究,题图来自:视觉中国
大模型与生成式AI已经炫技一年多,吊足了普通消费者的胃口,一千个用户心中有一千个AI PC。在不同厂商数次“发布”AI PC这款全新形态的个人计算平台之后,上一代PC行业的主导者,决定收敛对AI PC的定义——更多的是从自己的能力出发,而不是从用户体验。
微软与英特尔是传统的Wintel联盟的核心,这几天在中国台湾举办的一场AI PC峰会上,联合宣布了AI PC至少要满足如下特征:带有NPU(神经处理单元)、CPU与GPU、Copilot及其物理按键。但英特尔此前又有自己的定义,非常简洁,只要带有NPU即可。
它们正在做的事,正好印证了未尽研究上周发布的《AI大模型亢奋一年多,该上终端设备了?》核心观点之一:AI PC的两大杀手级应用,一个是基于大模型和智能体技术的AIOS,另一个是基于混合算力的推理引擎。只不过,微软更强调让Windows与Copilot融合起来,构建自然交互的AIOS;英特尔则侧重NPU+CPU+GPU的异构算力组合,让本地承担更多AI加速任务,打造云端混合的推理引擎。
Wintel联盟是PC行业从垂直整合走向分工合作的产物。而AI PC则是大模型的小型化与个人化所催生的一次产品革命,仍处于早期,需要有人完成整合,将AIOS与混合推理引擎完整有序地塞进PC里。苹果有机会在自己的封闭系统中这么做,那么,苹果之外的更大的市场呢?
一、Chat with Chips
芯片厂商对AI PC的定义普遍较为简洁,在传统的CPU与GPU(包括集成显卡)之外,搭载了自家AI加速的芯片即可。三类芯片都具有一定AI处理能力,可根据不同算力需求,来调用最合适的AI工作负载。不同来源的本地算力的异构组合,加上云端算力支持,构成了AI PC混合推理引擎。
目前,在本地消费级设备上,英特尔主要是Meteor Lake的Ultra芯片,AMD主要是Phoenix的Ryzen 70系列与Hawk Point的80系列,高通主要是骁龙8与X Elite。研究机构Canalys将2020年苹果的M1视为最早的AI芯片,但英伟达表示2018年起的GeForce RTX已经称得上专为AI打造。
英伟达已经吃下了几乎所有的大模型训练市场,还计划将成功复制到推理市场。推理目前占它业务构成的40%,但主要在云上。用户手上的终端,芯片厂商都还有机会,但先要把用户与开发者生态吸引到自己周围。
英伟达的GTC刚过去不久,英特尔与AMD就马不停蹄地在世界各地宣讲自己的AI PC蓝图。上周,AMD的CEO苏妈现身北京,表示将为用户提供从云到PC的无缝AI体验,还展示了一把阿里的Qwen 1.5(通义千问1.5版)跑在本地的样子。英特尔则在中国台北宣布新的开发者计划,还发布了适用它NPU芯片的开发套件,预装软件堆栈、编程工具、编译器和启动所需驱动程序。
它们也都希望直面用户。今年年初,英伟达推出Chat with RTX(简称 ChatRTX)是一个信号,这款程序允许用户加载Llama2、Mistral与Gemma等当前主流高性能开源模型,帮助分析文档其他文件,但只能在英伟达指定性能的GPU上运行。未来,中国用户可以选择加载ChatGLM。英特尔、AMD与高通,也都在跟进推广本地部署大模型,它们给出的解决方案,基本只适用于自家的芯片。
AI PC的各项技术仍处于发散式创新的阶段。英特尔正在推广OpenVINO,AMD的是ROCm,英伟达建立了CUDA生态。今年年中,搭载高通ARM架构的X Elite芯片的AI PC即将上市,NPU算力高达45 TOPS;今年年底,x86阵营的英特尔将会迭代它的NPU,AI 性能是目前的三倍。芯片架构、AI框架与API接口,标准各异,稳定性不足,无形之中抬升了开发与部署的门槛。
混合推理引擎才是AI的未来。去年,高通提出了在云服务或用户终端分布式处理AI工作负载的三种机制。今年,英伟达推出NIM服务,野心昭然,希望从开源模型到专有模型,都能跑在任何有英伟达GPU的地方。
二、Copilot不能成为Clippy
微软的AI PC之年,始于它最近推出两款新的Surface设备。它们面向商业用户,配备了Ultra芯片,以及Copilot物理按键。微软要求OEM商在AI PC中配备专门物理按键,方便一键弹出这个入口,Copilot之于微软AI PC的重要性可见一斑。
微软希望Windows系统深度融合Copilot。这是微软眼里的下一代AI驱动的操作系统。也可以称之为AIOS,将改变用户与硬件、软件的交互方式,未来还将改变硬件与硬件、软件与软件之间的交互方式。
为了让Copilot逐步接管Windows系统,微软下了狠功夫,也招惹了用户不满。许多人认为这项功能并不好用,不值得放到Windows任务栏正中央如此显眼的位置。还有一些好事者很想知道,在无法安装Copilot的地区,用户按一下这个物理按键,会弹出什么内容,整机厂商的智能助手,还是OpenAI的竞争对手?
微软不希望Copilot成为曾经的Clippy,显眼但没什么大用,尤其是在更强调本地算力的AI PC上。英特尔客户端计算事业部副总裁Todd Lewellen透露,微软坚持让Copilot本地运行时只跑在NPU上,而不是包括CPU与GPU的异构算力上。GPU虽然强大,英伟达新一代GPU的AI算力已经覆盖了从200 TOPS到1300 TOPS,但那是功耗换来的。微软希望GPU和CPU能干好自己该干的,减少对电池寿命的影响。
事实上,英特尔与AMD只是异构算力整体接近40 TOPS,前者NPU算力10 TOPS,后者的16 TOPS。只有今年晚些时候的X Elite芯片的NPU算力达到了45 TOPS。也许微软眼里真正的AI PC会在5月20日现身,纳德拉会在这场有关Windows和Surface AI的特别活动上,分享公司的“人工智能愿景”,涵盖软件和硬件。
这将为微软争取到宝贵的2个月时间。Copilot目前还只能跑在云上,混合算力引擎尚没有实战。即使跑在云上,微软也对Copilot并不满意,上周挖空了自己投资的AI独角兽Inflection AI。该公司创始人苏莱曼(Mustafa Suleyman)带着一班人马,突然加入微软新设的“Microsoft AI”部门。他本人是新部门的CEO,独揽Copilot、Bing和Edge等产品的研发。苏莱曼此前还是DeepMind的联合创始人及首席产品主管,经验丰富。纳德拉还找刚从Stable Diffusion离职的创始人Emad Mostaque聊了聊。
这被外界视为微软开始对面向消费者的AI业务失去了耐心。去年二月,纳德拉还称要让谷歌这个搜索的大猩猩起舞,但一年过去,生成式AI加持的Bing并没有太大起色。据Statcounter统计,它的全球全平台市场占有率,仅增长了约0.5个百分点。
微软充满了紧迫感。它对Copilot最大的底气在于OpenAI。但这几天,在大模型竞技场(Arean Elo)上,Claude 3的排名反超GPT-4成为第一。ChatGPT访问量增长也已经放缓,皮尤研究中心调查发现,曾经用过ChatGPT的美国用户,从去年7月的18%增长到今年2月的23%。
三、4月,谁准备好了
芯片厂商常年面向企业客户,不擅长开发面向消费者的软件产品,几家Chat With Chips的解决方案,至今还是粗糙的交互页面,没有用户期待的AIOS的样子。微软还指望着混合算力引擎准备就绪,高通的ARM架构虽然做到了高性能低功耗,但缺少Wintel联盟长期形成的软硬件生态。
这个时候,就像克里斯坦森所说的,行业需要站出来垂直整合者,向市场作出创新者的解答,“改刀”“缝合”这些核心技术组件与模块,将其收敛为可以最终交付的完整的产品。
以往扮演这个角色的是苹果。它拥有自己的芯片,自己的操作系统,还拥有自己的PC品牌,已经从十年造车的“坑”里爬出来,回归它最熟悉的个人计算(Personal Computing)。最近,库克先后拜访了谷歌与百度,寻找合作机会。
在6月10日的WWDC上,苹果可能透露AI PC的进展。该公司营销主管已经“确认”WWFC将是关于AI,称这场活动“绝对不可思议”(Absolutely Incredible,简写成AI)。而彭博社长期关注苹果动态的马克·古尔曼(Mark Gurman)则认为,届时苹果会更多展示生成式AI如何让日常生活更轻松。
AI PC是新兴的个人AI与成熟的PC相结合的产物。别忘了成熟PC产业中的另一个大玩家。未尽研究的“AI PC报告”认为,整机厂商有机会基于其亿万用户基础,建立起用户反馈驱动的生态,最终在AI PC上,构建出两个“杀手”级应用,一个是基于大模型和智能体技术的AIOS,另一个是基于混合算力的推理引擎。在中国,由于Copilot暂时缺席,整机厂商的作用将尤其显著。
要让两大“杀手”级应用提供完整的个人AI体验,足以容纳完整而又最小可行的通用推理能力的AI PC,至少应该满足以下条件:
40TOPS,AI算力;
70亿,模型参数;
16G, 内存;
20 tokens/s,推理速度;
4k tokens,上下文长度。
微软预定了5月,苹果预定了6月。还有4月空着,会有什么大事发生吗?
本文来自微信公众号:未尽研究 (ID:Weijin_Research),作者:未尽研究