小米华为vivo理想一起发了篇论文，想给AI定个规矩

中文互联网上一直流传着一则著名鸡汤：一流企业做标准，二流企业做品牌，三流企业做产品。

去年各家卷大模型的热潮已经过去，今年AI应用呼之欲出，概念最火的当属人工智能代理（AI Agent）。

比尔·盖茨说：Android、iOS和Windows都是平台，AI Agent将成为下一个平台……未来5年内，我们不用打开应用去做事儿，只要对你的手机或电脑说你想做什么，它们就能够处理你的请求。^[1]

手机在努力，用AI帮你P图、记笔记、做总结、发信息。

PC在努力，用AI帮你设置系统、操作软件、提升画质、提高游戏战斗力。

AI pin和Rabbit r1这样新概念随身设备从出生就在往AI Agent的方向努力，帮你实时访问GPT-4、自动操控手机应用和电脑软件。

产品层出不穷的同时，标准也随即诞生——由清华大学智能产业研究院（AIR）与小米、华为、Vivo、理想几家大公司联合出品，邀请产业专家依照Agent的能力，将其分成了L1-L5的五个能力等级。

L1-L3级别的Agent需要用户给它定个目标。

L1级别用户说一步做一步，并且只能按照开发人员预制的步骤执行任务。

L2可以根据用户的目标自己拆解步骤，并操作相关App或者调用API。

L3可以执行更复杂的任务，一边推测用户意图，一边调用手头所有资源，还要根据每步的反馈及时调整计划，直到完成任务。

而L4-L5级别的Agent已经不需要用户指挥，能主动感知当前的环境和用户状态，并且结合历史数据，主动给用户提供个性化服务。

这个分级和自动驾驶很类似，在L3之前都还需要人类高度介入，而到了高阶水平就可以完全替代人类。

在共同制定行业标准之外，产业大佬们还从385篇论文中总结出了AI Agent的过去、现在与未来。

过去我们就不回顾了，就看看现在，然后顺便展望一下未来。

Agent在大佬们眼中的样子

我们先来看看围绕Agent部署的问题，大佬们的见解是怎样的。

88%的人首选本地与云端混合方案，而且81.82%的人对现有的仅云端方案不满意。

不满意的原因主要是云端服务延迟高、个人隐私泄漏风险以及云服务的成本实在太高了。

仅本地的方案排名第二，主因是当下本地硬件的算力还无法支持高阶的Agent服务。

研究人员还调研了大佬们认为部署在个人设备上的AI Agent最需要哪种模态、最重要的能力以及哪种交互方式最有前景。

模态方面，大家可能是考虑到了本地部署，所以文本互动得分最高。

不过也有20%的人认为，影像（图片和视频）是未来AI Agent不可或缺的能力。

能力方面，虽然学术界对LLM处理长文本十分关注，但到了Agent应用这里，语言理解才是压倒性的第一。

毕竟你的Agent要是连用户的意图都识别不了，那接下来的推理和执行都进行不下去。

交互方式方面，大家目前最推崇的还是语音，即便VR今年有卷土重来的趋势，大佬们仍然觉得它价高不好推广且用户体验不佳。

Vision Pro那种空间交互方式压根就没在考虑范围内。

最后来看一下行业大佬未来想用Agent给客户提供些什么样的服务。

别说瞧见数字分身还真有点心动，克隆一个自己替自己上班的这天终于快来了（兴奋搓手）。

看了大佬们对Agent的见解不难发现，虽然LLM是Agent的灵魂，但只靠LLM是做不出一个好Agent的，或者说做不出一个L4-L5的Agent。

LLM之于AI Agent，就像中央处理器之于计算机，做的是对资源进行管理和调度。

LLM首先通过获取顶层各种技能为用户提供服务，这些技能就像操作系统（OS）中的应用程序，可以添加也可以删除。

为了支持这些技能，LLM还要取得管理底层本地资源的能力，比如通过你的智能手表获取你的实时心率。

想要更智能的个性化服务，LLM最好还能获取当前用户的状态和历史资料。

比如结合你跟相亲对象的聊天记录和见面时的心率变化，判断你喜欢的类型，然后继续帮你在交友App、社交网络里寻觅这个类型并主动搭话，提升你相亲的成功率。

Agent的基础能力

功能架构基本捋清了，那为了给Agent打造这些功能，都需要哪些底层能力呢？

帮人干活，首先要有手（执行），再有眼（感知），最好再有个脑子（记忆）。

执行能力，也就是让LLM去触发帮用户干活的技能，主要有两种实现方式：通过代码或直接上手操作图形界面（UI）。

通过代码可以用传统的人工硬编码方式，也可以训练Agent自己写代码调用其他应用的API。

但是总有那么一些不爱配合别人的应用它不开放API，这个时候代码方式就不管用了。

所以有了第二种方式，让Agent直接模仿人类用户，通过滑动、点击等类人姿势操作应用以达成目的。

最近大火的Rabbit r1所用的LAM（Large Action Model）就是第二种。

不过UI方式执行复杂指令能力有限，让它点点手机App点个外卖是可以的，让它操作一下Blender这类3D建模的软件怕是连参数面板都找不全。

上下文感知主要是自动为Agent提供周围环境和用户信息，可以让Agent有主动判断主动执行的能力。

比如当Agent知道我现在身处图书馆，就可以自动帮我接听快递小哥的电话，然后把对话内容总结成文字发给我。

要感知这个世界，Agent可以从硬件传感器（GPS、麦克风、摄像头、光感、温度...…）和软件内（应用使用情况、通话记录、打字习惯）获得信息。

还可以把多个来源的信息综合到一起判断更复杂的事情，比如通过耳机和手机麦克风的声差进行动作检测。

通过这些感知，Agent需要分析出两个状态：环境状态和用户状态。

根据不同的环境，Agent可以侧重更场景化的应用，例如在会议室的时候集中精力做会议记录和安排工作计划；在健身房的时候就好好检测用户的呼吸和心率。

用户状态分为短期和长期两种，短期方面更聚焦于情绪、压力、动态，如果检测到压力指数上升，Agent可以通过聊天、推荐音乐电影等方式帮你缓解。

长期方面则是作为一个陪伴用户的老师、指导的形象而存在，比如可以根据用户的喜好、技能、市场环境来进行贴身的职业规划。

记忆能力，一方面是指Agent记录、管理、利用用户历史数据的能力，另一方面则是Agent本身可以不断学习新技能、新知识的能力。

获取记忆的方式有两种：直接从感知到的原始数据里获得，或者从原始数据里推理出来。

比如说原始数据是用户每天回家路上都会在一个特定的地点停留5分钟，Agent通过位置信息和支付记录推理发现，用户每天停留是为了买烤肠。

那Agent就会记录下用户喜欢吃烤肠这一爱好。

记忆的类型还分为短时记忆和长时记忆。

短时记忆也称为工作记忆，也就是Agent在处理某一项任务周期内调用的所有相关信息。

长时记忆则用来储存每一次任务周期产生的经验，可以在今后遇到相似任务时再调出来参考。

有了长时记忆的Agent好比一个记吃又记打的孩子，可以一点点建立自己对这个世界的认知了。

想端侧，提效率

有了这些能力，Agent要是还住在看不见摸不着的云服务器里，那对用户来说还是用处不大。

一个能帮上忙的Agent，还是要做到真正融入用户的生活，那部署方式最后还要选择端侧。

但是端侧的算力和能源十分有限，要想在有限的资源里提升Agent的智能水平，那就只能从效率入手。

这篇综述里给大家整理了3大类8小项，具体20种提升端侧Agent效率的方式。

首先，LLM推理能力是重中之重，任务规划、调度执行资源、上下文和记忆的理解调用都需要用到推理，处理不好直接就成了Agent的性能瓶颈。

文中总结常用的推理提效方式有：把模型变小（模型压缩）、加速推理过程（增强上下文计算效率）、内存优化和从软硬件入手减少能耗。

然后，满足不同用户需求的必经之路是定制化，快速定制服务于不同用户群不同场景的Agent，以及让它低成本的与时俱进，是商业化必啃的一块硬骨头。

所以现在大家都忙着提升微调效率和上下文加载效率。

最后的内存优化管理则不只是Agent领域的提效方式了，不过的确是Agent要达到L5不得不做好的一件事。

Agent之后要打交道的数据不止文字，还有图片、语音、视频，还有可穿戴设备传回的健康情况，还有智能家居检测的环境状况。

单个用户的数据信息跨度动辄以年为单位，颗粒度甚至细致到每秒，如何管理如此庞大的数据库并提取出有效信息，还是个未解的难题。

这篇论文总结分析了很多，但硅基君看来，更像是大厂们联合起来发了个声明：以后做Agent，就都按照我们这套体系来评级吧。

参考资料：

[1] 比尔·盖茨都为之倾倒的AI Agent，究竟是什么｜36氪

[2] Personal LLM Agents: Insights and Survey about the Capability， Efficiency and Security. arXiv preprint arXiv:2401.05459.

本文来自微信公众号：新硅NewGeek（ID：XinguiNewgeek），作者：刘白，编辑：张泽一，视觉设计：疏睿