近日，苹果与英伟达宣布合作，旨在加速和优化大语言模型的推理性能。为了改善传统自回归LLM推理效率低和内存带宽小的问题，今年早些时候，苹果机器学习的研究人员发布并开源了一种名为ReDrafter的推测解码技术。目前，ReDrafter已经整合到英伟达的可扩展推理方案TensorRT-LLM当中，后者是基于TensorRT深度学习编译框架的专为优化LLM推理而设计的开源库，支持包括Medusa等推测解码方法。不过，由于ReDrafter所包含的算法使用了之前从未用过的运算符，因此英伟达方面添加了新的运算符，或者公开了现有的运算符，大大提高了TensorRT-LLM适应复杂模型和解码方式的能力。据悉，ReDrafter推测解码通过三个关键技术来加速LLM的推理过程：RNN草稿模型动态树注意力算法知识蒸馏训练RNN草稿模型是ReDrafter的核心组件。它使用循环神经网络，基于LLM的“隐藏状态”来预测接下来可能出现的tokens序列，其能够捕捉局部的时间依赖性，从而提高预测准确性。这个模型的工作原理是：LLM在文本生成过程中首先生成一个初始token，然后RNN草稿模型利用该token和LLM的最后一层隐藏状态作为输入进行束搜索，进而生成多个候选tokens序列。与传统自回归LLM每次只生成一个token不同，通过RNN草稿模型的预测输出，ReDrafter能够在每个解码步骤生成多个tokens，大大减少了需要调用LLM验证的次数，从而提高了整体的推理速度。图源：arXiv动态树注意力算法则是一种优化束搜索结果的算法。我们已经知道，在束搜索过程中会产生多个候选序列，而这些序列往往存在共享的前缀。动态树注意力算法会识别出这些共享前缀，并将它们从需要验证的tokens中去除，从而减少LLM需要处理的数据量。某些情况下，该算法能将需要验证的tokens数量减少30%到60%。这意味着使用动态树注意力算法后，ReDrafter能够更高效地利用计算资源，进一步提高推理速度。知识蒸馏是一种模型压缩技术，它能够将一个大型、复杂的模型的知识“蒸馏”到一个更小、更简单的模型中。在ReDrafter中，RNN草稿模型作为学生模型通过知识蒸馏从LLM中学习。具体来讲，蒸馏训练过程中，LLM会给出一系列下一个可能词的概率分布，开发人员会基于这个概率分布数据训练RNN草稿模型，然后计算两个模型概率分布之间的差异，并通过优化算法使这个差异最小化。在这个过程中，RNN草稿模型不断学习LLM的概率预测模式，从而在实际应用中能够生成与LLM相似的文本。通过知识蒸馏训练，RNN草稿模型更好地捕捉到语言的规律和模式，从而更准确地预测LLM的输出，并且因为其较小的规模和较低的推理计算成本，显著提高了ReDrafter在有限硬件条件下的整体性能。图源：阿里云开发者社区苹果的基准测试结果显示，在NVIDIA H100 GPU上对数十亿参数的生产模型使用集成了ReDrafter的TensorRT-LLM时，其贪心解码每秒生成的tokens数量提高了2.7倍。此外，在苹果自家的M2 Ultra Metal GPU上，ReDrafter也能实现2.3倍的推理速度提升。苹果的研究人员表示“LLM越来越多地用于驱动生产应用程序，提高推理效率既可以影响计算成本，也可以降低用户端延迟”。图源：Apple

观·察尽管面临诸多挑战，松下在电池技术和生产规模上仍然具有一定的竞争力。他们在锂电池领域的长期技术积累，使得松下在电池的能量密度、安全性等方面具备优势。这些技术优势不仅可以帮助松下维持在电动汽车市场中的地位，还可能为松下进入其他电池应用领域铺平道路。——何思锦图片来源：东方IC全球电池争霸赛，日本棋差一着文/何思锦2024年11月21日，瑞典电池制造商Northvolt在美国申请破产保护，预计将于2025年第一季度完成债务重组。这家曾被誉为“欧洲版宁德时代”的企业的倒下，不仅让欧洲的电池独立梦蒙上阴影，也为全球新能源产业敲响了警钟。日本的新能源产业同样面临内忧外患。作为电池行业的先驱，松下的光芒正在黯淡，它在新能源浪潮中挣扎求生的故事，正是日本新能源政策与产业困境的缩影。松下曾凭借创新力在全球电池市场占据重要位置，早期与特斯拉的合作使它在电动汽车电池领域处于领先位置。随着竞争加剧和市场变化，松下面临着巨大的转型挑战。它关闭了亏损的液晶显示器（LCD）业务，全力押注电动汽车电池生产。这场豪赌却未能如愿扭转颓势，松下的艰难现状与Northvolt形成了某种对照：一方是曾经的全球霸主，如今步履蹒跚；一方是欧洲新能源的希望，难敌市场与资本的双重夹击。日本作为全球科技和制造业强国，正尝试以新能源政策和技术创新，努力保持竞争优势。然而，市场格局的变化、技术更新的速度，以及韩国和中国制造商的崛起，都让日本的传统企业面临巨大的压力和转型难题。日本是否能够避免在电池领域重蹈Northvolt的覆辙？一、2050之约：日本推动电动汽车普及2020年10月，日本前首相菅义伟宣布，日本将在2050年实现碳中和。这一承诺符合全球应对气候变化的趋势和《巴黎协定》所设立的目标。日本的新能源政策目标主要围绕碳中和、清洁能源发展和绿色经济的构建展开。为了实现碳中和，日本政府加大了对清洁能源技术的投入，以电力、交通和工业领域的技术创新为改革的重头戏。日本的目标是到2030年将可再生能源在总发电量中的比重提升至36%至38%，同时减少对煤炭和核能的依赖，并扩大太阳能、风能等绿色能源的占比。落到汽车行业，日本政府采用各种政策鼓励电动汽车（EV）和氢燃料汽车（FCEV）的推广。日本经济产业省正在考虑一项政策，即从2035年开始逐步淘汰纯燃油汽车的销售，并转而推广混合动力汽车和电动汽车，以此加快电动化转型的步伐。这场新能源变革中，日本政府的财政支持和补贴政策成为行业发展和竞争的关键。政府在电动汽车领域的支持主要集中在两个方面。第一，政府为了扩大电池产能投入巨资，力求升级供应链来巩固国内企业的竞争力。2024年9月6日，日本经济产业大臣斋藤健宣布，将支持包括丰田在内的12个动力电池相关项目，承诺为这些项目提供高达24亿美元的资金。第二，政府通过提供直接财政补贴来激励消费者购买电动汽车，然而补贴政策的细则显示出日本政府对本国汽车制造商的偏好。例如，日本制造的电动车型，如日产的“LEAF”和丰田的“雷克萨斯”，可以获得高达85万日元（约合人民币4.05万元）的补助。相比之下，韩国现代汽车的“KONA”最高可获得45万日元（约合人民币2.14万元）的补贴。而中国比亚迪的“DOLPHIN（海豚）”补贴则相对较低，仅为35万日元（约合人民币1.67万元）。日本经济产业省评估补贴金额的标准有7点，分别是（1）续航距离等车辆性能；（2）EV本身在出现灾害时作为充电设备发挥作用；（3）充电设施的建设情况；（4）削减制造时的二氧化碳排放等；（5）应对网络攻击；（6）修理点的建设情况及确保零部件稳定；（7）培养维修人才。仅参考评估标准，外国电动车获得较低补贴并无充分理由。日本对国产电车和外国电车之间的补贴差异似乎暗示了一种政策保护主义，而非全然出自客观的评估标准。实际上，比亚迪等外国电车凭借续航里程、智能化技术和性价比，在全球市场上已经展现出强劲的竞争力。相比之下，日本车企在新能源领域虽有技术积累，而市场反应和产品更新速度却显得滞后。日本政府希望用这些政策来推动电动汽车市场的发展，促进电池制造领域的创新和扩展。他们的努力固然不是泥牛入海，日本车企如丰田、日产等，以及电池厂商松下等受益于这些支持，在全球电车产业链中努力争取到自己的位置。然而由于错过市场良机，回望这些奋斗故事，有时只会得到令人唏嘘的一声感慨。二、松下电池的关键节点：收购三洋与合作特斯拉以曾经的机电行业巨头松下为例，我们可以明显看出日本在新能源汽车产业的发展上显得力不从心。近年来，松下在电池业务领域的发展中有两个重要的里程碑：一是收购三洋电机，二是与特斯拉建立合作关系。早在2009年，松下就收购了全球最大锂离子电池制造商三洋的多数股权，获得在锂电池技术方面的宝贵资源和专利。在日本国内，松下为丰田提供镍氢电池组，并通过其合资企业（Primearth EV Energy株式会社，以下简称PEVE）开发锂离子电池组，积极从事着HEV（混合动力汽车）和EV（电动汽车）电池的投资和试生产。电池原本就是松下主要盈利领域之一，在高度集中的车用镍氢电池市场，PEVE公司占有77%的市场份额，具有绝对优势地位。而三洋的加入进一步强化了松下在这一领域的优势。三洋电机是电动汽车电池制造商的大前辈，早在1999年就开发了用于混合动力汽车的镍氢电池系统，并在当年的东京车展上展出。届时，三洋展示的新型镍氢电池凭借其多项技术优势，远远领先于同期的其他电池。与通用同年推出的镍氢电池相比，三洋电池不仅能量密度更高（达到900W/kg），还在高温充电效率方面大幅领先。在60℃的高温条件下，三洋电池的充电效率超过90%，较原有产品提高了近50%。此外，三洋电池的自放电性能和低温性能也表现优异，能够在-30℃环境中正常运行，且在45℃放置10天后的自放电率低于15%。这些特性使三洋的电池系统适用于多种极端环境下的电动汽车。此后，三洋一直在推广这款电池，以进入混合动力汽车和电动汽车市场。它曾经是20世纪初福特汽车的唯一电池系统供应商，享受过一时风光。这笔收购对松下充满吸引力，以至于三洋背负的债务风险都显得不那么扎眼。收购完成后，松下果然成功在快速增长的可充电电池市场中抢占先机，吞下了三洋在全球60亿美元锂离子电池市场中的30%份额，为自己在电池领域打下了更扎实的基础，也为后续与汽车制造商的合作提供了强有力的技术支持。此时的松下在电池领域雄心勃勃，如日中天。2009年松下开始为特斯拉供应18650电池。2010年5月，松下与特斯拉达成合作协议，成为ModelS车型电池的独家供应商。在此之前，特斯拉一直使用多家公司的电池产品。此次合作进一步坚定了松下深耕能源存储领域的决心，也把野心的泡泡越吹越大。Roadster车型使用6800块松下锂镍消费级电池，ModelS车型则使用多达5500块松下电池。数据被量化，变幻成公司账目上一笔笔的入账资金，当时松下电池工业社长野口直人一度夸下重振松下的海口，他在一份声明中说，“松下的目标是成为全球领先的绿色创新公司。”2010年11月，松下宣布向特斯拉投资3000万美元，以建立长期合作关系。紧接着在2011年，双方签署了汽车级锂离子电池供应协议。根据协议，特斯拉将在其先进的电池组中使用松下的电池单元，并与松下合作开发下一代基于镍化学技术的新型电池。特斯拉的需求和胃口日益增长，倒逼松下加大在技术研发和产能扩张上的投入。2014年，松下在参观内华达州正在建设的特斯拉电池工厂后，决定为“超级工厂”（Gigafactory 1）项目投资16亿美元。在发布会上，时任松下电器社长津贺一宏高度评价马斯克的前瞻性思维，表示：“我们太保守了，必须像伊隆·马斯克一样思考。”但他的选择无疑带有很大的赌博成分。他没有充分评估特斯拉需要多长时间才能收回如此巨大的成本投入。处于起步阶段的电动汽车市场未来是否能够达到预期的市场规模，这一点同样尚未明朗。更冒险的是，他没有充分衡量马斯克的坚定程度，他究竟能否一以贯之守护与松下的独家合作关系？如果特斯拉在未来选择与其他供应商合作，巨额投资的松下可能会面临严重风险。果不其然，这发赌上未来的“子弹”在多年后回旋而来，击中松下的“眉心”。津贺一宏力排众议的决定是一次大胆的押注，也是高风险的冒险。“失败了是一蹶不振，成功了是产业革命”，这场豪赌为松下赢得了当时的成功，也留下了巨大的悬念。2016年1月，“超级工厂”正式投产，大幅提升了电池的生产能力，为特斯拉的扩张提供了坚实保障。电池组是电动汽车中最昂贵的部件之一。与特斯拉的合作不仅帮助松下提升在电池市场的地位，也带来了丰厚的利润。特斯拉的成功更是在一定程度上证明松下电池技术的先进性和可靠性。然而，时间证明了松下此举的风险重重。新能源汽车行业险象环生，松下的竞争对手除了同行的电池制造商，还有贪得无厌、自主拓展技术边界的汽车厂商。松下在产业链中依附于汽车厂商，越是往后发展，越是腹背受敌。三、从蜜月陷入冷淡，进退两难的市场布局松下与特斯拉的合作一度被视为“天作之合”。他们为特斯拉的畅销车型（如Model S、Model X和Model 3）独家供应电池单元，双方的合资企业在当时击败了中国的宁德时代和韩国的LGES等竞争对手。但商业合作从来不只是关于情怀，更永恒的是利益。共患难的默契难以抵挡利益博弈的现实压力，紧张的氛围逐渐在双方进一步合作的过程中发酵。作为特斯拉的亲密盟友，松下在2017年承担了Model3频繁延期交付的责任，称其电池生产存在问题。津贺一宏每年都会亲自前往内华达州的工厂，后来增加到每季度一次，以检查进度。马斯克并没有展现出应有的同情和理解，反而近乎病态地追求降低生产成本，要求松下将电池单位成本降至中国公司的水平。津贺一宏曾抱怨马斯克过度压缩成本，称如果继续要求降价，他会考虑将松下的员工和设备撤出超级工厂。2018年底，特斯拉在上海拿地，马斯克暗示将在中国引入新供应商，其中就包括松下。但松下只是口头承认和特斯拉的友谊关系，实际的投资行动迟迟没有推进。两家公司就电池成本、提高产量的时间表以及“企业文化”方面争论不休。松下内部越来越反对和特斯拉的联盟。2018年9月，马斯克在接受喜剧演员乔·罗根采访时公然吸食大麻，此举在国际上引发了广泛关注。但对日本民众而言，这种“离经叛道”的行为被视为更加严重的犯罪行为。在日本社会，吸食大麻不仅触犯法律，还被视为对社会秩序和道德底线的挑战，这样的行为往往会导致舆论的强烈谴责，甚至可能摧毁公众人物的声誉和事业。此外，马斯克所谓的“纳米管理”风格精细严苛到产品的细节问题，这种强度远远超过松下的企业传统。松下拥有数十万名员工，各部门一向习惯于自主解决问题。这种模式虽然赋予了部门一定的独立性，但也导致行动往往显得缓慢，需要经过典型的日本式共识流程。他们很少将问题直接推到大阪的高管办公室，而是倾向于在内部逐步协调解决。真正让松下对特斯拉失去信任的原因还是盈利上的分歧。内华达超级工厂投产后仅仅3年，特斯拉上海超级工厂于2019年1月份投入运营，并在年底迅速达到满负荷生产，中国消费者排队购买国产版Model 3，特斯拉股价在第四季度飙升80%。但随着特斯拉的崛起，松下却变得步履蹒跚。2019年，松下出售了半导体和安全系统（安保投影仪）的业务；2021年，他们完全退出液晶显示面板业务；2024年，松下决定退出高端投影机业务，而三年前的东京奥运会等活动中使用的大型场馆投影仪，正是由松下所提供的。2019年，正是松下和特斯拉关系陷入僵局的拐点。当时的松下刚刚从巨额亏损中恢复过来，对业绩指标的任何波动都极为敏感。津贺不敢采取“放长线钓大鱼”的策略，他期望特斯拉的盈利给忍痛割肉的松下带来收益。因此，一旦特斯拉开始盈利，松下就计划提高价格以收回投资。而2019年上海超级工厂的建立更加挑动了松下寄托在特斯拉身上的敏感神经。近十年里，松下几乎没有从合作中获利，特斯拉却已经从内华达州走向全球，在中国大举推出国产Model 3。2019年10月，松下第二季度财报显示，电池业务持续亏损，而特斯拉在营收下滑的情况下，却罕见地实现1.43亿美元的盈利。松下认为，自己承担了做空者攻击、生产困境和交付延迟等等责任，马斯克却背信弃义，甚至在推特上公开指责松下未按计划增加电池产量。2019年4月，有报道称两家公司正在缩减内华达超级工厂的扩张计划。马斯克在推特上反驳称，松下是罪魁祸首，一切都是因为松下减产，特斯拉Model 3轿车的生产才被限制。松下也在《日经新闻》发声，称出于对特斯拉销量的担忧，特斯拉和松下将冻结扩大最初35 GWh以上产能的计划。但松下和特斯拉关系已经难舍难分，想要就此分拆，几乎是不可能的事情。根据松下的官方声明，近几年来松下所有的业务变动和业务出售，都是“为了更好地将资源集中在汽车和工业业务”。问题是，松下急切地依赖特斯拉所带来的稳定的电池业务，而对于拥有多个渠道的供货商的特斯拉而言，松下不再是他们唯一的选择。四、希望何在？未来的优势与挑战尽管面临诸多挑战，松下在电池技术和生产规模上仍然具有一定的竞争力。他们在锂电池领域的长期技术积累，使得松下在电池的能量密度、安全性等方面具备优势。这些技术优势不仅可以帮助松下维持在电动汽车市场中的地位，还可能为松下进入其他电池应用领域铺平道路。此外，松下在B2B（企业对企业）市场的丰富经验，以及与传统汽车制造商的长期合作关系，也为它提供了潜在的市场机会。2019年，松下和丰田汽车整合资源，成立一家合资企业（Prime Planet Energy&Solutions，简称PPES），生产电动汽车电池，并且推广了丰田的氢燃料电池汽车Mirai。该合资企业于2020年开始生产。此时的松下有些心急如焚。为了与迅速进入电动汽车领域的中国企业竞争，松下把位于中国的五家电池制造厂纳入PPES以提高产能。资源整合可以快速为两家公司增加在电动汽车市场的份额。这两家日本制造业巨头已经有过合作经验，早在1996年他们就合作成立过松下EV能源公司，为丰田和本田混合动力汽车生产电池。而此次PPES的新合作项目首先把重心放在提高产量上，计划到2030年将丰田的电动汽车年销量提高三倍至550万辆。与此同时，PPES也致力于开发下一代高容量固态锂电池。实现这一目标需要大量资金和顶尖人才。他们的电动汽车合作伙伴马自达汽车及其子公司大发和斯巴鲁可能是新生产电池的首批接收者，而松下供应的本田汽车也可能使用这些新生产的电池。特别值得一提的是，据《日经新闻》报道，PPES公司并未涉及任何特斯拉电池业务。在特斯拉试图摆脱对松下的过度绑定的同时，松下也在考虑如何脱离与特斯拉的病态依附关系。2020年，松下出售其持有的全部特斯拉股份。此时的津贺一宏已决定辞去社长一职，结束自己41年的松下职业生涯。在与特斯拉的合作中，他面临着诸多挑战：内部质疑、长期亏损、特斯拉降价、日本汽车业混乱等。副社长梅田博和对于股份的出售表示，“我们与特斯拉不是命运共同体，而是不同的公司。我们会冷静判断。”

这两年，我的老板天天让我们“用AI武装自己”，但我总是不以为然——这个真不怪我，只能怪AI。虽然市面上一些文本生成类产品的理解能力很强了，也基本能满足用户很多定制化需求——比如你是想要一段小红书风格的文案，还是一份商务风格的PPT，AI大模型都能直接生成，让你拿走即用。但就感觉总差那么“一口气”——就像是回回考80分的感觉，大毛病没有，但也没啥用。大多时候，你仍然觉得AI还是在生成“正确但平庸”的废话。像我一样做案头工作的人会有类似体验，相同素材经不同“编辑”之手呈现出的观点输出、侧重、风格完全不同——但AI不会。也有越来越多的AI搜索和文本生成类产品在生成结果里标注了每一处引用和参考来源，是为了尽量降低口说无凭的概率——但用户还是干预不了素材如何被利用。上个月，百度世界大会上宣布了一个东西——叫自由画布，主打一个赋予用户非常高的创作自主性和自由度，尤其在素材利用上。前两天，我们拿到自由画布的内测资格，体验了一把这玩意到底有多“自由”。严格来说，“自由画布”不是一款独立产品，而是内置于百度文库里的功能，所以它的功能（至少目前能体验到的功能）主要围绕文本创作展开。首先，它的界面不是“对话框”，而是一张白板，让你先把素材拖到上面。这样从排布，到交互（比如你对生成结果不满意，就圈起来直接删除）更像是一张“脑图”（听起来就自由）。可以上传图片，pdf，视频，甚至ppt丨作者截图考虑到用户在前期搜集时，很多时候是搜到啥看啥，啥有用存啥，不会对资料类型做过多限制。“自由画布”首先是做到了能读取几乎所有常用的文件格式和媒介形态。如果说云端文本协作应用彻底免去了“Windows系统的电脑打不开收到的Page文件”的尴尬，那么“自由画布”就是相较而言“更大的容器”，让“去格式”的协作更前进了一步。试想一下，如果后期可以上线画布分享功能，他人能在线查看以及二次编辑，那就更自由了。AIGC工具大致的工作流都是搜集——处理——生成。而“自由画布”将“处理”这一步的重要性提高，区隔于目前市面上产品的功能重点。当你觉得AI在生成正确的废话时，可能是它对于Prompt的理解不够好。毕竟LUI（语言用户界面）对于人来说是自然直接的交互方式。可对于机器来说，并非如此，因为人类语言是高度凝练的。另外，AI无法很好地执行精准命令，比如“参考文献A里第二段直接复用；倒数第三段观点有错误不要引用，但其中提到的概念可以参考文献B”。更何况，类似琐碎的想法会在人类脑子里同时蹦出。妙就妙在了这里——自由画布能“并行”编辑每一份你拖拽进去的素材。首先，当你鼠标点击每一处素材时，可以看到对文档有“参考文献逻辑结构”、“参考语言风格”、“参考主要观点”、“生成总结”，解释图片含义，提取视频要点信息等各种编辑功能和可利用方式。另外，它“平铺”的排布式直观地引导用户可以“并行”处理这些素材，而不必先形成一段逻辑清楚的prompt，再输入给AI，然后针对生成结果，再给prompt去调整。比如，我第一次尝试，用的是一组关于屠呦呦和青蒿素的资料。AI同时回应着我的几个需求，解释一张“维生素C分子结构“图片；提炼一篇论文里”青蒿素研发过程“；并在另一篇报道里回答“屠呦呦早期走上研究青蒿素的契机”。往往，用户在深入一步了解资料后，才知道如何加以利用。这时候，用户就可以选择刚刚提到的，“参考A的逻辑结构”，“参考B的语言风格”，“参考C的主要观点”，让AI基于这些创造出一篇新的内容。对于素材的理解，打散，再重组利用，是这个功能“真正自由”的体现。百度的人说，实际上用户需求很长尾，在理解好用户同时，还得克服大模型幻觉，保证逻辑顺畅，这个过程实现起来很有难度。比如现场有人演示，她将另一份不相干的文章并入上述青蒿素素材库中，要求AI以这篇文章作为语言风格的参考。但生成结果的确有待提升。对此得到的解释是，问题可能出在该素材的内容比重。自由画布这个功能还在调试和优化中，最终实际体验如何，还得等它正式上线。看得出来，它在搜集——处理——生成的每一个环节，还留了很多“期货”，比如后面它可以生成漫画、PPT等。当然一些问题也会随之而来，有待解决，比如“大而全”会让产品功能上走向臃肿。高负载和多模态理解成本太高，这将拖累用户的耐心和使用体验。不过“自由画布”提供了一个很好的思路，越能精准控制AI理解和如何使用素材，AI生成的结果越能符合期待。在搜集环节，百度文库已经打通了百度网盘，据悉百度文库接下来将会优化用户的文件管理体验，往“个人知识库”方向打造。打通了“个人知识库”和全网搜索的chatbot，可以为每一次消化和理解现有资料时提供额外补充。在素材处理和生成上，用户目前可以实现对生成的大纲进行编辑，AI根据编辑后的大纲重新回去”找“素材，再去生成内容。以及，用户可以对成文后再做文本上的润色。于是，我问了问百度的人，能不能在编辑大纲或改写某一段内容时指定某篇素材参考，这样让生成的结果更加精准？对方思考了一下说，“emmm，兴许后面……可以考虑做类似功能”。我听完也思考了一下，“emmm，那我可能真就要失业了。”