AI内存瓶颈（上）：3D NAND路线图

随着AI带来的算力需求大爆发，以半导体为代表的各类硬件企业的营收也纷纷水涨船高。在上一篇《为什么是GPU？一文深度梳理AI算力芯片》中，我们详细梳理了服务器中最核心也是成本占比最高的处理器，并解读了为什么AI时代下的算力需求将GPU推上王位。今天我们接着来看仅次于处理器的另一重要零部件：存储器。处理器需要数据来处理，而存放数据的便是存储器，因此对于GPU的需求其实也是对于存储芯片的需求，二者本是互补品，缺一不可。

半导体有周期性，存储设备不仅跟随着半导体的周期，而且更是放大了这个周期，还往往被视为半导体复苏和衰退的信号。因此，投资存储板块其实很简单，这个市场中的玩家并不多，当周期底部出现、新一轮上行周期开启，企业营收增长，股价节节攀升，买入持有便是最好的策略。

存储设备有许多种类，其中占比最大的两种是NAND和DRAM，前者市占率40%，后者更是高达57%。由于篇幅有限，本篇我们将重点放在NAND产品上，并探讨存储器的周期性，DRAM及其当下最火的HBM技术放到下一篇中。

存储设备分类

可以从两个维度对存储设备进行分类，按存储介质可以分为光学存储器、半导体存储器以及磁性存储器。光学和磁性存储器就是过去常见的光盘、机械硬盘（HDD）、磁带，光盘通过激光反射读取数据，而磁盘通过电磁头检测磁性变化来存储和读取数据。随着光盘、磁带这些产品渐行渐远，半导体存储器是如今占据主要市场的存储方式。

半导体存储器也叫存储芯片（Memory Chip），利用半导体介质贮存电荷来存储数据和指令等，存储与读取过程是电荷的贮存或释放。按照停电后数据是否可继续保存，存储芯片可进一步分为易失性存储芯片（RAM）和非易失性存储芯片（ROM）。RAM（Random Access Memory）为随机存储器，分为SRAM和DRAM两类，SRAM（静态随机存储器）不需要周期性地刷新，速度比较快，但成本也较高。DRAM（动态随机存储器）需要周期性地刷新，速度不如SRAM，但成本较低。

ROM（Read-Only Memory）是非易失存储器，关机断电后数据依然正常保存。最初的ROM在制造时就已存入数据，出厂后数据不可更改。在ROM基础上人们研发出了可以一次性写入但不可擦除的PROM（Programmable ROM），后来又出现了光可擦除EPROM和电可擦除EEPROM，允许重复擦出、写入。

当前主流的则是基于EEPROM技术的Flash快闪存储，读写速度更快而成本更低。闪存产品又分为NOR Flash和NAND Flash（命名来源于逻辑门NAND和NOR），其中NAND Flash才是我们今天的主角，像常用的固态硬盘（Solid State Drive，SSD）、U盘、SD卡等都是NAND产品。

这么多的存储产品看得人眼花缭乱，都是使用半导体为介质存储，为什么有这么多种类呢？这还要从存储的层级说起，也就是第二个分类维度。

依据在电脑中的位置和作用存储芯片可以分为主存（Main/primary Memory）和辅存（Secondary memory），也可以说成内部和外部存储。主存是相对于高速缓存（Cache）而言的，用于临时存储正在执行的程序和数据。辅存则是相对于主存，用于长期存储，在断电或重启后存储数据依然不会丢失。横向比较三者，缓存容量最小但访问速度最快，其次是主存，最后是辅存，其容量最大但速度也最慢。

根据这个层级划分，我们就可以理解众多产品的意义所在了。缓存和主存都采用了RAM，也就是我们常说的内存，比如手机上的运行内存，数据在这里不会被永久保存，而是定期刷新。辅存则是ROM或是光盘、机械硬盘，数据在这里不易损失。

在L1、L2、L3阶段，高速缓存采用SRAM产品，L4层级的内存则采用DRAM产品，到了L5和L6级别开始使用ROM，可以是本地磁盘或是外接的固态硬盘、U盘等，也可以是通过网络传输访问在云端的存储器，这些大部分都是NAND产品。CPU就是这样一级一级地从磁盘/硬盘调取数据到内存中，再复制到缓存中运算的。

从存储产品细分市场份额上来看，DRAM和NAND几乎占据了全部份额，DRAM占比57%，NAND占比则为40%。由于CPU和GPU的运行都需要内存和硬盘，因此DRAM和NAND作为各自的代表性产品缺一不可，这也是为什么将他们俩单拎出来重点研究。

NAND发展历程与趋势

了解了存储器的分类后接下来我们正式进入NAND产品的研究。NAND属于ROM，是计算机/服务器的外部存储器，常见的形态是固态硬盘SSD、U盘、SD卡等。

全球NAND市场规模2022年大约在600亿美元，而全球前五大厂商统治NAND Flash颗粒市场2021年三星以35%的市占率占据全球市场第一，铠侠、西部数据、美光、SK海力士的市场份额分别为 18%、14%、13%、10%，前五大厂商市场份额为90%。中国厂商长江存储占据3%位列全球第七位。

在梳理NAND的发展历程与未来趋势之前，我们先来看看存储芯片的原理到底是什么。

计算机识别数据的方式为二进制，也就是所有的数据和运算都用0和1来表示和完成。比特或“位”（Bit）是计算机最小的数据单位，每个位代表一个0或1，1字节（Byte）由8位组成，比如字母a就可以用1个字节来表示，我们所熟悉的KB、MB、GB等都是字节的数量级。

为了更加形象地描述字节，我们以手机中保存一张照片为例，本质上它是由一个一个的像素点构成的，每个像素点又由红、绿、蓝三种颜色进行不同组合来实现颜色变幻。红绿蓝每种颜色的深浅都可以用一个从0-255的数字来表示，换做二进制也就是1字节或8位，三种颜色放一起就是24位表示。对于一张1080P的照片，其分辨率为1920 x 1080，也就是2073600 个像素点，相当于2073600×3=6220800字节，或者6.22 MB，当然一般照片会被压缩成更小的文件。

因此，保存一张照片实际上是保存那么多的字节，而存储数据的本质其实就在于存储这些0和1。NAND有浮栅技术（Floating Gate）和电荷俘获技术（Charge Trap）两种技术路线，从EPROM和EEPROM开始的ROM产品就已经采用浮栅，它基于MOSFET，是在晶体管内部栅极（控制栅 Control Gate）与漏极/源极之间增加浮栅，数据以电子的形式存储在浮栅中，存储电子的多少取决于控制栅极所施加的电压。浮动栅极层是一块氮氧化物，被二氧化硅绝缘层包裹住而浮动在空中。

根据Fowler-Nordheim 隧道效应，电子在被施加强电场后能够“通过量子隧穿机制穿透一个原本无法克服的能量屏障。在闪存中，编程（写入）时给控制栅充电（施加电压），电子被高电压从半导体通道加速并“推”入浮栅，当储存的电荷超过阈值电压Vth时，表示数据为0。

擦除过程则涉及释放浮栅内的电子，使其低于阈值Vth，从而表示数据为1。浮栅上下被利用氧化膜进行了绝缘处理的绝缘层包围，因此存储在里面的电荷不会因掉电而消失，一次积累的电荷可以保持长时间。

不过，由于电子需要穿过绝缘层进入或离开浮栅，反复的操作会导致绝缘氧化层逐渐退化，降低存储单元的可靠性和寿命。因此，存储芯片出现了另一种技术：电荷俘获技术（Charge Trap）。这种技术将多孔氮化硅作为绝缘体替代原本的导体浮栅存储方式，氮化硅相当于一层陷阱，在孔内困住电荷来区分 0 与 1 。多孔氮化硅相对于氧化层有更好的耐化学和物理破损性能，从而提高了器件的整体耐用性。

此外，电荷俘获层像海绵，电子移动困难，而传统浮栅则像水一样可以使电子自由移动，因此电荷俘获层更能有效地固定电荷，减少电荷泄漏，从而提供更稳定的数据存储能力。而且，浮栅是导体材料，邻近单元构成一个电容器。

也就是说，一个浮栅内电荷的变化都会引起别的浮栅电荷的变化，随着闪存制程减小，彼此间影响就越来越大（电容大小和距离成反比）。电荷俘获层由于使用绝缘层存储电荷，在根本上解决了串扰的问题。伴随着3D NAND技术兴起，电荷俘获技术逐渐成为主流，不过在性能上却不如浮栅技术。

一个存储单元就是一个晶体管，它只能存储1位，也就是一个0或一个1，这种存储方式意味着对于一张3MB大小的照片就需要3145728 字节×8=25165824位，也就是两千多万个晶体管。

既然可以通过施加电压来表示0和1，那么通过改变充电值来控制电荷俘获层中的电荷量便可以代表更多的位的数据。只代表0或1的被称为SLC（Single- Level Cell），在此基础上出现了MLC（Multi-Level Cell），也就是一个单元表示2位：00、01、10、11。类似地，三级单元（TLC）可以存储3位，表示8种不同的状态（000到111），需要8个不同的充电值。四级单元（QLC）和五级单元（PLC）分别可以存储四位和五位，分别对应16种和32种状态。

以这种方式提升存储容量被称为存储密度或是逻辑缩放（Logical Scaling），各类产品各有千秋。虽然单元存储位数上升可以换来低成本的大容量，但随着每个单元存储的位数增加，由于需要更精确地控制和测量电荷水平，读写速度会变慢且寿命也会缩短。

TLC和QLC产品为目前大容量存储主流，同时由于SLC产品主要为特定用途定制，整体规模较小，也被称为利基（Niche）产品，而MLC、TLC和QLC则主要为消费和企业级产品，具有大宗商品属性，也被称为大宗/主流产品。

以上我们所说的都是一个存储单元（Cell）内所发生的，或者说是一个晶体管内。无论是SLC还是QLC，想要更大的存储容量就需要集成更多的晶体管，也就是横向缩放（Lateral Scaling），因此存储芯片也像逻辑芯片那样遵循摩尔定律。

从结构上看，存储芯片就是一个矩阵，晶体管由字线（Wordline，WL）和位线（Bitline，BL）排列。字线并联一个水平行中的所有单元格的栅极，位线则连接一个列中所有单元格的源极或漏极。一个字线所控制的一组单元也被称为一页（Page），是数据读写的最小单位，数据读写操作都是按页进行的。

将多个页组合在一起被称为一块（Block），是数据擦除的最小单位，意味着即使只修改一个页的数据，整个块的内容也需要被擦除然后重新写入除了被修改页之外的其他页数据。字线和位线相交形成的网格构成了2D NAND的核心结构，每个交点对应一个存储单元。对任何单个单元的访问（读取或写入）都是通过激活相应的字线和位线来定位到矩阵中的特定单元格。

然而，在2D平面上提高制程存在技术瓶颈（60nm-40nm-20nm-15nm），且进一步微缩会产生严重的漏电现象导致存储信息丢失。存储芯片厂商另辟蹊径，开发出了垂直缩放（Vertical Scaling），也就是3D NAND，其二维平面上的关键尺寸线宽与成熟制程接近，垂直方向堆叠存储单元，具有更大容量、更低功耗、更优耐用性以及更低成本的优势。通常SLC和MLC都是2D NAND，TLC、QLC 大都为3D NAND。

从2013年三星推出第一代3D NAND产品以来，垂直堆叠技术已经得到长足发展，目前最先进的3D NAND堆叠层数已达200层以上，硬盘容量也由128GB显著提升到2TB。同时，由于堆叠技术不受半导体制程限制，理论上具备无限堆叠潜力，同时还相当于绕开了先进制程所必需的EUV光刻机。

而光刻设备又是我国半导体产业上最弱的一环，因此3D堆叠工艺有助于国内半导体扬长避短。成立于2016年的长江存储作为国内NAND龙头于2020年推出128层技术，2022年又成功研发232层，均处于国际领先水平。

由下图可见，各大厂商纷纷布局堆叠层数为未来存储容量提升的主要路径，到2030年甚至可能会看到600层或是800层的3D NAND。

以上所说的属于NAND颗粒范畴，实际上颗粒还需要和主控芯片和DRAM缓存共同组成NAND模组来使用，主控芯片负责与CPU进行数据通信以及NAND颗粒数据管理，DRAM缓存是CPU与主控之间的数据中转站，NAND Flash颗粒负责数据存储。

控制器和NAND之间的通信协议分为ONFL和Toggle两种，前者是英特尔和美光指定的标准，后面是东芝和三星指定的标准。控制器通过IO连接器连到服务器，这个之间则是通过SATA或PCIE的形式。

由于NAND的颗粒和模组出货形式，最终厂商也可以分为IDM厂商和第三方厂商。IDM厂商既生产颗粒又生产模组，而第三方厂商则从IDM厂商手里购买颗粒和其他零部件后拼装模组，第三方厂商中金士顿的份额最高。

我们用下图总结ROM存储设备的发展史，从1967年至今已历经超过50年。可以看出，人们对存储器的探索是循序渐进的，从最早的一次编程不可擦除到后来的电可擦除和闪存，从2D的SLC到3D的TLC和QLC，存储器的性能和容量都得到了极大提升。

存储周期

半导体是一个同时具有周期性和成长性的行业，每4-5年经历一轮周期，上行周期从周期底部到周期顶部一般1-3年，下行周期从顶部到底部一般1-2年。

存储器占全球半导体销售额比重超过 20%，且存储器周期在半导体细分领域中是波动最大的。事实上，由于数字经济时代数据量的大规模增长，对于存储器的需求一直在增加，只是供给侧时而落后于需求，时而又跑在需求前面，加剧了周期性波动及其幅度。

因此，投资存储板块很简单，只需要在周期上行时买入并持有。当前就处于新一轮上行周期，我们可以从销售额、产品价格及大厂资本支出状况来判断当前周期的底部。

从上图来看，存储产品销售额在2023年后探底，此时距离2021年的顶部已经过去2-3年。从产品价格来看，无论是DRAM还是NAND产品的价格均在2023年9月出现底部，如今已经经历几轮涨价。

受AI硬件需求爆发提振，今年一季度DRAM产品几乎全线涨价20%左右，NAND产品更是出现20%-25%的提价。根据大摩最新的预测，今年二季度和三季度有望继续涨价，DRAM产品二季度再涨3%-8%，三季度再涨8%-13%，而NAND产品在二季度再涨10%-15%，此后逐渐走平、回落。

站在大厂资本支出的角度，2023年上半年由于存储行业整体处于下行区间，三星、SK海力士、美光、西部数据和铠侠等厂商纷纷宣布减少产能，降低存储业务的资本性支出。进入2024年来晶圆开工数量才有所回升，因此短期内强劲的需求会造成供不应求，也就是刚才所说的涨价潮。

除了周期自然的触底回升外，本轮周期还伴随着AI时代的来临，AI手机、AI PC等端侧设备概念不断被提及，有了AI加持得到性能提升的手机和电脑均有可能打开新一轮换机潮，在将消费电子行业拉出下行周期的同时带动对存储芯片的需求提升。

在AI服务器领域对HBM内存需求更是供不应求，英伟达的GH200和GB200采用的HBM3e由海力士、三星、美光供货，三者不久前均表示其2024年HBM产能已经售罄。

不过需要谨慎的是，虽然对于存储的需求在回升，但大部分的需求实际上来自于DRAM内存产品，尤其是HBM。随着大模型的成熟，越来越多的训练需求也将转变为推理需求，同时叠加视频模型（比如Sora）的出现，硬件性能的提升将更依赖内存容量和带宽的提高。

因此，在预算有限的情况下，更多的支出可能被优先分给HBM，NAND的增速将不如DRAM。下一篇中，我们继续来探索HBM。

文内插图&参考资料：

国金证券04/2024--计算机行业算力深度报告一：算力研究框架~产业链全梳理

国金证券03/202--AI模型系列报告：从世界模型看算力需求变化

中原证券11/2023--存储器——让数字世界拥有记忆

财通证券11/2023--存储器迈入发展新周期，国内产业链大有可为

银河证券03/2024--存储行业景气度拐点已至，AI/国产化/需求复苏带来新周期

百易存储研究院07/2022--2022闪存市场全景白皮书

Morgan Stanley 03/2024-- Memory – The Power of Doing Nothing

Morgan Stanley 04/2024-- Highlighting strength in AI storage markets; reit OW WDC， PT to $83

新华三11/2021--互联网技术详解-SSD技术原理和演进

夏天的风（知乎）06/2023--闪存——初识

本文来自微信公众号：投研实习生（ID：gh_9b44556890f4），作者：Henryhr