推理需求暴增，GPU遭遇“内存墙”：SRAM以7倍带宽和百倍能效破局

导语：推理需求暴增，GPU内存墙告急。SRAM以7倍带宽、百倍能效入局，三条路线如何破局？

推理算力需求反超训练，芯片遭遇“内存墙”

大模型产业在过去两年消耗了海量算力，其中大部分用于训练。然而，随着模型进入规模化采用和常态化使用阶段，AI算力需求的重心正快速向推理端转移。SemiAnalysis在GTC 2026报告中估算，数据中心推理市场规模已达约500亿美元，推理占AI算力总消耗的比例已超过训练，并且仍在增长。尤其是在Agent、多轮对话和企业级应用场景下，单次请求可能触发链式调用十几次模型，推理算力需求被成倍放大。CFA UK的分析也指出，从AI岗位需求、企业部署密度和推理单位经济成本来看，推理端的算力消耗已成为模型全生命周期的主导部分。

推理需求上升后，现有芯片架构遇到的核心瓶颈并非单纯的算力峰值，而是解码阶段的数据搬运问题，即“内存墙”（Memory Wall）。模型生成每个token时都需要反复读取权重和缓存，内存带宽与数据移动距离直接限制了推理延迟。模型推理分为预填充和解码两个环节：预填充一次性处理全部输入，偏计算密集；解码则逐个token串行生成，退化为矩阵乘向量，偏内存带宽密集。在解码阶段，实际计算耗时不到20%，超过80%消耗在内存数据的物理传输上。处理器计算性能近三十年提升了约五万倍，而内存带宽仅增长约一千倍，两者之间的鸿沟日益加深。

SRAM重新受关注：低延迟、高带宽、低能耗

围绕内存墙，近年来的芯片和系统研究开始将重点放到缩短数据移动距离上。SRAM（静态随机存取存储器）因其片上存储、低延迟和低能耗特性重新受到关注。作为片上高速存储，SRAM能够将模型权重放置在更靠近计算核心的位置，减少权重和中间数据在外部内存与计算单元之间的反复搬运。以2026年的“Memory Wall is not gone”、2024年的“Memory Is All You Need”以及NVIDIA的相关研究为代表，都指出解码阶段的瓶颈指向片上存储面积、能耗和带宽。即使计算已被推到靠近存储的位置，SRAM等片上存储系统仍会成为新的约束。

具体来看，HBM4（第四代高带宽内存）的带宽约为22 TB/s，而片上SRAM的带宽可达150 TB/s，差距约7倍。这一差距源于物理位置：HBM位于芯片外部，而SRAM集成在计算核心附近。能耗方面，HBM约为20 pJ/bit，SRAM仅0.03-0.6 pJ/bit，相差数十到上百倍。SRAM的低延迟（纳秒级）也远优于HBM的微秒级。这些特性使得SRAM成为缓解推理内存墙的有力候选。

三条基于SRAM的工程路线

为了利用SRAM优势缓解内存墙，当前业界和学界探索了三条主要路线，分别从编译器、晶圆和晶体管层面入手。

路线一：编译器层重排数据流

代表企业包括Groq等。该路线通过在编译器层面优化数据流调度，最大化利用片上SRAM的带宽和容量。例如，Groq的LPU（语言处理单元）采用了一种创新的数据流架构，将模型权重和中间结果尽量保持在片上SRAM中，从而减少对外部HBM的依赖。这种方法不需要改变芯片物理结构，而是通过软件优化实现更高效的数据移动，适用于现有硬件系统的升级。

路线二：晶圆层扩大片上存储规模

代表企业包括Cerebras。Cerebras的晶圆级芯片（WSE-2）包含数十亿个晶体管，其在晶圆上集成了大量SRAM（WSE-2拥有40 MB片上SRAM，相比普通GPU多出数倍）。通过在晶圆级上构建庞大的片上存储阵列，大幅减少了数据在芯片内外移动的频率。该路线在训练和推理中均能显著降低内存墙影响，尤其适合大模型推理中的权重加载和注意力计算。不过，晶圆级芯片的良率和成本仍是挑战。

路线三：晶体管层推进存算融合

代表企业包括Fractile等。该路线从晶体管层设计新的存储与计算融合架构，例如计算存储一体（Compute-in-Memory, CIM）或近存计算（Near-Memory Computing）。Fractile声称其专利技术能将SRAM内部的计算单元与存储单元深度融合，在根本上消除数据移动开销。尽管这一路线在理论能效上最优，但当前仍处于早期研发阶段，距离大规模商用较远。

SRAM的短板与展望

尽管SRAM在带宽、能耗和速度上优势显著，但它也面临容量天花板和制程停滞的问题。SRAM的密度远低于DRAM，且随着工艺微缩，漏电流和稳定性问题日益突出。目前最先进的SRAM单元面积约为200F²，而DRAM单元仅需6F²。这意味着在相同芯片面积上，SRAM的存储容量远小于DRAM。此外，SRAM制程在7nm节点后进展缓慢，进一步限制了其容量的提升。对于大模型动辄数百GB的权重，完全依赖片上SRAM是不现实的。

因此，业界普遍认为SRAM并非万能药，而是需要与HBM、以及其他新兴存储技术（如MRAM、ReRAM）协同工作。例如，将模型的部分热权重（频繁访问的部分）放在片上SRAM中，冷权重放在HBM中，通过智能调度实现性能与成本的平衡。在实际系统中，GPU厂商如NVIDIA也在增加L2缓存（SRAM）的容量，例如Blackwell GPU的L2缓存从Ampere的40 MB提升到100 MB以上。

总体而言，SRAM正凭借其低延迟和高带宽成为缓解推理内存墙的关键技术，但容量限制意味着它仍需要在系统层面与外部内存进行协作。三条路线各有所长，短期内编译器优化和扩展现有SRAM规模更易落地，而存算融合则更具长期潜力。随着推理需求持续爆发，围绕SRAM的硬件和软件创新将成为未来AI基础设施的重要战场。