iPhone 17 Pro也能跑近400B大模型？Flash-MoE把端侧AI推到新极限

导语：Flash-MoE让接近400B的大模型跑进iPhone，速度虽慢，却证明端侧AI边界被再次推高。

当一个大模型在手机上慢吞吞地“吐字”时，第一反应很容易是：这真的能用吗？但这次的演示仍然足够震撼，因为它证明了一件过去几乎难以想象的事——一个接近 400B 参数规模的 MoE 大模型，真的被跑到了 iPhone 17 Pro 上。

更准确地说，这个模型是 Qwen3.5-397B-A17B，演示时的输出速度大约只有每秒 0.6 个 token，观感上确实非常慢，几乎像是在“逐字挤出答案”。

但如果把视线从“慢不慢”移开，就会发现这件事真正的价值并不在于它能否替代日常聊天，而在于它证明了端侧推理的边界正在被重新定义：超大模型不再只能依赖云端 GPU 集群，本地设备也开始具备承载它们的可能性。

这次演示为什么重要？

把一个近 400B 参数的模型放进手机，难点并不只是算力，更是内存、存储带宽、模型调度和运行时开销。尤其是对移动设备来说，RAM 容量有限、功耗受限、散热也更保守，传统 AI 框架那套“重装甲”方案往往很难直接搬到手机上。

这次演示背后的开源项目是 Flash-MoE，它不是简单把大模型压缩一下再硬塞进设备，而是从底层重新设计了推理流程，尽可能把“模型太大装不下”的问题，转化为“如何高效从闪存中按需取用”的问题。

从结果看，这个 Demo 确实有点“离谱”：虽然速度不快，但它至少证明了超大模型在消费级 Apple 设备上的运行不是空想，而是已经可以被工程化实现的现实路径。

Flash-MoE 到底做了什么？

Flash-MoE 的核心思路可以概括成一句话：既然内存放不下，那就让闪存参与推理过程，把模型权重像“流式数据”一样按需调度，而不是一次性完整加载到内存里。

这听上去有点像旧时代“把磁盘当内存用”的思路，但在今天的 Apple Silicon 和高性能闪存条件下，这种做法被重新工程化之后，已经能在一定程度上支撑极大规模模型的本地推理。

根据项目公开信息，Flash-MoE 为了追求极致的底层效率，做了几件非常激进的事：

• 完全不依赖 Python 运行时，也没有使用 PyTorch 这类重量级框架，而是用 Objective-C 和 C 从头实现引擎。
• 手写 Metal Shader，构建定制化 GPU 流水线，尽量减少 CPU 与 GPU 之间的同步等待。
• 借助 Grand Central Dispatch（GCD）发起大量并发 pread() 读取，充分压榨本地存储的顺序读取能力。
• 放弃应用层缓存，更多依赖 macOS / Apple 系统层面的 page cache 管理，让内存调度更“干净”。

这种写法并不“优雅”，甚至可以说有些极端，但它的目标非常明确：把每一层不必要的开销都尽量剥掉，只留下最直接的数据通路。

几个关键数字，说明它不是玩具

Flash-MoE 之所以引发关注，不只是因为“跑起来了”，更因为它给出了足够具体的性能数据。论文标题就已经表明了它的目标：在消费级硬件上，从 NVMe/闪存流式读取 397B 级 MoE 模型，并达到可交互的推理速度。

项目披露的核心数据包括：

• 模型总体积约 209GB。
• 在 2-bit 专家量化后，体积可压到约 120GB。
• 运行时，任意时刻驻留在内存中的权重约为 5.5GB。
• 在 Apple M3 Max 上可实现约 5.74 tok/s 的持续速度，峰值可超过 7 tok/s。

这些数字的意义在于：它首次比较明确地证明了，当模型规模远超 DRAM 容量时，只要推理路径设计得足够聪明，仍然可以在消费级硬件上拿到接近交互式的体验，而不必完全依赖服务器。

为什么 iPhone 也有机会？

原作者最初的实现是在 Apple Silicon 的 Mac 上完成的，但这类方案在架构上并不只属于 Mac。苹果芯片采用统一架构思路，底层软硬件栈高度相似，因此同一套推理逻辑有机会向 iPhone 这样的移动设备迁移。

当然，iPhone 与 Mac 仍然存在巨大差异：手机的 RAM 更小，持续功耗更严苛，散热条件也更有限。比如 iPhone 17 Pro 的内存只有 12GB 左右，不可能把整个 397B 模型直接装进 RAM。但 MoE 模型的特性恰好给了它一个突破口——并不是所有专家都会同时激活，模型真正需要常驻内存的，只是当前推理路径中活跃的那一部分。

这就意味着，只要推理系统能够把“专家权重”高效地从闪存中调入，再把不活跃部分及时卸出，超大模型就不一定非得被完整塞进内存里。这也是 Flash-MoE 这类工作最值得关注的地方：它把硬件限制从“不可跨越的墙”，变成了“可以被重新设计的约束”。

更早的基础：LLM in a flash

Flash-MoE 并不是凭空出现的。它的思路很大程度上延续了 Apple 在 2023 年发布的研究《LLM in a flash: Efficient Large Language Model Inference with Limited Memory》。这篇论文讨论的核心问题就是：当 DRAM 不够用时，如何让大语言模型依然高效推理。

Apple 的方案重点放在两件事上：

• 尽量减少从闪存到内存搬运的数据总量。
• 尽量按更大、更连续的数据块进行读取，减少随机访问造成的损耗。

这套思路和今天很多人对“大模型本地化”的直觉并不一样。很多人第一反应是压缩、裁剪、蒸馏，但 Flash-MoE 证明，另一条路线同样有效：不追求把模型完全缩进内存，而是通过更聪明的调度，把闪存也纳入推理链路。

它真正释放了什么信号？

如果从日常使用角度看，0.6 tok/s 的速度显然还不够流畅，离真正“人人都能在手机上随手用上超大模型”还有距离。但如果从产业和技术趋势看，这次演示的意义非常大。

它至少释放了三个信号：

• 第一，端侧大模型不再只能停留在“几十亿参数”的保守区间，超大 MoE 模型也开始被尝试搬到本地设备。
• 第二，决定本地可行性的关键，不只是芯片算力，还包括存储带宽、内存管理和运行时调度。
• 第三，Apple Silicon 这种统一软硬件生态，为大模型在手机、平板和电脑之间的迁移提供了天然土壤。

所以，这次 iPhone 上跑起来的并不只是一个模型，而是一种新的工程范式：未来的本地 AI，可能不再只看“能不能装进内存”，而是看“能否被高效地流式调度”。

换句话说，这次演示虽然“慢”，却并不“弱”。它展示的是一种可能性：随着 Apple 芯片性能提升、闪存带宽继续优化、MoE 和量化方案持续进步，未来或许真的能让更强大的本地大模型进入普通人的设备中。

现在看，它还远谈不上成熟产品；但作为一个技术信号，它已经足够清晰：400B 级别的大模型，正在从云端中心，悄悄向桌面和手机端延伸。