8月24日，Meta 工程博客同一天挂出两篇长文。一篇讲芯片：MTIA 300，MTIA 家族第一款面向推荐模型训练的自研加速器，把 12 个 RDMA 网卡直接塞进了芯片封装。一篇讲协议：MetaRoCE，一个推倒重来的 RDMA 传输层，规范、参考实现、合规测试套件一并捐给 OCP。

两篇文章没有互相引用，却共享同一个判断：在 AI 集群里，网络不再是采购部门的事，而是设计文档里的事。

这个判断最值得玩味的地方在于方向。过去二十年，数据中心网络的演进叙事是「智能上移」——SDN 把决策集中到控制器，交换机越来越聪明，端点只管收发包。Meta 这两份东西恰好反着走：交换机退化为尽力而为的傻管道，智能被全部推到端点，推进网卡、推进芯片封装、推进通信编译器。MetaRoCE 文章里有一句高度浓缩的话：「fabric 看到的是包，NIC 看到的是意图。」

这不是两篇孤立的工程博客，而是一场正在发生的架构权力转移的宣言。下面拆开看。

推荐模型的诅咒：通信为什么成了瓶颈

要理解 MTIA 300 为什么长成这样，得先理解推荐模型训练和 LLM 训练的根本差异。

LLM 训练吃浮点吞吐，算力是第一瓶颈。推荐模型不同：它的参数大头是 embedding 表——Meta 明确说过这类模型的 embedding 可以占总参数的 99% 以上。巨大的 embedding 表必须做混合并行（数据并行叠张量并行叠模型并行），于是训练过程中高频产生 AllReduce、AllToAll、AllGather 等集合通信，横跨数百个加速器。

问题在于：在 GPU 架构里，这些集合通信是由 NCCL 这类库以 GPU kernel 的形式执行的——通信和训练计算抢的是同一份硬件。collective 和 GEMM 同时跑，两边都慢。Meta 给出的数字很直白：大 GEMM 与集合通信并行时，GPU 的计算吞吐损失可以超过 20%。

换句话说，你花大价钱买回来的算力，有五分之一在替网络打工。对一个每天在生产环境跑海量推荐模型训练的公司来说，这是持续放血的伤口。

MTIA 300：把网卡焊进封装，把通信编译进硬件

MTIA 300 的答案是三步走，每一步都在把通信从「计算的竞争者」变成「芯片里的独立公民」。

第一步，网络接口进封装。 MTIA 300 用两个网络 chiplet 集成 12 个自研 800Gbps RDMA NIC，总 I/O 带宽 1.2TB/s，全程不经过 PCIe。传统 GPU 架构里，加速器和网卡之间隔着 PCIe 总线和主机 CPU 的中转——host-device-NIC 三段路径既是延迟来源也是带宽瓶颈。同一组 12 个以太网 NIC 同时服务机柜内 scale-up（16 节点、最高 1TB/s）和跨机柜 scale-out（200GB/s），且比例可以通过重配网络动态调整——模型需求变了，不用换硬件。

第二步，通信计算近隔离。 芯片上除了 12×6 的计算单元阵列，还有 16 个独立的消息引擎（ME），每个带一个 RISC-V 核负责编排、一个 NIC 接口负责路由，以及一个近存计算（NMC）单元以每周期 128 字节的速度做归约。这些 NMC 摆在芯片边缘、紧贴 HBM 和缓存，合计提供 2.8TB/s 的归约吞吐——超过 I/O 带宽的两倍，保证 AllReduce、ReduceScatter 能以线速执行而不动用计算网格。效果是接近完美的隔离：大 GEMM 与集合通信并行时，计算吞吐损失低于 0.5%（GPU 上是 20%+）。

第三步，通信从运行时库变成编译产物。 配套的通信库 HCCL 是和芯片一起从零协同设计的。它不在线上驱动通信，而是把每个 collective 编译成完整的子图——带显式依赖的工作队列条目数组——派发给消息引擎自主执行。指令拷进 HBM 之后，主机 CPU 彻底离场。collective 通过 torch.compile 被追踪后，和计算算子编进同一张图里；HCCL 会选择拓扑感知的算法，利用 scale-up 和 scale-out 带宽不对称的事实，尽量少碰跨机柜的窄管道。甚至 work request 的写入本身就充当 doorbell，省掉一次额外的内存读，每次操作省约 800 纳秒。

生产数字：150 亿参数的生产推荐模型跨 40 卡训练，MTIA 300 的总通信耗时是等价 GPU 集群的 3.9 分之一。机柜内 HCCL 做到 940GB/s 的通信带宽。

注意一个诚实的边界：MTIA 300 是为推荐模型训练设计的，不是 LLM 训练芯片。但 Meta 在文末自己把话说透了：当推理走向 reasoning、agentic、长上下文，消息变得更小、更频繁、更延迟敏感，每 collective 的预算更紧——一个把网络当作一等系统约束（不只是带宽，还有延迟和消息率）的架构，天然适配这批新负载。这句话是通向下一代 Meta AI 芯片的桥。

MetaRoCE：为一个有损的世界重写 RDMA

如果说 MTIA 300 解决的是「芯片内」的通信，MetaRoCE 解决的是「芯片之间」——并且激进得多：它放弃了 RoCE 的核心教义。

标准 RoCE 的世界观是：网络必须保序、必须无损。为此要靠 PFC（优先级流控）在交换机间构建一个「假装无损」的环境，还得避免多路径包 spraying。这套东西在中小规模勉强能用，在 Meta 已经跑起来的数十万卡、跨多数据中心的集群里会崩掉——PFC 风暴、队头阻塞、-incast 拥塞失控，都是 RoCEv2 的经典事故现场。

MetaRoCE 的世界观反过来了：以太网天生有损，那就按有损设计。 几个关键机制：

  • 乱序交付是常态而非异常。 逐包 spraying 到多条路径上，包乱序到达是设计预期。每个包自带自己的目的地（Write 直接落最终内存位置，Send 自带 receive buffer 匹配信息），没有重排序缓冲区，没有队头阻塞。
  • 每条逻辑路径一个独立的世界。 每条路径用自己的 UDP 源端口做 ECMP 熵，有自己的窗口、自己的 RTT 估计、自己的 ECN 状态。一条路径拥塞或坏了，只 trim 那一条路径，流量立刻转向畅通路径——传输层能区分「拥塞」和「故障」，而不是把整个连接拖死。
  • 丢包的判定与修复都是精确制导。 因为每条路径内部保序，256-bit 选择性确认位图上的空隙就是丢包的铁证（而不是乱序的误报）——空隙出现的瞬间，在丢包的那条路径上、只重传缺失的那个包。
  • 拥塞控制两端一起做。 发送端跑基于 ECN 的 AIMD，接收端在每个 ACK 里返回自己给这个发送者分配的带宽份额。incast（多打一）在一两个往返内收敛——这在依赖发送端盲猜的协议里是做不到的。
  • 对拓扑零要求。 只要求交换机有 ECN 标记和 ECMP 两样东西。不需要包裁剪、网内遥测、credit 流控、交换机侧 spraying。胖树、多平面、深缓冲、浅缓冲、你控制不了配置的公有云网络，同一个传输层全都能跑。

和 AMD 合作在 Pensando 可编程网卡上实现后，在 64 节点 GPU 集群上跑 RCCL 集合通信与 RoCEv2 正面对比：吞吐更高、流完成时间更短；1% 丢包率下仍保持约 86% 吞吐，10% 的极端丢包下还能收敛到有意义的带宽而不是雪崩；4 平面和 8 平面拓扑、最多 4000 条并发连接下，吞吐随平面数线性扩展；模拟平面故障时流量自主重分布，不需要应用或运维介入。

传统 RDMA 还有个隐性税：队列对（QP）同时承载有序消息流和带宽，要多拿任何一样就得多开 QP——节点对之间动辄几十个，每个 QP 一个对全局无感知的拥塞窗口，NIC 上的状态随负载并行度膨胀。MetaRoCE 把两者解耦：上面多条独立有序流（每个 communicator 或 collective 一条），下面多条路径，中间一个拥塞控制器。连接状态不再随工作负载的并行度增长。而上层应用基本不用改——RDMA Verbs API 照常工作。

三条路线的权力地图

把镜头拉远，AI 集群网络现在有三股势力，路线截然不同：

英伟达的垂直整合。 NVLink + NVSwitch + InfiniBand/Spectrum-X + NCCL，一条从芯片到线缆的专有栈。护城河不在任何单点，而在整体耦合度。同一天 NVIDIA 用 AgentX 基准把「每兆瓦 agentic 吞吐量」做成了新指标——Vera Rubin NVL72 号称是 GB300 的 30 倍——本质上是把电力和互联约束直接写进竞争力叙事。买英伟达，就是买整套已经调好的网络。

UEC 的产业联盟。 超以太网联盟 2025 年发布 1.0 规范，方向和 MetaRoCE 高度相似：包 spraying、多路径 RDMA、现代拥塞控制。成员几乎覆盖整个网络产业。

Meta 的单干加捐赠。 这里有个耐人寻味的细节：Meta 本人是 UEC 的创始成员。但它没有等联盟的标准成熟，而是自己写了 MetaRoCE，捐给的还是 OCP——另一个标准组织——并在博客里明确把它定位为 OCP ESUN（以太网可扩展统一网络）倡议向传输层的延伸。规范、DPDK 优化的参考实现、合规框架，10 月的 OCP 全球峰会全套放出。

怎么读这个选择？我的看法：当差异化速度超过标准节奏时，开放自己的东西比等别人的标准更快。 MetaRoCE 不只是技术方案，更是供应链战略——规范进了 OCP，多家 NIC 厂商（AMD 已验证，其他在途）就会照着 Meta 的架构品味造硬件。开放自己的协议，本质上是让整个供应链为自己打工，同时给以太网阵营对抗英伟达专有栈添弹药。「开放」从来不只是美德，更是武器。

为什么是现在：推理时代的流量变了

这两份东西都指向同一个驱动力：**AI 的流量模型正在从「大而稀」变成「小而密」。」

训练时代的集合通信是大块数据、可以容忍排队。推理时代不是。OpenRouter 的百万亿 token 统计显示，单次 agentic 请求消耗的 token 是普通聊天的 15 倍；长上下文预填、KV 缓存复用、分布式 MoE 的专家路由，全是小包、高频、延迟敏感的通信模式。SemiAnalysis 的 AgentX 基准干脆把固定序列长度场景降级为维护模式——那已经不代表真实流量。

MetaRoCE 的路线图把这个判断写得很明白：scale-up 方向在优化处理单元之间直接发起的短内存操作信令路径；scale-across 方向瞄准跨楼宇、往返时延毫秒级的多数据中心同步训练；存储和 KV cache 场景则直面分布式读取的 incast。这三条路，条条都是推理时代的路。

判断：网络设计权易主之后

把 MTIA 300 和 MetaRoCE 放在一起看，能提炼出三个判断。

第一，「买网络」的时代在超大规模层面结束了。 当通信占掉推荐模型训练的相当比例、当 20% 的算力在替通信打工，网络选型能力就不再是竞争力——网络设计能力才是。Meta 的路径是极端的（自己造芯片、自己写传输协议），但方向是普遍的：基础设施团队的能力建设重心，正在从「调交换机」转向「写传输层」。网络工程师的技能栈，正在向软件和编译器迁移——HCCL 把 collective 变成编译产物这件事，象征意义大于工程意义：通信成了编译器问题。

第二，智能的位置发生了一次历史性回摆。 SDN 时代把智能集中上移到控制器，AI 时代把它推到端点 NIC 和芯片封装。交换机产业会被这个趋势持续挤压——当端点自己能处理乱序、丢包、拥塞、多路径，交换机就只剩 ECN 和 ECMP 两件事可做，同质化和价格战不可避免。这不是 Meta 一家的判断，UEC 1.0 的技术选择殊途同归。

第三，以太网阵营的内部竞争刚开始，且有内耗风险。 UEC 和 MetaRoCE/OCP 是两套都开放、方向相似、细节不同的方案。NIC 厂商可能要同时实现多套栈（可编程 NIC 因此受益，AMD Pensando 的合作不是偶然）。最好的结局是事实上的收敛或互补分工，最坏的结局是阵营分裂、互操作性碎裂，让英伟达的专有栈渔翁得利。十月 OCP 峰会是第一个观察窗口。

更远一点看：当 NIC 进了封装、传输层进了端点、collective 进了编译器，「网络」作为一个可以单独采购、单独管理的层，正在溶解成硅片和编译器的属性。对绝大多数还在用 GPU + RoCEv2 的团队来说，这件事的直接启示朴素得多——你的下一个基础设施评估，应该用回放真实 Agent 流量的基准做，静态序列长度测试的参考价值正在归零。

参考：