[Track] L3+ / 方向 2：多卡通信与后端能力 #2722

① 当前概况

总 tracker：#2716。本 Issue 跟踪 L3+ 方向 2，维护本方向的目标、职责边界、子任务入口与验收要求。总入口：#2670。

目标： 贯通多卡及相关 Host／远端数据传输，从通信域和后端初始化到 L2 执行、完成与资源释放形成完整能力。
负责人： @ChaoZheng109（方向协调与范围收敛；子项负责人和 PR 作者继续负责原工作）。
状态： 通信域统一与跨 Run 复用、多项 URMA 基础、Host 通信域和直接 L2 本地 A5 MAP 已交付；共享整表 MAP、子域隔离、CCU、合批提交及故障处理持续推进。
当前结论： 已合入能力按平台、runtime 和拓扑限定范围；已验证待合入、仍在实现、设计讨论和暂缓关闭分别记录，不以单项完成推导整个后端或方向完成。
下一步： 推进 #2731 共享整表 MAP 与 #2833 子域隔离审查合入；对齐 #2971 三 Event ABI 与 Worker 原型、补齐新协议验收；继续 #2855 合批实现／性能边界与 #2621 方案收敛，并处理 URMA 停滞、bootstrap 和握手清理问题。
阻塞／需要协助： #2854／#2860／#2969 的通信停滞尚未解决，需保留设备与版本边界；CCU 接口和独立传输方案仍需协同确认，具体任务按实际前置推进。
更新日期： 2026-11-11 UTC（补入本地 MAP 合入、共享整表 MAP 验证、CCU ABI／原型及 URMA 合批实测；引用对应 PR 和评论的证据，本轮未重新执行测试）。

② 交付与进度

#2594 与 #824 已完成，后者的跨 Run 域复用由 #2594／#2668 覆盖，保留原有入口及证据。#2708 下 #2673、#2674、#2911 已完成，#2910 暂缓关闭；子项全部关闭不等于共享池已交付或整个 #2708 已验收。#2885 仍保留本方向归属，当前暂缓，不属于 #2708。

已合入阶段成果

关键在途工作与风险

• [Feature] Support device-initiated asynchronous Engram fetch from host memory #2657 Host 数据读取： [Feature] TensorTransfer.MAP for local A5 Host DDR access #2730 已由 Add: per-call MAP for local A5 Host DDR access #2714 合入完成，支持直接 A5 L2 的每次调用 MAP，覆盖 TMR／HBG 和 IN／OUT／INOUT；PR 记录此前实现版本的 9 项 A5 上板通过及最终 rebase 的 253 项 focused Python 检查，最终 rebase 未重跑硬件。[Feature] L3 shared Host tables with per-device TensorTransfer.MAP #2731 的 Add: share L3 Host tables through per-device MAP #2893 已基于合入后的 Add: per-call MAP for local A5 Host DDR access #2714 改为整表共享 backing、各 L2 导入并本地 MAP；双设备 BF16／MXFP8 串行及 staged 共 4 项 L3 上板通过，另有 3 项直接 L2 回归通过，但 PR 仍为 draft、未合入。该 L3 路径限定同机 A5 TMR，L3 HBG、A3、跨机 MAP、borrowed context 和 capture 尚不支持，CPU 更新及跨卡冲突写入由应用排序。上述两条 MAP 路径与已交付的分片 Host 通信域跨 rank 读取分开；Add: A3 Host-source communication domains #2928 不代表通用 A3 MAP 已交付。A5 PCIe Host-source 验证限制继续保留，[Feature] Support device-initiated asynchronous Engram fetch from host memory #2657 整体仍开放。
• [Feature] 支持 A5 URMA 重叠子通信域及域间资源隔离 #2833 子域隔离： PR Add: support ordered Device URMA subgroups on A5 #2970 未合入；最新验收已覆盖有序非前缀／重排序成员、重叠域独立释放及两种成员顺序各 32 轮资源稳定性。当前为“已验证，等待审查合入”，实验采样不等同于全部进入常规回归。
• [Feature] CCU 完整用户 kernel 接入方案：通信域、独立 mission、AIV 触发与生命周期 #2971 CCU： Add: define native CCU module and three-Event ABI #2974 已将原生 module／打包／loader 基础改为 V2 三 Event（ready／trigger／done）ABI，移除旧 GM completion-slot 与 stop 协议，仍为 ready for review、未合入；记录 22 项 focused C++、143 项 TMR native admission 检查通过，新 V2 协议尚无对应硬件验收。新增 draft Add: A5 native CCU Worker integration and window transfers #2986 发布 Worker 集成原型，记录 A5 TMR 双 rank／双 mission 故障场景、16 轮及 1000 轮正常执行通过，但使用的是旧 GM 64-bit sequence、final-wake／EXITED 合同，不能将这些结果当作新三 Event 协议验收。下一步对齐 Add: define native CCU module and three-Event ABI #2974、Add: A5 native CCU Worker integration and window transfers #2986 和 最新接口边界：首版一个 L3 一个通信域，L2 callable 提供 kernel 列表，默认每 kernel 一个 mission，使用 comm_ctx + ccu_id 查找资源；PR ABI 仍包含多实例表达，与首版范围的关系及 CcuCallArgs 提交／读取 ABI 需核定。正常三 Event 流程与后续提交占用检测按分阶段讨论推进；完整新协议 Worker 验收、异常保活及最终接口审查未完成，不宣称 A5 HBG 已验收。
• [Feature] Support owner-local transfer extensions with safe device-buffer lifetime #2621 独立传输： owner-local 参考实现与最新 VMM 独立传输进程建议均保留为方案依据。真实 serving KV arena、跨机传输及完整生命周期仍需验收；外部 consumer PR 合入不代表本 Issue 已完成。
• 继续实施／评估： [Bug] Dynamic domain handshake markers exhaust /tmp inodes before communicator teardown #2783（PR Fix: retire dynamic communication handshake files safely #2789）握手文件清理、[Bug] Intermittent two-rank comm_init failure with mismatched bootstrap progress #2800（draft PR Fix: isolate communicator bootstrap across Worker lifetimes #2940）bootstrap、[Code Health] 评估将 SDMA workspace 统一由 CommContext 传递，保留现有启用开关 #2738 SDMA 上下文入口统一仍未完成。Fix: expose SDMA workspace to A2/A3 HBG kernels #2828 已合入的 A2/A3 HBG SDMA workspace 暴露只属于部分基础，不等于 [Code Health] 评估将 SDMA workspace 统一由 CommContext 传递，保留现有启用开关 #2738 完成。
• [Feature] 支持 A5 URMA 批量提交与明确的 flush 边界 #2855 URMA 批量提交： 新增 A5DT 实测覆盖每发送方 33 个同 peer PUT、单 AIV／单 jetty，A5DT UB 直连、CANN 9.3.0、PTO-ISA 90a37965。128 KiB／请求、Batch 4 的双向完整链路提升 11.8%，单向 PUT 提升 50.3%（反序复测 55.4%）；收益交界在 192–224 KiB。256 KiB 统一窗口复测中 Batch 16 的 PUT 阶段慢约 10%，完整链路慢约 2%。这是限定负载的实验结果，不能外推为普遍收益或固定 runtime 阈值；评论建议调用方显式选择 batch，128 KiB 为该负载下保守上限，推广前需补不同请求数／并发配置。Issue 仍开放，批次 API、flush／失败语义及完整交付验收继续推进。
• 未解决故障： [Bug] A5 TMR 分块 URMA PUT 在 CI 中出现 S3 停滞及后续释放超时 #2854、[Bug] A5 TMR 分块 URMA GET 在 CI 中偶发 S3 超时 #2860、[Bug] A5 URMA first GET stalls waiting for CQE on physical cards 5 to 6 #2969 保持开放。已有特定物理卡方向在 simpler 与原生 ISA 的复现；11 月 10 日对照新增 WQE completion ordering 与前缀完成判定不匹配、原生异常清理风险，均尚未证明是全部 CQ 停滞根因。后续官方／ISA／simpler、单 channel 与 ordering 对照尚待执行；不将环境差异、配置差异或另一个环境通过写成已定位／已修复。
• 暂缓项： [Feature] 接入 A5 URMA SHARED_POOL 并推动 ISA 初始化回退修复 #2910（共享池）、[Code Health] A5 RDMA/HNS1825 清理失败后丢失资源所有权与错误状态 #2823（RDMA 清理）、[Code Health] 补齐 A5 RDMA 实机传输、独立域共存验证与 CI 覆盖 #2824（RDMA 真实传输／共存验收）、[Bug] 接入 ISA URMA 可报告的清理结果并保留失败资源所有权 #2885（ISA 清理结果与失败资源所有权）以 not_planned 关闭，评论为 pending。这些是暂缓事项，不计已交付，恢复时沿用原入口。

以上为方向关键里程碑与风险摘要；完整任务集合和细节仍以原生子 Issue 及各自评论为准。

③ 依赖与交接

• 消费方向 1 的资源身份与访问契约；为完成通信目标所需的基础修改随通信任务交付，例如 [Feature] Support owner-local transfer extensions with safe device-buffer lifetime #2621、[Feature] Support device-initiated asynchronous Engram fetch from host memory #2657 的 Buffer 保留和完成衔接。
• 与方向 4 分工：方向 4 管理 Worker 部署、会话和任务传递，本方向承接跨机通信数据面、建域与后端执行。
• 与既有 L2 接口及 Scheduler 负责人协同通信执行、完成和退出，不接管通用 L2 orchestrator、调度或框架 eager/capture 工作。
• [Performance] Provisioning the PTO-ISA async-SDMA workspace degrades AICore fault recovery ~1000x (0.3s → ~306s) on a2a3 #1425 保留在 [Tracking] simpler external dependencies and capability gaps #2495 下，通过引用追踪 SDMA 故障恢复、官方机制验收和旧规避措施清理。
• 算法、模型布局、服务路由和应用通信协议由相应消费者负责；必要的通信 kernel 与 runtime 机制在本方向交付。

④ 已确定边界与验收

• 声明平台、runtime、拓扑、后端和版本的支持组合，未支持的组合明确拒绝。
• 通信域创建、访问、初始化、执行、完成、复用与释放具有端到端证据。
• 区分请求发起完成与数据传输完成，消费者在约定可见性成立后推进，资源释放覆盖真实最后使用。
• 覆盖必要的多并发、重复使用、异常与部分初始化清理；每项扩展分别给出验收证据。

⑤ 设计与历史资料

• [Track] L3+ / 总体设计与重构 #2716：L3+ 共同架构；[Feature] 统一 L3/L4 通信域的建域、访问与释放接口，新增 get_or_allocate_domain #2594：通信域统一；[Track] A5 URMA 通信：多 AIV 并发发送与编译能力暴露 #2708：A5 URMA 子 tracker。
• 通信域接口与生命周期、通信上下文 ABI。
• [Feature] Support owner-local transfer extensions with safe device-buffer lifetime #2621：owner-local 独立传输；[Feature] Support device-initiated asynchronous Engram fetch from host memory #2657：设备发起异步 Host 数据读取。

源码、示例或后端入口存在不等同于全部平台组合已通过验收。

维护约定： 本方向的完整任务清单与实施进度以原生子 Issue 为准；本 Issue 维护范围、关键交接和方向验收，不另行复制完整任务列表。新任务按完整交付目标归入唯一方向；已有细分 tracker 整棵接入，保留其内部层级。场景所需的公共基础修改随场景 Issue 交付，只有独立可复用的基础目标才单独归方向 1。既有负责人和 PR 作者保留原有责任；父子关系不表示实施顺序，blocking 仅指具体必要前置。方案讨论在任务 Issue 中进行，确定后回填相应正文。