Arcee AI Trinity Large

原文第 20 节。Arcee AI 在 2026-01-27 发布的 400B MoE（13B 激活）。技术报告相当详细。

关键设计

3:1 SWA（介于 Gemma 3 与 Olmo 3 之间）

• local:global = 3:1（不像 Gemma 3 / Xiaomi 是 5:1，也不像纯 global）
• 滑动窗口大小 = 4096（与 Olmo 3 类似）

[[NoPE（No Positional Embedding）|NoPE]] in global layers

• global attention 层用 NoPE（参考 [[SmolLM3]] 的做法）
• 局部层照常用 RoPE

Gated Attention

• 不像 Qwen3-Next 是完整 GatedDeltaNet，而是借鉴了 Qwen3-Next 的 attention 门控
• 在 scaled dot-product 后、output linear projection 前 加 elementwise gating
• 效果：减少 attention sinks，改善长序列泛化 + 训练稳定性

Figure 55: Illustration of the gating mechanism that Trinity Large uses in the attention mechanism.

Depth-Scaled Sandwich Norm

之前没见过这种设计。每个 block 有 4 个 RMSNorm（不像 Gemma 3 的 2 个）：

• 第二个 RMSNorm 的 gain 被初始化为约 1/√L（L = 总层数）
• 训练早期残差更新小，随训练学到合适 scale 长大
• 看起来像 Gemma 3 的 sandwich norm，但加了”深度缩放”

[[MoE（Mixture of Experts）|MoE]]

• DeepSeek-like：大量小专家
• 但比 DeepSeek 略粗（coarser）—— 利于推理吞吐（Mistral 3 Large 也这么干）

其他训练改进

• 新的 MoE load-balancing
• MuOpt optimizer（与 Kimi K2 用 Muon 是不同方案）

模型族

• Trinity Large 400B-A13B（旗舰）
• Trinity Mini 26B-A3B
• Trinity Nano 6B-A1B

Figure 53: Overview of the Trinity Large architecture.

Figure 54: Arcee AI Trinity Large next to GLM 4.5 of a relatively similar size (400B vs 355B).

相关笔记

• [[滑动窗口注意力（Sliding Window Attention）]]
• [[NoPE（No Positional Embedding）]]
• [[MoE（Mixture of Experts）]]
• [[QK-Norm]] —— Trinity 也用了 QK-Norm
• [[SmolLM3]] —— NoPE
• [[GLM 系列]] GLM-4.5 —— 大小相近
• [[Gemma 系列]] —— 同样 sandwich norm

来源

原文 section 20 链接：https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison