Sandwich Norm - 标签 - vllbc02's blogs https://blog.vllbc.top/tags/sandwich-norm/ Sandwich Norm - 标签 - vllbc02's blogs Hugo -- gohugo.iozh-CNThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Sat, 06 Jun 2026 00:00:00 +0000 Arcee AI Trinity Large https://blog.vllbc.top/arcee-trinity-large/ Sat, 06 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/arcee-trinity-large/ Arcee AI Trinity Large

原文第 20 节。Arcee AI 在 2026-01-27 发布的 400B MoE（13B 激活）。技术报告相当详细。

关键设计

3:1 SWA（介于 Gemma 3 与 Olmo 3 之间）

  • local:global = 3:1（不像 Gemma 3 / Xiaomi 是 5:1，也不像纯 global）
  • 滑动窗口大小 = 4096（与 Olmo 3 类似）

[[NoPE（No Positional Embedding）|NoPE]] in global layers

  • global attention 层用 NoPE（参考 [[SmolLM3]] 的做法）
  • 局部层照常用 RoPE

Gated Attention

  • 不像 Qwen3-Next 是完整 GatedDeltaNet，而是借鉴了 Qwen3-Next 的 attention 门控
  • 在 scaled dot-product 后、output linear projection 前 加 elementwise gating
  • 效果：减少 attention sinks，改善长序列泛化 + 训练稳定性

]]>