NoPE - 标签 - vllbc02's blogs https://blog.vllbc.top/tags/nope/ NoPE - 标签 - vllbc02's blogs Hugo -- gohugo.iozh-CNThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Sat, 06 Jun 2026 00:00:00 +0000 Arcee AI Trinity Large https://blog.vllbc.top/arcee-trinity-large/ Sat, 06 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/arcee-trinity-large/ Arcee AI Trinity Large

原文第 20 节。Arcee AI 在 2026-01-27 发布的 400B MoE（13B 激活）。技术报告相当详细。

关键设计

3:1 SWA（介于 Gemma 3 与 Olmo 3 之间）

  • local:global = 3:1（不像 Gemma 3 / Xiaomi 是 5:1，也不像纯 global）
  • 滑动窗口大小 = 4096（与 Olmo 3 类似）

[[NoPE（No Positional Embedding）|NoPE]] in global layers

  • global attention 层用 NoPE（参考 [[SmolLM3]] 的做法）
  • 局部层照常用 RoPE

Gated Attention

  • 不像 Qwen3-Next 是完整 GatedDeltaNet，而是借鉴了 Qwen3-Next 的 attention 门控
  • 在 scaled dot-product 后、output linear projection 前 加 elementwise gating
  • 效果：减少 attention sinks，改善长序列泛化 + 训练稳定性

]]> NoPE（No Positional Embedding） https://blog.vllbc.top/nopeno-positional-embedding/ Sat, 06 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/nopeno-positional-embedding/ NoPE（No Positional Embedding）

来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。

一句话

NoPE = 完全不加位置编码。没有绝对位置 embedding，也没有 RoPE。起源是 2023 年的 The Impact of Positional Encoding on Length Generalization in Transformers 论文。

]]> SmolLM3 https://blog.vllbc.top/smollm3/ Sat, 06 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/smollm3/ SmolLM3

原文第 7 节。HuggingFace 的 3B 模型，介于 Qwen3 1.7B 和 4B 之间。

总体定位

  • 3B 参数 size：兼顾能力与本地可运行性
  • 训练透明度：与 OLMo 类似，公开了大量训练细节
  • 性能：在与 Qwen3 1.7B / 4B、Llama 3 3B、Gemma 3 4B 的对比中处于前列

]]>