Partial RoPE

来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。

一句话

Partial RoPE = 只对每个 head 的部分通道应用 RoPE 旋转，剩下通道不变。

Full RoPE:     [r r r r r r r r]
Partial RoPE:  [r r r r — — — —]

• 每个 head 的 rotary_dim 通道做旋转
• 剩余 (head_dim - rotary_dim) 通道保持不变

起源与目的

M1 README 原文：“Rotary Position Embedding (RoPE) applied to half of the attention head dimension with a base frequency of 10,000,000”

M1 论文：“implementing RoPE on half of the softmax attention dimensions enables length extrapolation without performance degradation.”

作者猜测的 rationale：长序列（特别是比训练数据最长还长的）下，“完全不旋转” 比 “训练时没见过的剧烈旋转” 更安全。

谁在用

• MiniMax M1（首创）
• MiniMax M2
• Gemma 4：p-RoPE，只对 25% 的频率对加位置信息（思想类似）

与 [[NoPE（No Positional Embedding）|NoPE]] 的对比

• NoPE：完全不加位置信息
• Partial RoPE：只对一部分通道加
• 两者都旨在”减少位置信息强度”，让长上下文更稳

相关笔记

• [[NoPE（No Positional Embedding）]]
• [[MiniMax M2]]
• [[Gemma 系列]] Gemma 4
• [[Qwen3 系列]] Qwen3-Next —— 也用 partial RoPE

来源

The Big LLM Architecture Comparison, section 13.3 链接：https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison