RoPE - 标签 - vllbc02's blogs https://blog.vllbc.top/tags/rope/ RoPE - 标签 - vllbc02's blogs Hugo -- gohugo.iozh-CNThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Sat, 06 Jun 2026 00:00:00 +0000 NoPE（No Positional Embedding） https://blog.vllbc.top/nopeno-positional-embedding/ Sat, 06 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/nopeno-positional-embedding/ NoPE（No Positional Embedding）

来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。

一句话

NoPE = 完全不加位置编码。没有绝对位置 embedding，也没有 RoPE。起源是 2023 年的 The Impact of Positional Encoding on Length Generalization in Transformers 论文。

]]> Partial RoPE https://blog.vllbc.top/partial-rope/ Sat, 06 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/partial-rope/ Partial RoPE

来自 Sebastian Raschka 的 The Big LLM Architecture Comparison。

一句话

Partial RoPE = 只对每个 head 的部分通道应用 RoPE 旋转，剩下通道不变。

Full RoPE:     [r r r r r r r r]
Partial RoPE:  [r r r r — — — —]
  • 每个 head 的 rotary_dim 通道做旋转
  • 剩余 (head_dim - rotary_dim) 通道保持不变

起源与目的

M1 README 原文：“Rotary Position Embedding (RoPE) applied to half of the attention head dimension with a base frequency of 10,000,000”

]]>