Data Engineering for 128K Context：80K 长度上训 5B token，再外推到 128K 精确检索

读完后你应该知道：为什么业界的共识是用几百 B token 去「注入」长上下文能力，以及论文为什么认为这是花错了力气。

NIAH 把一句话（needle）随机插进一篇长文（haystack）的任意位置，要求模型原样复述（Kamradt, 2023）。Figure 1 把结果画成网格：横轴是文档长度 1K→128K，纵轴是针所在深度 0%→100%，绿格=找到，红格=没找到，胜利条件几乎是全绿。

2023 年底的现实是：LongLoRA 100K 的 NIAH 只有 70.0，YaRN Mistral 128K 只有 57.4，LongChat v1.5 32K 只有 18.0（Table 3），前沿级别的表现只见于 GPT-4 128K（87.1）。同时，LLaMA Long 与并行的 XVERSE 采用约 5000 亿 token（§1 原文 500 billion）做持续预训练，成本接近从头预训练。

论文的出发点是一个可证伪的假设：在 128K 内任意位置使用信息的能力，大部分在 4K 的大规模预训练里已经获得，持续预训练只是把它「解锁」（原文 unlock，§1、§5.2）。如果假设成立，需要的不是 5000 亿 token，而是一小份能把这个能力接出来的数据。

读完后你应该知道：Table 1 把各家的差异归结为「训练长度」「数据混合」「长度上采样」三件事，本文在每一行上都选了另一项。

Together LLaMA-2 32K 与 LongChat v1.5 32K 输在训练长度：32K 训练只泛化到约 40K（§2），NIAH 分别为 27.9 与 18.0（Table 3）。

NIAH 与 MMLU 两列逐字取自 Table 3；前三列的信息取自 Table 1、§2。YaRN 的训练长度原文未给出，以「—」表示。

读完后你应该知道：五种数据策略分别动了「长度分布」和「领域分布」中的哪一个，以及为什么只有按源上采样两头都不破坏。

§3 把文档长度与来源领域拆成两个可以分别操纵的因素：书和 GitHub 代码最长，其次是 Arxiv，C4 与 StackExchange 偏短；动长度就会动领域，反之亦然。在这个二维平面上，五种策略各站一个位置（Figure 2 画的就是它们的长度与领域分布）：

前三列取自 §3、Figure 2 的图注与 Table 5 的结论；「检索表现」一列是文字读数，不是表内数字。

「只切不采」不够，而「只采不管领域」也不行

Figure 4 是两个 LLaMA-2 7B、同样 80K 长度、同样 5B token，只差数据混合的对照。原始混合的验证 loss 在 1K / 16K / 32K / 64K / 128K 为 1.80 / 1.56 / 1.42 / 1.33 / 1.37，按源上采样为 1.80 / 1.56 / 1.41 / 1.32 / 1.36——每列差不超过 0.01，但 NIAH 是上排（原始混合）在约 64K 之后大面积变红、下排（按源上采样）接近全绿。

Table 5 则用 逐域 loss 变化衡量各策略相对原始混合的伤害，门槛是 ±0.01（>+0.01 为变差，<−0.01 为变好，中间为无显著差异）。4K–128K 段的 Book↑ 把自己的书域 loss 压低了 0.175，却把 GitHub 抬高了 0.029，导致越界；按源上采样在这一段七个域里六个变好或持平——C4 −0.010、CC −0.010、Stack −0.006、Arxiv −0.011、Wiki −0.044、Book −0.014——只有 GitHub 高出 0.002，落在无显著差异区。

自己动手：数据量一档一档加上去，看「失败格数」怎么减

Figure 3 是同一配方、只改训练 token 数的六张 NIAH 网格。切换 token 数，看准确率先快后慢、并在 10B 处回落。本页网格是按顶部准确率换算出的示意：每行失败格数 r = round(100 − 准确率)，封顶 12（每行 12 列），失败格从最右列往左填。100–500M 三档的 round(100 − acc)（62 / 41 / 19）都超过 12 被封顶，所以网格在前五档看起来一样「整行失败」，差异只能从读数与 Figure 3 的真实准确率读出。

自己动手：把准确率对训练 token 数画出来

用滑块选择 token 数，读出这一点的准确率、相对上一档的差和相对 5B（88.0）的差。注意六档并不等距：100M → 300M → 500M 是等距的，之后跳到 1B、5B、10B。

读完后你应该知道：为什么二次复杂度的注意力没让 80K 训练变得不可承受，以及论文给出的完整训练配置。

注意力是二次复杂度，直觉上 80K 该比 4K 慢约 400 倍。论文的解释是：训练时间的大头是 IO——CPU→GPU（offloading）、GPU→GPU（NVLink）、HBM→SM（FlashAttention 式分块）——这些都与序列长度线性相关；真正的二次注意力计算在 SM 上高度并行，被线性 IO 成本掩盖，于是「训 80K 只比训 4K 慢 3x」（§4）。

代价落在显存上：这套 HuggingFace Transformers + DeepSpeed Zero3 的配置已是框架上限，再长就 OOM；Zero 优化器是数据并行，加 GPU 也换不来更长上下文，显存主要被 KV cache 吃掉。要上 200K 得换序列并行（§4）。

训练本身很朴素：数据无视文档边界打包成 80K 块（跨文档拼接），batch 固定 4M token——原文强调这与 4K 训练的 batch 相同，靠「每块更长、每 batch 块数更少」保证一致；7B 在 80K 下训 5B token；恒定学习率 2e-5；唯一的架构改动是调 RoPE base（沿用 Xiong et al., 2023）。13B 只训 64K。

步数口径（§4）：原文写「5B（数据量）/ 4M（batch size）= 2000 optimization steps」，这个算式本身在算术上不成立——5B / 4M = 1250，要得到 2000 步需 5B / 2.5M。页面不改写原文的 2000，但也不把 1250 硬说成论文口径，两组数并列标注。若按 7B 80K 的实际配置（batch 4M token ÷ 80K/块 = 50 块）计，1250 步对应的正是 5B token：4M × 1250 = 5B。推断（2000 可能来自 batch 2.5M 或含其他行的统计；v1 §4 未给 2000 的解释，Figure 3 的 token 分档按比例换算与 1250 步/5B 自洽：100M ≈ 125 步、300M ≈ 375 步、500M ≈ 625 步、1B = 250 步、10B = 2500 步，见折叠）。

Table 2 列出每个（模型，上下文）组合在两种硬件配置下的耗时，均按 10B token 记账（实际训练 5B）：

逐行照抄 Table 2。按同表计算慢倍数：7B 的 80K÷4K = 10 / 3 ≈ 3.3 倍；13B 的 64K÷4K = 13 / 5 = 2.6 倍。

读完后你应该知道：配方里哪一步是论文真正验证过的变量，哪些只是工程实现细节。

这条流程解释了一个容易被忽略的点：Table 5 与 Figure 3、4 测的都是验证 loss，但论文反复强调，只看 loss 会掩盖检索能力的差别（§5.3）。同一配方下 loss 只差 0.01 的两份数据，NIAH 一个上排红、一个下排绿。

读完后你应该知道：88.0 与 90.0 是在什么条件下取得的，以及它们与通用能力之间的取舍。

主结果 Table 3：7B 用 80K 训练、13B 用 64K。「Ctx.」一列是各模型自己声明的上下文，Ours 两行写的是训练长度；NIAH 统一在 128K 文档上测，MMLU 是短上下文通用能力测试。

数据量：先快后慢，5B 见顶

Figure 3 固定配方、只改训练 token 数：100M → 500M 把 NIAH 从 37.8 拉到 81.1（+43.3 个百分点）；500M → 5B 只再多 6.9（到 88.0）；5B → 10B 反而降 4.0 到 84.0。论文据此判定 500M 就「解锁了大部分能力」，5B 是饱和点，10B 开始在 80K 训练区间上过拟合。

但 Figure 3 的 loss 不配合这个叙事：10B 那一格的 loss 在 1K–128K 为 1.79 / 1.55 / 1.40 / 1.31 / 1.35，5B 是 1.80 / 1.56 / 1.41 / 1.32 / 1.36，几乎逐列相同，NIAH 却从 88.0 掉到 84.0——又一次「loss 看不出差别」。

BookQA：同一张表里的越级

Ours 7B（27.4）高于 LongLoRA 7B（24.3，+3.1 个百分点）与 YaRN Mistral 7B（26.3，+1.1 个百分点），而 YaRN 的基底 Mistral 7B 本身比 LLaMA-2 7B 强（§5 的说法）；Ours 13B（31.1）比 YaRN（26.3）高 4.8 个百分点，相对 +18.3%。

读完后你应该知道：这套方案的适用条件是什么，哪些场景不宜直接套用它的结论。

一句话收束：这篇工作的贡献是证明「长上下文是一条数据工程问题」，而不是给出长上下文能力本身的上限。