Llama 4：
400B 的容量，17B 的算力，10M 的上下文

Llama 3 把规模推到 405B dense；这同时抬高了训练 FLOPs、权重容量和每 token 的计算，三者没有分开的旋钮。

Llama 3 的旗舰模型是 dense Transformer：405B 个可训练参数， 15.6T 个文本 token，预训练上下文 8K，继续预训练后到 128K；训练预算约 3.8×10²⁵ FLOPs。 论文给出的硬件上限是 16K 张 H100，每张 700W、80GB HBM3； 在 Table 4 的三组配置里，BF16 MFU 为 38–43%。

dense 的意思是每个 token 都经过全部 405B 参数。总参数一涨，权重容量、每 token 的权重读取和训练 FLOPs 一起涨； 想把“知识容量”做大，就得同时接受“每 token 更贵”。MoE 的切入点正是把这根轴拆成两根： 总参数决定容量与存储，激活参数决定每 token 的计算。

第二条轴是上下文。Llama 3 的 128K 已经需要继续预训练来扩；再往上到 1M/ 10M，attention 与 KV cache 的成本、 位置编码的外推都会变成独立问题。Llama 4 的 iRoPE 就是针对这条轴的设计（§05）。

第三条轴是多模态。Llama 3 论文把图像、视频、语音能力作为 compositional approach 接在语言模型上 （Abstract）；视觉模块并不是与文本从预训练一开始就共享同一个 backbone 推断（依据：论文称其为 compositional approach，且视觉实验与语言预训练分开描述）。 Llama 4 改用 early fusion，把 text 与 vision token 放进统一 backbone （博客 §Pre-training）。这让“多模态”不再是后接适配器， 而是预训练数据与架构一起变。

Llama 3 用 dense + compositional vision 把能力做上去；Llama 4 换成 MoE + early fusion，把成本和模态都换了一种摊法。

MoE 本身不是 Llama 4 才有的想法；这页的重点是 Llama 4 的具体配置： 128 routed + 1 shared、 每 token 选 1 个 routed expert（选择规则未公开，博客只写 “one of the 128 routed experts”）、alternating dense/MoE， 以及 Scout 的 16 experts。 另一个容易被忽略的变量是蒸馏：Maverick 从 Behemoth （288B active、16 experts、近 2T total） 做 teacher 蒸馏（博客 §2T Behemoth）。因此后面的 benchmark 差值不能只归因于 MoE 结构。

MoE 把总参数与激活参数拆开；early fusion 把图像 token 放进同一个入口；iRoPE 把长上下文外推交给交错注意力。

Table 1（本页整理）：全部来自 Llama 4 model card §Model Information；专家数为模型卡列的 experts， 博客对 Maverick 进一步写为 128 routed + 1 shared。

MoE：容量按总参数算，计算按激活参数算

Maverick 的配置是 400B 总参数、 17B 激活参数、 128 routed experts + 1 shared expert。 每个 token 同时送入 shared expert 和 router 选出的 1 个 routed expert（博客未写先后/串并联关系）；其余 127 个 routed experts 只存在显存里， 不参与这个 token 的计算。层与层之间是 dense 与 MoE 交替 （alternating dense and MoE layers）。

Scout 的配置是 109B 总参数、 17B 激活参数、 16 experts。 博客只对 Maverick 明确写了“128 routed + 1 shared、每 token 走 1 个 routed”；Scout 的路由条数与 shared expert 细节未获取。 不要把 Maverick 的 1/128 直接套到 Scout。

“17B 激活”是一个 per-token 口径，不等于 17B 显存。模型卡与博客均未给出 17B 的内部拆解 （shared expert、attention、embedding 各占多少），也未给出路由负载均衡损失、router 温度或专家并行的通信量； 这些细节未获取。能做的是把两本账分开：存储按 total，计算按 active。

Early fusion：text 与 image token 在入口合并

Llama 4 的 native multimodality 走的是 early fusion：博客说 text 与 vision token 在预训练阶段就合进同一个 model backbone，并说这样可以用大量未标注的 text、image、video 数据联合预训练。视觉编码器基于 MetaCLIP， 但与 frozen Llama 分开训练、配合使用，以适配 LLM（博客 §Pre-training）。

条件要写清：模型卡说预训练数据是“multilingual text and image”，输出是“multilingual text and code” （§Model Information）；博客说预训练用了 image 与 video frame stills， 模型预训练见过最多 48 张图，后训练测试到 8 张。模型卡又说 image understanding 测试到 5 张输入图。三处条件不同，页面并列呈现， 不合并成一个“最大图像数”。

iRoPE：不是所有层都加位置编码

iRoPE 的“i”是 interleaved：一部分 attention 层不加位置编码，另一部分仍用 RoPE；再配合推理时对 attention 的温度缩放 （inference time temperature scaling of attention）做长度外推。博客给的名字解释是“interleaved attention layers”， 长期目标是支持“infinite” context（§Post-training）。

Scout 在预训练与后训练阶段用 256K 上下文， 模型卡标称支持 10M 输入；Maverick 标称 1M。10M 是最大输入长度的能力声明，不等于 10M 上的有效检索； 博客提到的 needle-in-a-haystack 与 10M code NLL 未给出具体数值；模型卡也未提供对应的 10M 评测表（未获取）。

Llama 4 用更多 token、FP8 和超参迁移把 MoE 训练跑起来；推理侧则按 active 参数而不是 total 参数算每 token 成本。

单模型预训练 token：Scout ~40T，Maverick ~22T。博客给出的整体数据混合是 >30T token，超过 Llama 3 混合数据的 2×；语言覆盖 200 种， 其中 100+ 种 各超过 1B token，多语 token 总量是 Llama 3 的 10×。这些数字的条件是“整体混合数据”，不能拿来替换 Scout/Maverick 的单模型 token 数。

训练技术上，博客点名了 FP8 与 MetaP：MetaP 用来设定 per-layer learning rate 与 initialization scale， 并声称这些超参能跨 batch size、width、depth、training tokens 迁移 （§Pre-training）。FP8 的具体 recipe （scale 粒度、amax 历史、哪些算子留高精度）博客未展开，未获取；能确认的是 Behemoth 用 FP8 在 32K GPUs 上跑到 390 TFLOPs/GPU，这是 Behemoth 的数字，不是 Scout/Maverick 的。

Table 2（本页整理）：GPU hours、功耗与 location-based emissions 来自 Llama 4 model card §Hardware and Software （预训练、H100-80GB、700W）；token 数与上下文来自 §Model Information。

把 Llama 3 放在旁边看：405B dense 用 15.6T 文本 token，训练上限 16K H100，BF16 MFU 38–43%。 Llama 4 的 40T/22T 是多模态 token，和 Llama 3 的 15.6T 文本 token 不是同一口径；直接比 token 数会混淆模态与重复 epoch， 页面不把这个比值当作训练量对比。

能耗也要按条件读：模型卡只给预训练、H100-80GB、700W 的 location-based 估算。Scout 是 1,354 t CO2eq，Maverick 是 645 t CO2eq，合计 1,999 t CO2eq；market-based 为 0， 因为 Meta 匹配了清洁能源。这不是推理或全生命周期的排放。

自己动手：总参数决定存储，激活参数决定每 token 读取

下面的模型只算权重：存储 = 总参数 × 每参数字节，每 token 权重读取 = 激活参数 × 每参数字节。 它不含 KV cache、激活、optimizer、通信 buffer，也不含 shared expert 的实际尺寸与路由开销。

文本与图像在 backbone 入口合并；每层要么 dense，要么 shared + 1 个 routed expert（选择规则未公开）；长上下文靠交错注意力外推。

逐步拆开：哪些张量进哪个模块

1. 输入。文本 token 与图像 token 进入同一个 backbone；博客说预训练用了 image 与 video frame stills，模型见过最多 48 张图，后训练测试到 8 张（§Post-training）。模型卡另说 image understanding 测试到 5 张输入图（§Intended Use 注 2）。
2. Early fusion。视觉编码器基于 MetaCLIP，但与 frozen Llama 分开训练、配合使用；text/vision token 在入口合并（§Pre-training）。
3. 层栈。dense 与 MoE 交替；Maverick 的 MoE 层是 shared + 1/128 routed，Scout 是 16 experts。
4. iRoPE。部分 attention 层不加位置编码，其余用 RoPE；推理时对 attention 做温度缩放（§Post-training）。
5. 部署。Scout 以 BF16 发布，可用 on-the-fly int4 量化放进单张 H100；Maverick 以 BF16 与 FP8 发布，FP8 权重可放进单台 H100 DGX 主机（§Quantization）。

先看模型卡的两张表：所有报告值都是 bf16、按表内 #shots/metric；跨代模型不是受控消融。

Table 3（Llama 4 model card §Benchmarks · Pre-trained models）：bf16 模型；#shots/metric 见表。 原表只在 ChartQA（预训练）行把 Llama 3.1 两列标注 No multimodal support；DocVQA 行 Llama 3.1 两列为空白。 本页把空白与 No multimodal support 都按无多模态处理，不是 0 分。

Maverick 对 Llama 3.1 405B：总参数 400B 对 405B，激活参数 17B 对 405B。MMLU 85.5 vs 85.2，高 0.3 个百分点； MMLU-Pro 62.9 vs 61.6，高 1.3 个百分点； MATH 61.2 vs 53.5，高 7.7 个百分点； MBPP 77.6 vs 74.4，高 3.2 个百分点； TydiQA 31.7 vs 34.3，低 2.6 个百分点。 五项里四项更高、一项更低，并非所有任务都更高。

Scout 对 Llama 3.1 70B：MMLU 79.6 vs 79.3，高 0.3 个百分点； MMLU-Pro 58.2 vs 53.8，高 4.4 个百分点； MATH 50.3 vs 41.6，高 8.7 个百分点； MBPP 67.8 vs 66.4，高 1.4 个百分点； TydiQA 31.5 vs 29.9，高 1.6 个百分点。 五项都更高，但 Scout 的总参数是 109B，大于 70B；训练数据也不同，这不是控制变量的结论 推断（依据：博客称 Llama 4 的数据混合超过 Llama 3 的 2×，且多语 token 为 10×）。

Table 4（Llama 4 model card §Benchmarks · Instruction tuned models）：bf16；MMMU Pro 为 Standard 与 Vision 两项平均 （原表脚注 ^）。原表只在 MMMU（指令）行把 Llama 3 两列标注 No multimodal support；MMMU Pro、MathVista、ChartQA、DocVQA 四行 Llama 3 列为空白，本页按无多模态处理，不是 0 分。MTOB 为 chrF，原表仅 half book 行在 Llama 3 两列注明 Context window is 128K，full book 行原表为空白；LiveCodeBench 的窗口是 2024-10-01 至 2025-02-01。

指令微调表里，Maverick 对 Llama 3.3 70B：GPQA Diamond 69.8 vs 50.5，高 19.3 个百分点；MMLU Pro 80.5 vs 68.9，高 11.6 个百分点；LiveCodeBench 43.4 vs 33.3，高 10.1 个百分点；MGSM 92.3 vs 91.1，高 1.2 个百分点。 对 Llama 3.1 405B：GPQA Diamond 69.8 vs 49.0，高 20.8 个百分点；MMLU Pro 80.5 vs 73.4，高 7.1 个百分点；LiveCodeBench 43.4 vs 27.7，高 15.7 个百分点。 这些是指令微调表，和预训练表不能混。

Scout 对 Llama 3.3 70B：GPQA Diamond 57.2 vs 50.5，高 6.7 个百分点；MMLU Pro 74.3 vs 68.9，高 5.4 个百分点；LiveCodeBench 32.8 vs 33.3，低 0.5 个百分点；MGSM 90.6 vs 91.1，低 0.5 个百分点。 代码与多语上并没有都赢。

多模态项：Maverick 的 ChartQA 在预训练表是 85.3， 指令表是 90.0；DocVQA 预训练 91.6，指令表 94.4；MMMU 73.4，MMMU Pro 59.6，MathVista 73.7。原表只在 MMMU（指令）与 ChartQA（预训练）标注 No multimodal support；DocVQA 及其余多模态行的 Llama 3 列为空白，本页按无多模态处理，不是 0 分。

长上下文项：MTOB half book 的 Scout 是 42.2/36.6， Maverick 是 54.0/46.4；full book 的 Scout 是 39.7/36.3，Maverick 是 50.8/46.7。指标是 chrF，任务是把半本/整本书做 eng→kgv 与 kgv→eng 翻译；它不是 10M 检索测试。Llama 3 两列原表注明 context window 128K。

Table 5（本页计算）：输入见 Table 3/4；Llama 3.1 405B 与 Llama 3 405B 同为 405B/128K，规格数字见 Llama 3 §3 （128K 按 131,072 tokens 计）；Llama 4 参数与上下文来自 Llama 4 model card §Model Information。 pp = 百分点；差值为前者减后者。

最反直觉的一行是：Llama 4 Maverick 的总参数与 Llama 3.1 405B 几乎一样 （400B 对 405B）， 激活参数从 405B 降到 17B（比例见 Table 5），MMLU 只差 0.3 个百分点。但 MATH 的 7.7 个百分点与 TydiQA 的 −2.6 个百分点说明： 能力不是单一标量，MoE 的收益并不覆盖所有任务。模型卡/博客未提供 MoE vs dense 的受控消融， 也未提供置信区间或显著性检验（未获取）；因此不能把差值全部归因于 MoE。

MoE 省的是每 token 计算，不是显存；长上下文与多模态的能力声明各有测试条件，超出条件的部分未获取。

显存：省的是计算，不是权重

所有 routed experts 都要存。Table 6 给出权重-only 的折算：Maverick 的 BF16/FP8/INT4、 Scout 的 BF16/INT4，以及 Llama 3.1 405B 的 BF16 基线。模型卡说 Scout 的 int4 量化可放进单张 H100， Maverick 的 FP8 可放进单台 H100 DGX 主机（§Quantization）； 这两个“放得进”是权重与部署层面的说法，不含 KV cache 与长上下文带来的额外显存。

Table 6（本页计算）：参数来自 Llama 4 model card §Model Information（Scout 109B、Maverick 400B）与 Llama 3 §3（405B）；每参数字节为格式定义（BF16 2 B、FP8 1 B、INT4 0.5 B）。 只算权重，不含 KV cache、激活、optimizer、通信 buffer。

KV cache 的具体大小未获取：模型卡/博客未给出 Scout/Maverick 的层数、KV heads、head dim 与 KV cache 精度； 因此页面不估算 10M 上下文的 KV cache。不要把 Table 6 的权重-only 折算当成总显存。

路由：每 token 选 1 个 routed，但没有选择规则、负载均衡与消融细节

博客只说了“每 token 送 shared 与 128 个 routed 中的一个”的结构；router 的选择规则、 负载均衡损失、容量因子、dropless 策略、专家并行的切分与通信量均未获取。模型卡/博客也未提供 MoE vs dense 的受控消融（未获取）。因此不能从 benchmark 反推“MoE 一定比 dense 好”； 能说的是这套配置在报告的任务上达到了这些分数。

上下文：10M 是最大输入，不是有效检索保证

Scout 预训练/后训练用 256K，模型卡标称 10M；博客把 iRoPE 与 inference-time temperature scaling 作为长度外推手段，并提到 needle-in-a-haystack 与 10M code NLL，但未给出具体数值（未获取）。MTOB 是半本/整本书的翻译， 不是 10M 检索；因此页面不把 MTOB 的 chrF 当作 10M 能力的证据。温度缩放的具体温度、插值方式与消融也未获取。

多模态：三处图像数条件不同

模型卡 §Intended Use 注 2 写“tested for image understanding up to 5 input images”；博客 §Post-training 写 “pre-trained on up to 48 images, tested in post-training with good results up to eight images”。 两处数字与条件都照原样并列：模型卡说的是 image understanding 测试，博客说的是预训练/后训练图像数。 页面不把它们合并成一个上限，也不把 48 当作推理时可用的图像数。

评测与发布：bf16、跨代、未覆盖量化

模型卡明确说所有报告评测都在 bf16 模型上做（§Benchmarks）； 量化 checkpoint 只提供部署灵活性，没有进表。两张 benchmark 表的基线是 Llama 3.1 70B/405B 与 Llama 3.3 70B， 和 Llama 4 不是同一代、同一数据、同一后训练 recipe；跨代差值不能当作受控消融 推断 （依据：博客称 Llama 4 用超过 Llama 3 2× 的数据混合，且 Scout/Maverick 从 Behemoth 蒸馏）。 表里没有置信区间或显著性检验；小差值（如 MMLU 0.3 个百分点）不应被当作稳定优势。

发布层面，Llama 4 是 open-weight：模型卡写的是 Llama 4 Community License （§Model Information），属于自定义商业许可。 它不是 OSI 定义/认证的 open-source 判断（依据：模型卡未声明 OSI 认证，许可条款为自定义）。 Behemoth 仍是 teacher、还在训练， 未发布；它的 288B active、16 experts、近 2T total 不能当作已发布模型的规格（博客 §2T Behemoth）。

什么时候别用

• 只有单张 H100，又想跑 BF16 Maverick。Table 6 的 Maverick BF16 行远超单卡 80GB HBM3；模型卡给的是 FP8 单台 DGX 主机，不是单卡 BF16。
• 需要可解释、可复现的路由。从 128 个 routed 中选 1 个的选择规则与 router 细节未公开；同一输入在不同 batch/并行配置下的路由是否稳定， 模型卡/博客未提供（未获取）。
• 需要 10M 上下文的确定性检索。10M 是标称最大输入； 公开的 MTOB 与博客叙述未给出 10M 检索的数值（未获取）。上线前要在自己的长文档任务上复测。
• 需要超过 5 张输入图。模型卡的 image understanding 测试上限是 5 张；博客说后训练测试到 8 张。两处条件不同，保守做法是按 5 张设计，超出部分自行验证。
• 需要 OSI open-source 许可。Llama 4 Community License 是自定义商业许可 （模型卡 §Model Information）；它不是 OSI 认证的开源许可 判断（依据：模型卡未声明 OSI 认证，许可为自定义条款）。