Mistral 系列（Mistral Small 3.1 / Mistral 3）

原文第 4、17 节。Mistral 团队的两代代表性模型：一个 24B dense、一个 675B MoE。

Mistral Small 3.1（2025-03）

24B dense，超过 Gemma 3 27B（除数学 benchmark 外），且推理更快。

速度优势的来源：

• 自定义 tokenizer
• 缩 KV cache
• 层数更少

架构上属于”标准 LLM”——GQA、无 SWA。

Figure 16: An architecture comparison between Gemma 3 27B and Mistral 3.1 Small 24B.

早期 Mistral 模型用过 SWA，但 Small 3.1 似乎放弃了——sliding_window: null 在 model hub config 里。可能是为了用更优化的 FlashAttention（sliding window 减少内存但不减少 latency，而 Small 3.1 关注的是 latency）。

Mistral 3（2025-12-02）

发布与 DeepSeek V3.2 前后只差一天。包含：

• 3 个小 dense 模型（Ministral 3 系列）：3B / 8B / 14B
• 旗舰：Mistral 3 Large 675B MoE（41B 激活） + 2.5B 视觉编码器

Mistral 自 Mixtral（2023）以来第一次做 MoE。

关键点

• 训练 in-house（不从 DeepSeek V3 继续训练，因为 tokenizer 不同）
• 与 NVIDIA 合作优化 Blackwell 芯片的 tokens/sec
• 架构上几乎与 DeepSeek V3 / V3.1 完全一样，只把专家大小 ×2、数量 ÷2
• 与 DeepSeek V3.2-Thinking 在 benchmark 上比差距明显
• 卖点：低成本、低延迟、多模态

Figure 49: Mistral 3 Large benchmarks from the Mistral 3 announcement, with the DeepSeek V3.2 results overlayed on top.

Figure 50: DeepSeek V3 and Mistral 3 Large side by side.

相关笔记

• [[DeepSeek V3 系列]] —— Mistral 3 Large 与 V3 同构
• [[Kimi 系列]] Kimi K2 —— 同样放大 V3 架构
• [[滑动窗口注意力（Sliding Window Attention）]] —— Small 3.1 不用 SWA

来源

原文 section 4 & 17 链接：https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison