MiMo - 标签 - vllbc02's blogs https://blog.vllbc.top/tags/mimo/ MiMo - 标签 - vllbc02's blogs Hugo -- gohugo.iozh-CNThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Sat, 06 Jun 2026 00:00:00 +0000 Xiaomi MiMo-V2-Flash https://blog.vllbc.top/xiaomi-mimo/ Sat, 06 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/xiaomi-mimo/ Xiaomi MiMo-V2-Flash

原文第 19 节。小米 2025-12 发布的 309B MoE（15B 激活），benchmark 接近 DeepSeek V3.2，参数只有一半，推理更快。

关键设计

极激进滑动窗口

  • 5:1 SWA + global attention（与 Gemma 3 同款比例）
  • 滑动窗口大小 = 128 —— 比 Gemma 3 的 1024 还小 8×
  • 作者说这是已知的”最大 SWA 模型”

]]>