月之暗面本週发表 Kimi K3，以 2.8 兆總參數成为史上最大开源權重模型，完整權重预计 7 月 27 日前上架。官方部署指引寫明，自架至少要 64 張加速器，單机玩家剩 K2 家族或官方 API 两条路。
（前情提要：月之暗面 Moonshot AI 即將推出 Kimi K3！具備 2.8 兆參數与百万长文本，性能直逼 Anthropic Opus 4.8）
（背景補充：我的电腦可以本地运行 AI 模型嗎？CanIRun.ai 幫你快速分析）
本文目錄
Toggle
MoE 是什麼？
官方门檻：64 張 GPU 起跳
上一代还塞得进一台电腦
本週稍早，月之暗面（Moonshot AI）发表 Kimi K3，总參數达到 2.8 兆，是史上最大的开源權重模型。光是要把这 2.8 兆个參數存进硬碟，用官方原生的 4 bit 格式（MXFP4）就需要 1.4TB 到 1.5TB 空间，且这还没开始跑推论。对於一般人来说的门檻非常非常高。
本地运行 Kimi K3 硬件门槛？64 张 GPU 起跳、45kW 用电，玩家自架出局
月之暗面本週发表 Kimi K3，以 2.8 兆總參數成为史上最大开源權重模型，完整權重预计 7 月 27 日前上架。官方部署指引寫明，自架至少要 64 張加速器，單机玩家剩 K2 家族或官方 API 两条路。
（前情提要：月之暗面 Moonshot AI 即將推出 Kimi K3！具備 2.8 兆參數与百万长文本，性能直逼 Anthropic Opus 4.8）
（背景補充：我的电腦可以本地运行 AI 模型嗎？CanIRun.ai 幫你快速分析）
本文目錄
Toggle
本週稍早，月之暗面（Moonshot AI）发表 Kimi K3，总參數达到 2.8 兆，是史上最大的开源權重模型。光是要把这 2.8 兆个參數存进硬碟，用官方原生的 4 bit 格式（MXFP4）就需要 1.4TB 到 1.5TB 空间，且这还没开始跑推论。对於一般人来说的门檻非常非常高。
月之暗面表示，完整开源權重预计 7 月 27 日前上架，採用 Modified-MIT 授權，允許自行架设。截稿当下，完整權重与社群量化版本（例如 GGUF）都还没出现。
MoE 是什麼？
Kimi K3 採用 MoE（混合專家）架構。簡單来说就是，模型內部養了 896 个「專家」子網路，每次處理一个 token，系统只挑其中 16 个路由專家加上共享專家运算，不会全部算一遍，这也是为什麼实际「醒著」工作的參數只有 500 亿到 600 亿。
模型还採用新架構 Kimi Delta Attention（KDA），另搭配 Attention Residuals；官方自评在百万 token 长上下文下，解碼速度最高提升 6.3 倍，上下文視窗达 100 万 token，也原生支援視覺输入。
官方门檻：64 張 GPU 起跳
月之暗面官方部署指引寫明，自架 K3 至少需要 64 張以上的加速器。原生 MXFP4 權重约 1.5TB，是 DeepSeek-R1 671B（Q4 量化约 407GB）的 3.7 倍。單純換算放權重需要幾張 GPU：
且这还沒算 KV cache，也就是模型記住对話上下文用的記憶體；100 万 token 长上下文的 KV cache 需求官方尚未公布，但只会更多不会更少。
价格上，H100 80GB 單張约 2.5 万到 3.3 万美元（PCIe），SXM 版 3.5 万到 4 万美元以上；8 卡 H100 伺服器一台超过 30 万美元。按官方 64 張门檻，等於 8 台 8 卡伺服器，光硬體採購就超过 240 万美元，约新台币 7,000 万以上。
功耗上，H100 單張约 700W，64 張光 GPU 就约 45kW，远超一般家庭供电容量，是机房等級的用电。
上一代还塞得进一台电腦
对照上一代 K2 家族（1 兆參數，约 320 亿启用參數）更有感。社群替 K2 做出的 1.8 bit 极限量化，约 247GB 即可硬跑，一張 24GB 消费級顯卡搭配系统記憶體卸载也能动；K2.5 需超过 380GB 统一記憶體，K2.6 的 Q2 版本约需 350GB。
上一代一台 512GB 的 Mac Studio 勉強跑得动，而 K3 則直接把门檻推回资料中心等級。对於一般散戶如果想使用，就乖乖降级使用 K2 家族或直接呼叫官方 API 吧。