乖张腿还是张嘴

电脑版下载

61562
7

乖张腿还是张嘴截图Q8X2R7L1T4J5M9B6W3

内容详情

乖张腿还是张嘴

编辑｜Panda

2025 年 1 月 20 日，DeepSeek（深度求索）正式宣布了 DeepSeek-R1 模子，并由此开启了新的开源 LLM 时代。在 Hugging Face 刚刚宣布的《「DeepSeek 时刻」一周年记》博客中，DeepSeek-R1 也是该平台上获赞最多的模子。

https://huggingface.co/blog/huggingface/one-year-since-the-deepseek-moment

现在，刚过一年时间，DeepSeek 的新模子又在 GitHub 悄然现身。

这些天，DeepSeek 给其 FlashMLA 代码库推送了不少更新，而在这些更新中，一个名为Model1的模子引起了宽大网友的注重。

如下截图所示，这个现在还很神秘的 Model1 不但泛起在了代码与注释中，甚至尚有与 DeepSeek-V3.2 并驾齐驱的文件。

这也不禁让网友们最先推测，这个 Model1 很可能就是听说中 DeepSeek 即将在春节前后宣布的新模子的代号。

我们也让 Gemini 资助剖析了 DeepSeek 的这些 Commit，让其提取了其中的手艺细节，效果如下：

凭证 DeepSeek 在 2026 年 1 月提交的 flashmla 库代码变换，可以推断出Model1 是 DeepSeek 下一代旗舰模子 DeepSeek-V4 的内部开发代号或首个工程版本。以下是凭证代码 diff 提取的手艺细节剖析：

1. 焦点架构：回归 512 维标准

在 csrc/api/common.h 的 DISPATCH_HEAD_DIM 宏中，可以看到 head_dim 的分支处置惩罚：

V32 (DeepSeek-V3.2)：继续沿用 d_qk = 576 的设置。这是 DeepSeek-V3 引入的非对称 MLA 设计（128 维 RoPE + 448 维 Latent）。Model1：切换到了 512 维。这批注 DeepSeek-V4 在 MLA 架构上举行了「标准化」回归，可能是为了更好地匹配 Blackwell (SM100) 架构的算力对齐，或者优化了 Latent 压缩比例。

2. 周全支持 Blackwell (SM100) 架构

代码库中泛起了大宗针对 NVIDIA 下一代 Blackwell GPU 的专门优化：

SM100 接口：api.cpp 中新增了 FMHACutlassSM100FwdRun。这直接指向了 Blackwell 架构的焦点指令集优化。CUDA 版本要求：README 提到在 B200 上运行需要 CUDA 12.9。性能体现：在 B200 上，现在尚未完全优化的 Sparse MLA 算子已能抵达 350 TFlops。而在 H800 (SM90a) 上，Dense MLA 的盘算吞吐量高达 660 TFlops。

3. 引入「Token-level Sparse MLA」

这是 Model1 相比 V3 系列最显著的算子演进：

Sparse & Dense 并行：测试剧本中泛起了 test_flash_mla_sparse_decoding.py 和 test_flash_mla_dense_decoding.py。FP8 KV Cache 混淆精度：Sparse 算子使用 FP8 存储 KV Cache，但在盘算矩阵乘法时使用 bfloat16 以包管精度。这说明Model1 在极长上下文场景下，会通过「希罕化推理」来降低显存压力和提升速率

4. 新机制：Value Vector Position Awareness (VVPA) 与 Engram

虽然 diff 主要是算子层面的，但连系 DISPATCH_MODEL_TYPE 的逻辑和社区披露，Model1 引入了以下新特征：

VVPA（数值向量位置感知）：这可能解决了古板 MLA 在长文本下位置信息衰减的问题。Engram 机制：这被以为是 DeepSeek 在漫衍式存储或 KV 压缩上的新突破，用于配合 Model1 的高吞吐需求

而 Gemini 之以是判断 Model1 是 DeepSeek 下一代旗舰模子 DeepSeek-V4 的内部开发代号或首个工程版本，是由于它以为在下面所示的代码中，MODEL1 的定位是一个与 V32 并列且自力的分支，「说明它不是 V3 系列的补丁，而是一个接纳了差别架构参数的全新模子。凭证 DeepSeek 的命名老例，在 V3.2 之后的旗舰级架构跨越，逻辑上即为 V4。」

对此，你怎么看，你以为 Model1 就是传说中的 DeepSeek V4 吗？