Transformer 模型演进分析

每个"专家"本质上就是一个独立的前馈神经网络（FFN），结构与标准 Transformer FFN 完全相同（线性层→激活函数→线性层）。不同的是，MoE 层中包含 N 个这样的 FFN 并行排列（例如 DeepSeek-V3 有 256 个专家），每个专家拥有独立的权重参数，训练过程中会自然地"专精"于不同类型的输入模式——有的擅长处理数学符号，有的擅长理解自然语言语法，有的专攻代码语法。

门控网络是一个轻量级的线性分类器，接收输入 token 的隐藏状态，输出每个专家的"匹配分数"。流程如下：① 输入 token → 门控网络打分 → softmax 归一化得到概率分布 → ② 选择分数最高的 Top-K 个专家（通常 K=2）→ ③ 被选中的专家各自独立计算 → ④ 按门控权重加权求和得到最终输出。 未被选中的专家完全不参与计算，节省了大量算力。

传统稠密模型（如 GPT-4）每个 token 都要经过模型的全部参数。MoE 的稀疏激活意味着：总参数 671B，但每个 token 仅激活约 37B 参数（DeepSeek-V3 的实际数据），计算量仅为稠密模型的 1/18。这就像一家拥有 256 个科室的医院，每位患者只需挂 2 个科室的号，而非跑遍所有科室。

如果门控网络总是把大部分 token 路由给少数"热门专家"，会导致：热门专家过载、冷门专家闲置、模型实际容量退化。解决方案包括：辅助平衡损失（在训练损失中添加惩罚项，鼓励均匀分配）、专家容量限制（每个专家单次最多处理固定数量的 token）、以及 DeepSeek 提出的无辅助损失负载均衡策略，通过动态偏置调整实现更自然的均衡。

DeepSeekMoE 在路由专家之外设置了若干始终激活的共享专家（不经过门控选择）。这些专家负责编码所有 token 都需要的通用知识（语法结构、常识推理等），避免每个路由专家都重复学习相同的基础能力，从而释放路由专家的容量去专注领域深度。

路由专家通过门控网络按需激活，每个专家专精特定领域。DeepSeek-V3 采用 256 个路由专家 + 1 个共享专家的配置，每个 token 激活 8 个路由专家。最终输出 = 共享专家输出 + Σ(门控权重 × 被选路由专家输出)，兼顾通用性与专业性。

DeepSeekMoE 将每个专家的 FFN 中间维度缩小为标准大小的 1/4，同时将专家总数增加 4 倍，让更多精细粒度的专家组合处理输入。更多更小的专家 = 更灵活的组合 = 更精准的知识路由。实验表明，这种"细粒度"设计在相同计算预算下显著优于"少量大专家"的配置。

每个词生成三个向量：Query（我在找什么）、Key（我能提供什么）、Value（我的实际内容）。注意力分数 = softmax(Q·Kᵀ/√d)，输出 = 分数 × V。就像在图书馆查资料——Q 是搜索词，K 是书的标签，分数高的书被重点阅读（V）。

单头注意力只能学一种关注模式，但语言中的关系是多维度的：指代关系（它→小猫）、因果关系（舒服→坐）、空间关系（垫子→上）。多头 = 把注意力计算并行做多次，每次用不同的 Q/K/V 投影矩阵，让每个"头"专注一种关系。就像看一幅画：一个人只能注意到颜色，但 8 个人分别关注颜色、线条、构图、光影……最后综合出完整理解。

假设输入维度 512，8 个头，每个头处理 64 维。每个头独立完成 Q·Kᵀ→分数→加权 V 的完整注意力计算，最后将 8 个头的输出拼接回 512 维。总计算量不变，但模型能同时从 8 种视角理解词与词之间的关系。

多头注意力的代价是：每个头都要单独缓存 K 和 V。8 个头 × 2（K+V）= 16 份缓存，序列越长显存越爆。而研究发现，不同头学到的 K/V 其实大量重叠——这正是 MLA 将它们压缩为一个共享低维向量的理论基础。

对训练好的 Transformer 中任意一层的 K 或 V 矩阵做奇异值分解（SVD），会发现奇异值分布极度不均匀——前几十个奇异值占据总能量的 90% 以上，其余接近零。这说明 K/V 看起来是 8192 维的向量，但"有效信息"实际上只存在于一个几百维的子空间中，如同自然图像可被 JPEG 高倍压缩一样。

传统 MHA 中 64 个头各自独立计算 K/V，但研究发现不同头捕捉的信息大量重叠。GQA（分组查询注意力）让 8 个头共用一组 K/V 性能几乎不掉，已经验证了这一点。MLA 更进一步：不是手动分组共享，而是让模型自己学习一个最优的跨头信息压缩方式——所有头的 K/V 都从同一个压缩向量 c 中恢复。

注意力的核心是计算 token 之间的相对相似度排序（谁和谁更相关），而非保留绝对精确的高维表示。Johnson-Lindenstrauss 引理证明：高维空间中的点投影到足够维度的低维空间后，点与点之间的距离关系近似保持不变。因此低维投影足以维持注意力的排序质量。

MLA 不是对已训练模型做后处理压缩，而是从头就带着瓶颈结构训练。模型被迫将所有重要信息塞进 d_c 维的瓶颈，训练梯度驱动 W_DKV 自动学习最优压缩策略——就像 AutoEncoder 一样，给定瓶颈，模型会自动学会什么该保留、什么该丢弃。因此几乎无损。

利用强模型生成高质量训练数据（如推理链、代码解题过程），再用这些数据训练下一代模型。DeepSeek-R1 已验证此路径：用 R1 生成的 80 万条推理数据蒸馏小模型，效果超越直接训练。关键在于建立"生成-筛选-验证"的质量控制流水线，避免模型坍缩。

从 RLHF（人类反馈强化学习）向 RLVF（可验证反馈强化学习）演进。在数学和代码等可自动验证的领域，使用程序化奖励信号替代人工标注，大幅降低对齐成本并提升准确率。OpenAI-o3 和 DeepSeek-R1 均证实多阶段 RL 训练可持续提升模型推理能力。

FP8 混合精度训练、梯度检查点优化、通信-计算重叠调度等技术，使相同硬件的训练效率提升 2~5 倍。DeepSeek-V3 在 2048 块 H800 GPU 上仅用 2 个月完成训练，下一步将通过异构计算（GPU+NPU+存算一体芯片）进一步突破效率天花板。