为什么长上下文一上来，传统 Transformer 就越来越贵？
Agent 的真实工作负载和普通聊天不同：它可能反复读取几十万到上百万 token 的历史，只生成少量新 token，然后调用工具，再继续读取更长的历史。真正的成本瓶颈因此从“参数量”扩展到了 Prefill、Attention、KV Cache、显存和持久存储。
传统思路往往默认：每一层都应该拥有自己的 KV Cache，每次生成都应沿着完整网络处理历史表示。但当上下文扩到 1M token，这个假设开始昂贵得不合理。
CED：把“读大量上下文”和“逐 token 生成”拆成两种计算
DeepSeek V4.1 Flash 使用 40 层 Causal Encoder–Decoder：前 20 层作为 causal encoder，后 20 层作为 decoder。它不是传统 seq2seq 中“非因果编码器 + 解码器”的复刻，而是面向自回归 Agent 场景的重新分工。
20-layer Causal Encoder
负责高效读取和整理大规模历史上下文，形成供 Decoder 使用的全局表示。
- Prefill 为主
- 激活约 8B 参数 / token
- 承担“读、压缩、索引”
20-layer Decoder
在已有全局表示基础上进行自回归生成，承担更强的推理与生成计算。
- Decode 为主
- 激活约 16B 参数 / token
- 承担“推理、生成、工具调用”
为什么这对 Agent 特别重要？
普通聊天可能是 2K 输入、1K 输出；而 Coding Agent 或 Research Agent 常常是 200K 输入、几百 token 输出。若“读”和“写”付出近似同等的每层计算，系统会把大量算力浪费在不断重新处理历史上。
CED 的思想可以类比为：先由一组人把厚厚的材料整理成可用的工作底稿，再由另一组人基于底稿做判断与输出。这不是“少看信息”，而是让信息处理流程更贴合真实工作负载。
CSA2：不再让每一层都保存一套完整历史
KV Cache 的问题不只是 token 多，而是传统架构里“层数 × token 数”一起放大。CSA2 的关键不是单纯把 attention 做 sparse，而是引入跨层共享与索引复用，让多层不再重复保存、重复搜索同一份历史。
Full
保存主 KV，并运行完整的稀疏索引流程，建立本组后续层可复用的缓存和 Top-K 信息。
Reindex
复用已有主 KV，但重新进行相关性索引；适合“记忆内容相同、关注重点可能变化”的层。
Reuse
主 KV 与稀疏 Top-K 索引都复用，最大限度避免重复缓存与重复检索。
FP4 Main KV
主 KV 使用低精度缓存进一步压缩体积，与跨层复用叠加，把 global KV 压到约 890 bytes / token。
稀疏 Attention 也会贵：所以连“找重点”本身都要分层
假设模型最终只注意历史中的少量 Top-K token，看起来已经很省。但若每一层为了找到这 Top-K，仍要扫描 1M token，那么“检索重点”的成本本身依然会随上下文线性增长。
这一步的意义是把“后续索引层的成本”从完整 context length 中解耦。换句话说，DeepSeek 不是只在优化 Attention，而是在优化 Attention 前面的检索系统。
有些缓存不值得长期保存：需要时重算，反而更便宜
Sliding Window Attention 只依赖最近一段 token。既然旧窗口的局部 KV 之后不会直接使用，就没必要为了恢复超长 Agent session，把所有 SWA KV 都长期落盘。
DeepSeek 的做法是：恢复 session 时，只 replay 最近的 n_win 个 token，重新构建缺失的 SWA KV。也就是用一小段可控计算，换掉大量 SSD / host memory 持久缓存。
| 策略 | 持久存储 | 恢复成本 | 适用思路 |
|---|---|---|---|
| 全部保存 SWA KV | 很高 | 低 | “宁可多存，别重算” |
| Bounded Replay | 显著降低 | 重放最近窗口 | “可便宜重算的，就不要昂贵持久化” |
这体现了现代推理系统很重要的工程观：算力、显存、内存、SSD、网络带宽并不是一个维度上的“越少越好”，而是可以相互交换成本。
Single-Pass mHC：让残差流混合更高效
V4.1 Flash 还引入 Single-Pass mHC，用于改进 residual stream 的混合方式，并配套高效的 Mega-mHC kernel。它不是整套架构中最容易直观理解的模块，但可以把它放在“内部表示如何更高效传播与融合”这一层来看。
与 CED、CSA2 主要解决上下文与缓存成本不同，mHC 更偏向模型内部计算路径优化。学习时不必一开始钻入所有矩阵细节，先知道它属于“网络内部数据流效率”的一环即可。
Engram：让“死记硬背”与“动态推理”开始分工
V4.1 Flash 包含约 196B 参数的 Engram conditional memory，通过 token / n-gram 形式进行稀疏访问。它很像一块条件式、可查表的长期记忆：只有匹配到相关模式时，才访问对应的记忆参数。
适合记忆
高频词组、稳定事实模式、n-gram 局部结构、可通过索引直接命中的知识。
适合 Transformer / MoE
组合推理、规划、上下文依赖判断、多步推断、动态生成。
其背后的思想很值得记住：模型参数并不都必须以同一种方式参与计算。 如果某些知识更适合“按需查询”，就可以把它们从每 token 都经过的主干网络里拆出去。
DSpark：让生成阶段一次“猜”多个 token，再由大模型验证
DSpark 属于 speculative decoding。一个更轻的 drafter 先预测未来若干 token，主模型再并行验证。如果预测成立，就可以一次接受多个 token，从而减少严格逐 token 自回归带来的串行等待。
因此可以把 V4.1 Flash 的性能优化粗略拆成：CED / CSA2 / Indexer 主要减轻 Prefill 与长上下文读取成本；DSpark 主要优化 Decode 吞吐。关于半自回归 Draft、置信度调度及线上 Serving 结果，见 DSpark 专题学习笔记。
把所有模块放回同一张图：它们其实在解决一个问题
看起来 CED、CSA2、Engram、DSpark 是一堆零散名词；但如果从“Agent 读很多、写很少、历史很长、服务成本很高”出发，它们就会自动拼成一套完整系统。
| 层面 | 传统瓶颈 | V4.1 Flash 的回答 |
|---|---|---|
| 模型结构 | 所有层共同承担读写 | CED 把 Prefill / Decode 的职责分开 |
| 注意力 | 长上下文扫描昂贵 | Sparse Attention + 分层 Indexer |
| HBM | 每层 KV 重复保存 | CSA2 跨层共享 + FP4 KV |
| SSD / Host | 长会话持久 KV 巨大 | SWA Bounded Replay |
| 参数使用 | 所有知识都塞入主干计算 | Engram 条件式记忆 |
| 生成延迟 | 严格逐 token 串行 | DSpark speculative decoding |
“新架构太疯狂了”有标题党，但技术变化确实不是小修小补
这次升级真正值得关注的地方，是它把“模型服务系统”的问题直接写进了模型架构本身：KV Cache 怎么共享、哪些缓存该存、哪些该重算、检索候选怎么分层、事实记忆是否应该和推理网络分离，都不再只是推理引擎外围优化。
| 官方公开指标 | V4.1 Flash | 意义 |
|---|---|---|
| Backbone | 552B | 大规模 MoE 主干 |
| Engram Memory | 196B | 稀疏访问的条件记忆 |
| Prefill Active | 8B / token | 输入阶段更轻 |
| Decode Active | 16B / token | 生成阶段给予更多计算 |
| Context | 1,048,576 token | 原生百万级上下文 |
| Global KV | 890 bytes / token | 约为 V4 Flash 的 1/4 |
| Persistent KV | ≈ 1/8 V4 Flash | 显著减轻持久存储压力 |
| Pretraining | 45T multimodal tokens | 从预训练阶段就面向多模态 |
真正值得带走的 7 个学习抓手
长输入、短输出的 Agent 场景会让 Prefill 成为核心成本，架构应围绕这种非对称工作负载优化。
它不再只是推理框架的实现细节，而会反过来决定 Attention、层结构和持久化方案。
因此 Indexer 自身也需要层级化、复用与候选池机制。
能低成本重算的数据，不一定值得昂贵地长期存储；算力和 IO 可以互换。
Engram 说明“长期稳定模式”可以走条件访问，而把昂贵的动态计算留给推理与规划。
当工作负载来自工具调用、超长日志和持续 session，模型内部结构就会开始针对这些模式定制。
还要看：激活参数、Prefill / Decode FLOPs、KV bytes/token、缓存位置、Attention 复杂度、持久化策略、推测解码和实际 Agent workload。
原始资料与校核来源
- DeepSeek V4.1 Flash 官方模型卡（Hugging Face）CED、CSA2、890 bytes/token、SWA Bounded Replay、Engram、DSpark 等核心规格。
- DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression技术报告 / arXiv，包含模型结构、KV Cache、训练与部署设计。
- B站：DeepSeek 的新架构太疯狂了 - AI Search - 中配原视频为 AI Search 的架构解读，中配页面提供完整章节。
说明：本笔记以官方技术资料为事实校核基准，对视频内容进行了重新组织与解释。类比与学习建议属于理解辅助，不等同于论文原文表述。