导言
长上下文把 KV cache 从一块 GPU 临时张量，逐步推成了跨 GPU、CPU、SSD、NIC 和远程内存流动的分布式状态。表面上，近几年的论文分别在做分页、卸载、压缩、P/D 解耦、远程复用或直通访问；从更抽象的角度看，它们其实都在回答同一个问题：如何分布式地管理一批有依赖、可重算、持续增长且必须按时到达的数据？
本文以放置、组织、传输为主轴，把命名、依赖、正确性、调度与故障恢复作为支撑平面，纵向回看 2022—2026 年的演化，横向比较七类设计范式，并推演下一阶段可能出现的三条路径。研究截止日期为 2026-08-24。
导言
Mooncake 是 Moonshot AI 为 Kimi 长上下文服务设计的 KVCache-centric 推理架构。它不再把 KV Cache 视为某张 GPU 上随请求消失的临时副产物，而是把它提升为跨 Prefill、Decode、CPU DRAM、SSD 与高速网络统一调度的系统资源。本文先用直觉解释，再从 P/D 解耦、Mooncake Store 与 Transfer Engine、缓存感知调度、Chunked Pipeline Parallelism 四个机制展开，并明确论文、当前开源代码与教学重构之间的证据边界。
导言
KV Cache 是自回归大模型推理中最重要的运行时状态之一。它把各层历史 token 已经算出的 Key 和 Value 留在缓存里，使后续步骤只处理新 token，而不必反复计算整个前缀。
这不是免费的加速：模型用持续增长的显存驻留换取更少的重复计算。理解这一交换，才能解释为什么生成会加快、长上下文会吃显存、并发容量可能下降，以及为什么修改提示词中间的 token 会使其后的缓存失效。
导言
“AIV 直驱”是昇腾通信优化语境中的常见简称。最稳妥的理解是：让运行在 AIV（Vector Core）上的 Kernel 直接编排和提交通信工作，避免由 Host CPU 或 AICPU 为每一次细粒度传输继续充当中间调度者。它优化的是通信控制路径；真正搬运字节的仍是 HCCS、RoCE、RDMA 或 URMA 等通信机制与硬件。
导言
本文调研 2021—2026 年 SIGCOMM、NSDI、OSDI、SOSP、EuroSys、USENIX ATC、FAST、MLSys、ISCA、HPCA、ICML 和 NeurIPS 中与长序列、大规模 LLM 推理及 KV cache 管理直接相关的工作，重点关注分页、压缩、稀疏选择、复用、分层存储、卸载、Prefill/Decode 解耦、远程传输、GPU Direct Storage、CXL 和网络内计算。
检索截至 2026-08-24。会议归属以官方 proceedings 或会议程序为准；仅有 arXiv 或项目技术报告的工作被单独列出，不能与正式顶会论文混为一谈。
导言
当代成年人并不只是缺少认识异性的渠道，更缺少一种低冒犯、低浪费、可逐步建立信任的了解方式。工作压力压缩了交往时间，陌生人之间又缺乏共同经历；吃饭、看电影和交换兴趣爱好可以判断相处是否舒服，却很难及早暴露城市选择、生育、金钱、父母照护、职业规划和冲突处理等长期问题。
本文不试图发明一套“灵魂伴侣算法”，而是从古代婚姻流程中提取分阶段确认、双向披露、可信中介和体面退出等机制，再用现代关系研究、平等原则与隐私保护重新设计。目标不是替人决定应该爱谁，而是让两个人更早看见：能否共同经营一个长期生活系统。
导言
WaferLLM 是一篇很适合学习软硬协同设计的系统论文。它没有把晶圆级芯片当作“更大的 GPU”，也没有从某个孤立 Kernel 开始优化；论文先用 PLMR 模型提炼硬件的不可回避约束，再依次重做 LLM 的并行策略、数据布局、KV Cache、GEMM/GEMV 和推理运行时。
本文是系列第一篇，只回答两个问题：WaferLLM 的总体设计链是什么，以及这条链上有哪些值得单独深挖的方向。MeshGEMM 的对齐、循环移位、Interleave、缓冲区生命周期与完整伪代码会放在后续专文中。
导言
这份六页 PDF 与其说是“学习路线图”，不如说是一套 AI 应用工程判断法：先找到结构化、问答、摘要等能交付价值的任务；承认模型输出有波动；把真实用户反馈变成评测集；最后只在评测证明简单方案不够时，逐步增加检索、工具、工作流、Agent 或微调等复杂度。
本文逐页解释图中的观点，同时区分三件事：页面明确表达了什么、它对工程实践意味着什么、哪些口号不能按字面当成技术事实。原 PDF 没有附数据集、实验方法或参考文献，因此曲线和阶梯只能当作概念图，而不能当成性能证据。
导言
AI Coding IDE 的核心并不只是一段 system prompt。模型负责判断，Harness 负责把判断变成连续、受控、可恢复的工程过程。本文固定 Codex 与 OpenCode 源码版本，并以 Claude Code 官方行为契约为界，回答三个问题：Goal 是否只是定时任务，推理强度是否只是换 prompt，以及三种工具如何控制子 Agent 的上下文、模型与推理强度。
导言
Codex 的 Fast 模式究竟快多少？Sol 与 Luna 谁输出更快？我在同一台 Mac、同一账号和同一时间窗口内，串行运行了 36 次真实请求：24 次约 10K 用户输入差分，12 次至少 10K 文本 token 的流式输出。结果很明确：Fast 将持续输出吞吐提高到约 1.50–1.53 倍，Sol 的流式速度只比 Luna 高 3.4%–5.6%；但输入处理速度被连接重试与缓存噪声淹没，本轮无法识别。