知识地图
学习专题
重点专题提供人工策划的学习路径(按序阅读)与要点总结;其余专题按规则分类自动聚合。
⚡
推测解码
重点用小模型起草、大模型验证:从 draft-and-verify 基础到 EAGLE / DFlash / DSpark 并行起草与自适应验证。
🔀PD 分离服务
重点Prefill 与 Decode 分离部署:架构指南、KV 传输优化、混合架构变体与生产实战。
🧠KV Cache 管理
88 篇 →PagedAttention、prefix cache、分层 offload 与外部 KV 存储。
📐量化
86 篇 →FP8 / NVFP4 / MXFP4 / INT4 权重与 KV cache 量化的精度与性能权衡。
🧩并行策略
58 篇 →TP / EP / DCP 等张量、专家与上下文并行。
🕸️MoE 架构
67 篇 →Mixture-of-Experts 服务的路由、kernel 与显存挑战。
🖥️硬件适配
109 篇 →AMD ROCm、Arm CPU、Apple Silicon、TPU、Tenstorrent 等后端。
🆕新模型支持
68 篇 →各新模型的 Day-0 支持与优化。
📏长上下文
56 篇 →1M token 级别的上下文服务。
🎬多模态 / Omni
62 篇 →视觉、语音、视频与 vLLM-Omni 全模态栈。
🔁RL 训练协同
31 篇 →RL rollout、权重同步与训练-推理一致性。
🧭Semantic Router
15 篇 →语义路由与 Mixture-of-Models 系统。
📅调度与批处理
75 篇 →调度器、批处理与 chunked prefill。
⚙️算子与内核
81 篇 →FlashInfer、CUDA graph、kernel fusion。
📊性能评测
138 篇 →AgentX、MLPerf 等基准与 Pareto 分析。
🛰️服务与 API
82 篇 →OpenAI 兼容 API、router、可观测性。
🌱生态与工程
2 篇 →版本发布、工程实践与社区。