从第一性原理理解 continuous batching

Hugging Face 发布博客，从 attention 机制与 KV caching 出发，推导出 continuous batching 这一推理优化技术。该方法通过并行处理多个对话、完成即换出，最大化吞吐量，适用于高负载 LLM 服务场景。文章指出 attention 是 token 间唯一交互之处，其计算复杂度随序列长度呈平方增长。