高效请求排队：优化 LLM 性能

TNG Technology Consulting 分享了自托管 LLM 服务中的请求排队优化经验，指出单个"重度用户"大量请求会填满 vLLM 等推理引擎的 FIFO 队列，阻塞其他用户。其方案是在 LLM-Server 层为每个用户和模型维护独立队列，用轮询调度替代 FIFO，并通过抓取 vLLM 的 /metrics 指标动态控制后端队列长度以降低新用户延迟。