Hugging Face Blog·· 2025-01-16AI 评分52
Hugging Face 为 Text Generation Inference 引入多后端支持（TRT-LLM、vLLM）
Introducing multi-backends (TRT-LLM, vLLM) support for Text Generation Inference
AI 导读
Hugging Face 为 Text-Generation-Inference（TGI）引入 TGI Backends 架构，通过 Rust 的 Backend trait 把 HTTP 服务与调度层同推理引擎解耦，使 TGI 可作为统一前端层接入不同后端。
来源：Hugging Face Blog · huggingface.co