Hugging Face Blog·· 2024-05-29AI 评分36
Hugging Face 如何对 Text Generation Inference 进行基准测试
Benchmarking Text Generation Inference
AI 导读
Hugging Face 发布 TGI Benchmarking 工具，可在 Hugging Face Space 中部署 TGI 并测量吞吐量与延迟，帮助用户按需调优 LLM 部署。
来源：Hugging Face Blog · huggingface.co