NVIDIA NIM 在 Hugging Face 上支持超 10 万个 LLM 快速部署

NVIDIA 宣布 NIM 推理微服务现可在 Hugging Face 上支持超过 100,000 个 LLM 的快速可靠部署。NIM 提供单个 Docker 容器，自动识别模型格式、架构与量化格式（如 FP16、FP8、INT4），并在 NVIDIA TensorRT-LLM、vLLM 和 SGLang 之间选择推理后端，无需手动配置。