Hugging Face Infinity 在 Intel Ice Lake CPU 上实现毫秒级延迟案例研究

Hugging Face 公布 Infinity 在第三代 Intel Xeon 可扩展处理器（Ice Lake）上的推理基准：经 Infinity Multiverse 优化的 DistilBERT 容器相比同平台原生 Transformers 延迟与吞吐最高提升 800%，相比 Cascade Lake 实例提升 34%。