Hugging Face 如何用 CPU 扩展 BERT 推理（上）：核心数与批大小调优

Hugging Face 发布博客第一部分，介绍在 CPU 上扩展 BERT 推理的硬件优化方法，测试基于 AWS c5.metal 的 Intel Xeon Platinum 8275（48 核/96 线程），使用 transformers 4.5.0、PyTorch 1.8.1 与 TensorFlow 2.4.0。