如何用 Intel 技术加速 PyTorch 分布式微调

Hugging Face 博客展示了如何在 Intel Xeon Scalable（Ice Lake）CPU 集群上加速 PyTorch 分布式微调：借助 Intel extension for PyTorch 和 oneCCL 通信库，在 MRPC 数据集上微调 BERT 模型，从单机扩展到 2 台、4 台服务器并测量加速比。