Hugging Face Transformers 原生支持的量化方案概览

Hugging Face Transformers 目前原生支持 bitsandbytes 和 auto-gptq 两种量化方案，前者无需校准数据、支持任意含 torch.nn.Linear 的模型及多模态模型，后者文本生成更快且支持 2-bit 量化。bitsandbytes 的 4-bit 模型暂不支持序列化，GPTQ 则需校准数据集，量化 175B 规模模型约需 4 GPU 小时。