Hugging Face Blog·· 2023-05-15精选AI 评分62
Hugging Face 将 RWKV 架构集成进 transformers 库
Introducing RWKV - An RNN with the advantages of a transformer
AI 导读
Hugging Face 博客介绍 RWKV 架构已集成进 transformers 库，该架构结合 RNN 与 Transformer 的优势，由 Bo Peng 主导、Stability AI 捐赠训练 GPU。
推荐理由
RWKV 把 RNN 的推理效率与 Transformer 的并行训练结合，并已接入 transformers 库，读者可据此判断长上下文场景的选型空间。
来源：Hugging Face Blog · huggingface.co