Hugging Face 月度阅读：2021 年 2 月——长程 Transformer

Hugging Face 博客 2021 年 2 月阅读小组聚焦 Transformer 的长程注意力问题，围绕 Longformer、Compressive Transformer、Linformer、Performer 四篇论文展开，归纳出自定义注意力模式、循环、低秩近似与核近似四条降低序列长度二次开销的路线。