Hugging Face Blog·· 2024-12-19精选AI 评分66
Answer.AI 与 LightOn 发布 ModernBERT，为 BERT 提供替代方案
Finally, a Replacement for BERT: Introducing ModernBERT
AI 导读
Answer.AI 与 LightOn 联合发布 ModernBERT，一个编码器模型系列，包含 base（149M 参数）和 large（395M 参数）两个版本，支持 8192 序列长度，可作为 BERT 类模型的直接替换。
推荐理由
ModernBERT 把 LLM 时代的架构与训练经验搬回编码器，读者可据此判断 BERT 类模型在检索与代码场景的替换空间。
来源：Hugging Face Blog · huggingface.co