跳到正文
原文
Hugging Face Blog·· 2021-10-25AI 评分42

Hugging Face 用 10 亿句对训练句嵌入模型

Train a Sentence Embedding Model with 1B Training Pairs

AI 导读

Hugging Face 在社区周期间用 10 亿句对训练出 SOTA 句嵌入模型,硬件为 7 块 TPU v3-8,并获得 Google Flax、JAX 与 Cloud 团队指导。训练采用批内负样本的对比学习目标(InfoNCE/NTXentLoss),通过增大 batch size、引入 hard negatives 和跨数据集组批提升效果。模型与数据集已在模型卡中公开。

来源:Hugging Face Blog · huggingface.co