跳到正文

全部动态

今日 11 条
3月22日周五
  1. Hugging Face Blog62

    Hugging Face 详解嵌入二值与标量量化:检索更快更省

    Hugging Face 博客介绍嵌入量化方法,将 float32 嵌入转为二值或 int8,分别带来 32 倍和 4 倍的内存与存储缩减。在 4100 万条 Wikipedia 文本的检索演示中,二值搜索加 int8 重排只需 5.2GB 内存和 52GB 磁盘,而常规 float32 检索需要 200GB 内存和 200GB 磁盘。

    推荐理由:Hugging Face 官方给出嵌入量化的原理、代码与 41M 文本检索实测,可据此评估检索成本与性能的取舍。

3月21日周四
3月20日周三
  1. Hugging Face Blog60

    Cosmopedia:如何为 LLM 预训练构建大规模合成数据

    Hugging Face 发布 Cosmopedia,一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集,包含超 3000 万个文件、250 亿 token,用于复现 Phi-1.5 的预训练数据。

    推荐理由:Hugging Face 公开了复现 Phi-1.5 合成预训练数据的完整流程与代码,读者可据此了解大规模合成数据的提示词设计与工程细节。

  2. Hugging Face Blog62

    GaLore:在消费级硬件上训练大模型

    Hugging Face 博客介绍 GaLore 优化器,可将优化器状态内存占用降低超过 82.5%,使 70 亿参数模型(如 Llama 架构)能在 NVIDIA RTX 4090 等消费级 GPU 上训练。

    推荐理由:原文给出 GaLore 与 8-bit 优化器结合的内存节省数据及 transformers 完整示例,读者可据此在消费级硬件上复现训练流程。

3月18日周一
3月15日周五
3月13日周三
3月8日周五
3月6日周三
3月5日周二
3月4日周一
2月29日周四
2月28日周三
  1. Hugging Face Blog78

    BigCode 发布 StarCoder2 代码模型与 The Stack v2 数据集

    BigCode 发布新一代透明训练的开放代码大模型 StarCoder2,包含 3B、7B、15B 三个尺寸,分别由 ServiceNow、Hugging Face 和 NVIDIA 训练,并同步开放模型、数据集及训练代码。

    推荐理由:BigCode 同时放出三个尺寸的代码模型、训练数据集与训练代码,读者可据此判断开源代码模型的能力边界与数据规模。

2月27日周二
  1. Hugging Face Blog58

    Hugging Face 发布 TTS Arena,用盲测投票给语音合成模型排名

    Hugging Face 发布 TTS Arena,用户输入文本后由两个模型分别合成语音,投票选出更自然的一方,结果汇总为公开排行榜。首批参评模型包括 ElevenLabs、MetaVoice、OpenVoice、Pheme、WhisperSpeech 和 XTTS,投票前不显示模型名称以避免偏见。榜单初期为空,随投票累积自动更新,排名采用类似 Elo 的算法。

2月26日周一
  1. Mistral AI62

    Mistral AI 发布对话助手 Le Chat 及企业版

    Mistral AI 发布对话助手 Le Chat,作为与自家各模型交互的对话入口,底层可调用 Mistral Large、Mistral Small 或原型模型 Mistral Next。

    推荐理由:Mistral 官方发布对话助手 Le Chat 及企业版,可了解其模型入口与自部署、审核机制。

2月23日周五
2月21日周三
  1. Hugging Face Blog78

    Google 发布开源大模型 Gemma,Hugging Face 全面集成

    Google 发布开源大模型家族 Gemma,包含 2B 和 7B 两种尺寸,各有基础版和指令微调版,上下文长度 8K tokens。Gemma-7B 在 LLM Leaderboard 上得分 63.75,性能与 Mistral 7B 相当。

    推荐理由:Google 发布 Gemma 开源模型家族,读者可了解其两种尺寸、基准表现及在 Hugging Face 生态中的部署与微调路径。

2月20日周二
2月19日周一
2月16日周五
2月15日周四
  1. OpenAI News88

    OpenAI 发布视频生成模型 Sora,可生成一分钟高清视频

    OpenAI 公开视频生成模型 Sora,在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型,采用作用于视频和图像 latent code 时空 patch 的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,OpenAI 认为扩展视频生成模型是构建通用物理世界模拟器的一条有前景的路径。

    推荐理由:OpenAI 首次公开视频生成模型 Sora 的技术路线,读者可了解其时空 patch 训练思路与生成能力边界。

2月14日周三
2月13日周二