跳到正文

#开源生态

今日 6 条
9月13日周三
  1. Hugging Face Blog62

    用 PyTorch FSDP 微调 Llama 2 70B

    Hugging Face 发布教程,介绍如何用 PyTorch FSDP 配合 Transformers、Accelerate 和 TRL 微调 Llama 2 70B,并给出在 2 节点 16 张 A100 80GB 上的完整配置。

    推荐理由:原文给出 70B 模型 FSDP 微调中 CPU 内存、检查点保存与显存三个问题的具体解法,可迁移到同类大模型训练。

9月12日周二
9月11日周一
9月8日周五
  1. Hugging Face Blog62

    Hugging Face 为 SDXL 带来 T2I-Adapter 可控生成支持

    Hugging Face Diffusers 团队与 T2I-Adapter 作者合作,在 diffusers 中为 Stable Diffusion XL 加入 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 五种条件的预训练 checkpoint。

    推荐理由:Diffusers 团队与 T2I-Adapter 作者合作把 SDXL 可控生成接入 diffusers,并给出与 ControlNet 的参数量对比。

9月6日周三
  1. Hugging Face Blog78

    TII 的 Falcon 180B 上线 Hugging Face

    TII 发布 Falcon 180B 并上线 Hugging Face Hub,提供 base 与 chat 两个版本。该模型有 1800 亿参数,在 3.5 万亿 token 的 RefinedWeb 数据上训练,使用最多 4096 张 GPU、约 700 万 GPU 小时。

    推荐理由:原文给出 Falcon 180B 的参数量、训练数据与评测对比,读者可据此判断开源大模型的规模与商用限制。

9月1日周五
8月25日周五
  1. Hugging Face Blog82

    Code Llama 发布:Llama 2 的代码专用版本接入 Hugging Face 生态

    Meta 发布 Code Llama,这是基于 Llama 2 训练、专注代码任务的开放模型家族,提供 7B、13B、34B 三种参数规模,并采用与 Llama 2 相同的宽松社区许可、可商用。

    推荐理由:梳理了 Code Llama 的模型规格、上下文扩展方式与 Hugging Face 生态接入路径,便于判断能否直接用于代码补全。

8月23日周三
  1. Hugging Face Blog62

    Hugging Face 将 AutoGPTQ 集成进 Transformers,支持 8/4/3/2-bit 量化

    Hugging Face 把 AutoGPTQ 库集成进 Transformers,用户可用 GPTQ 算法以 8、4、3 甚至 2-bit 精度量化和运行大语言模型,4-bit 量化精度损失可忽略,小批量下推理速度与 fp16 基线相当。

    推荐理由:Hugging Face 官方说明 GPTQ 量化接入 Transformers 的用法与显存收益,可据此判断本地部署大模型的成本变化。

8月22日周二
  1. Hugging Face Blog75

    Hugging Face 发布 IDEFICS:Flamingo 的开源复现视觉语言模型

    Hugging Face 发布开源视觉语言模型 IDEFICS,基于 DeepMind 未公开的 Flamingo,仅使用公开数据和模型(LLaMA v1 与 OpenCLIP)构建,提供 9B 和 80B 两个参数规模,各有基础版和指令微调版。

    推荐理由:Hugging Face 用公开数据和模型复现了未开源的 Flamingo,读者可了解其数据构成与开放程度。

8月9日周三
8月8日周二
8月2日周三
  1. Hugging Face Blog35

    Zama 用 FHE 加密大语言模型:GPT2 单注意力头密文推理保持 96% 精度

    Zama 基于 Hugging Face transformers 库,用全同态加密(FHE)改造 GPT2,让部分推理在加密数据上运行,兼顾用户隐私与模型 IP。实验显示,权重与激活值采用 4-bit 量化时,加密后的单个注意力头仍保持原模型 96% 的精度。实现借助 Concrete-Python 将 Python 函数转为 FHE 等价形式,客户端本地推理至首层后加密中间结果交由服务器计算。

8月1日周二
7月27日周四
7月24日周一
  1. Hugging Face Blog62

    Hugging Face 发布 Agents.js:用 JavaScript 为 LLM 提供工具调用能力

    Hugging Face 在 huggingface.js 下发布 Agents.js,一个可在浏览器或服务端用 JavaScript 为 LLM 提供工具访问的新库,通过 npm install @huggingface/agents 安装。

    推荐理由:Hugging Face 官方开源 Agents.js,给出从安装到自定义工具与模型的完整用法,可据此判断如何为 LLM 接入工具。

7月21日周五
7月20日周四
7月18日周二
  1. Hugging Face Blog88

    Meta 发布 Llama 2,Hugging Face 同步上线全套集成

    Meta 发布开源大语言模型系列 Llama 2,包含 7B、13B、70B 的预训练与微调版本,采用宽松社区许可并允许商用。相比 Llama 1,预训练 token 增加 40%,上下文长度扩展到 4k tokens,70B 模型使用 grouped-query attention。

    推荐理由:Meta 发布可商用的 Llama 2 系列,Hugging Face 同步给出推理、部署与微调入口,便于判断开源模型的可落地程度。

7月17日周一
7月5日周三
7月4日周二
7月1日周六
6月23日周五
  1. Hugging Face Blog62

    Open LLM Leaderboard 的 MMLU 分数为何对不上?

    Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文中的数字:榜单封装的是 EleutherAI LM Evaluation Harness,而论文用的是 UC Berkeley 的原始实现,两者在提示词、答案比较方式上不同。

    推荐理由:同一 MMLU 数据集在三种实现下分数与排名差异明显,读者可据此理解评测数字为何不可直接横向比较。

6月22日周四
6月20日周二
6月19日周一
  1. Hugging Face Blog50

    如何为低资源 ASR 微调 MMS Adapter 模型

    Hugging Face 发布教程,介绍如何基于 Meta AI 的 MMS 检查点微调 Adapter 层以适配低资源语言的 ASR。MMS 预训练检查点覆盖 1400 多种语言、参数量 300M 至 1B,每个 Adapter 层仅约 2.5M 权重,微调 10-20 分钟即可获得极低词错误率。低资源语言推荐用 Adapter 训练替代全模型微调,更省内存且性能更好。

6月16日周五
6月15日周四
  1. Hugging Face Blog22

    Hugging Face 发布新版内容政策与指南

    Hugging Face 更新了平台内容政策,以支持开放、协作且负责任的机器学习社区。新政策将“同意”(consent)列为核心价值,重点规范用户内容、身份表达及社区行为,禁止针对用户和 Hugging Face 员工的攻击性或骚扰性语言。平台鼓励通过 Community Tab 公开讨论并协作解决冲突,相关问题可反馈至 feedback@huggingface.co。

6月13日周二
6月12日周一
  1. Hugging Face Blog22

    Hugging Face Hub 如何服务美术馆、图书馆、档案馆与博物馆(GLAM)

    Hugging Face Hub 面向美术馆、图书馆、档案馆与博物馆(GLAM)从业者,介绍如何查找模型、上传数据集并托管演示。Hub 目前托管超 190,000 个模型、33,000 个数据集和超 100,000 个应用与演示,覆盖文本、图像、音频等任务。文中以挪威语文献的命名实体识别为例演示按任务和语言筛选模型,并给出将 CSV 数据集上传至 Hub 的步骤。

6月7日周三
6月6日周二
  1. Hugging Face Blog22

    Hugging Face Hub 正式托管 fastText 全部 157 种语言词向量与语言识别模型

    Hugging Face 现已托管 Meta AI 开源的 fastText 官方镜像,涵盖全部 157 种语言的词向量和最新语言识别模型,用户可通过 huggingface_hub 的 hf_hub_download 几行命令直接下载使用。该集成还支持文本分类与特征提取 widget,并提供词向量最近邻查询和语言检测的示例代码。