Falcon 模型登陆 Hugging Face 生态
阿布扎比技术创新研究院(TII)以 Apache 2.0 许可发布 Falcon 系列语言模型,包括 Falcon-40B 和 Falcon-7B 两个基础模型及对应的 Instruct 版本。
推荐理由:梳理 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径,可了解当时开源模型的能力位置。
阿布扎比技术创新研究院(TII)以 Apache 2.0 许可发布 Falcon 系列语言模型,包括 Falcon-40B 和 Falcon-7B 两个基础模型及对应的 Instruct 版本。
推荐理由:梳理 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径,可了解当时开源模型的能力位置。
Hugging Face 宣布举办首届 Open Source AI Game Jam,活动时间为 7 月 7 日至 9 日,参与者需在周末内用 AI 工具做出一款游戏。
Hugging Face 发布面向 Amazon SageMaker 的 LLM 推理容器(DLC),由 Text Generation Inference(TGI)驱动,可部署 BLOOM、StarCoder、Llama、T5 等开源大模型。
Hugging Face 借助 OpenVINO 的 NNCF 与 Optimum,通过量化感知训练(QAT)结合 Token Merging 优化 Stable Diffusion 的 UNet,在 Intel CPU 上实现 5.1 倍推理加速和 4 倍模型体积缩减。优化从 Pokemons 数据集微调模型出发,仅需 4096 次迭代,单张 24 GB 显存 GPU 不到一天即可完成。
Hugging Face 与微软合作,在 Azure Machine Learning Studio 内推出 Hugging Face Hub 模型目录,收录数千个热门 Transformers 模型,用户可在托管端点上一键部署。该目录已在所有提供 Azure Machine Learning 的 Azure 区域开放公开预览,支持按任务或许可证筛选模型并部署为实时推理 API。
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做外部安全审计,未发现可导致任意代码执行的关键安全漏洞,并修复了规范格式不精确和允许 polyglot 文件的校验缺失问题。
推荐理由:外部安全审计确认 safetensors 无任意代码执行漏洞,并给出其成为默认保存格式的推进节奏。
Hugging Face 宣布与 IBM 合作,将其开源库集成到 IBM 的新一代企业 AI 工作室 watsonx.ai 中。watsonx.ai 基于 RedHat OpenShift 构建,支持云端和本地部署,并集成了 transformers、accelerate、peft 和 Text Generation Inference 等 Hugging Face 库。
Hugging Face 发布 BigCode 项目大规模近重复数据删除的技术详解,采用 MinHash + LSH 方法对代码数据集进行文档级去重,参数为 (256, 0.7, 5)。
Intel 用 SmoothQuant-O3 对 OPT 2.7B/6.7B、LLaMA 7B、Alpaca 7B、Vicuna 7B、BloomZ 7.1B、MPT-7B-chat 等模型做 8-bit 量化,模型体积缩小约 2 倍,多数基准指标不降反升。
Hugging Face 被法国数据保护机构 CNIL 选中,入选其强化支持计划。该计划从 40 多个候选企业中选出三家"具有强劲经济发展潜力"的公司,为其提供数据保护职责理解与落实方面的支持。Hugging Face 此前在 BigScience 和 BigCode 项目中已投入隐私风险治理与假名化工具开发。
Hugging Face 发布教程,介绍如何在单块 AMD GPU 上通过 ROCm 运行 13B 参数的 Vicuna 聊天机器人。Vicuna 由 UC Berkeley、CMU、斯坦福和 UCSD 团队基于 LLaMA 微调,训练成本约 300 美元,以 GPT-4 为参照的初步评估中质量达到 ChatGPT 的 90% 以上。
Hugging Face 发布博客梳理文本到视频模型的发展脉络,指出该任务比文本到图像更难,需保证帧间时空一致性。文章回顾了从早期 GAN、VAE 到 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等 Transformer 方案,再到当前以扩散模型为主的第三波浪潮,并分析了算力成本高、高质量数据集稀缺、视频描述模糊等核心挑战。
Databricks 宣布向 Hugging Face 代码库提交首个官方贡献,新增 Datasets 的 from_spark 函数,可直接将 Apache Spark dataframe 转为 Hugging Face Dataset。
Hugging Face 上线中文博客 hf.co/blog/zh,由志愿者翻译 transformers、diffusion 和强化学习等博客与课程内容。官方同时列举 HuggingGPT、ChatGLM、RWKV、ChatYuan、ModelScope 文生视频模型及 BAAI 等中国社区成果,并已与 PaddlePaddle、DataWhale 等开展合作。
Hugging Face 发布教程,介绍如何将 Unity 游戏托管到 Hugging Face Space。用户需创建 Static HTML 模板的 Space,将 Unity 项目构建目标切换为 WebGL,压缩格式设为 Disabled,再通过 Git-LFS 推送构建文件即可。教程还提供可选的 Hugging Face Unity WebGL 模板以美化游戏外观。
Hugging Face 与 AWS 合作,将 Hugging Face Transformers 针对 AWS Inferentia2 推理加速芯片进行优化,通过 optimum-neuron 只需一行代码即可编译模型。
Hugging Face 发布教程,演示如何用 Transformers(>= 4.27.2)库完成图分类任务,目前该库中唯一的图 Transformer 模型是微软的 Graphormer。
Hugging Face 与开源联邦学习框架 Substra 合作创建了一个演示空间,让用户体验联邦学习如何在数据不出本地的前提下训练模型。该空间通过控制样本分布,展示联邦学习训练的模型在验证数据上几乎总是优于单一数据源训练的模型。Substra 已在乳腺癌研究等复杂安全环境中落地,并支持过 MELLODDY 项目中 10 家生物制药公司的数据协作。
Snorkel AI 与 Hugging Face 达成合作,将 Hugging Face 的 Inference Endpoints 集成进 Snorkel Flow 平台,让企业用户可直接调用其超过 150,000 个开源模型来适配自身用例。该服务支持一键创建模型 API,并具备“暂停与恢复”能力,可在客户需要时激活、不需要时休眠,从而控制成本。
Hugging Face 发布《伦理与社会通讯 #3》,阐述其"开放且向善的机器学习"使命,并推出 6 个伦理标签分类:严谨、知情同意、社会意识、可持续、包容与探究。平台同时上线举报功能,允许社区标记违反内容准则的模型、数据集、Space 或讨论,并推广 Open RAIL 许可证用于 BLOOM、BigCode 等 LLM。
Hugging Face 展示如何用 Optimum Habana 在 Habana Gaudi2 上部署 1760 亿参数的 BLOOMZ 并完成推理。基准测试中,8 卡 Gaudi2 生成 100 token 耗时 3.103 秒,比 A100 80GB 的 4.402 秒快 1.42 倍;BLOOMZ-7B 在 Gaudi2 上比 A100 快 2.89 倍。
Hugging Face 发布教程,演示如何用 Flower 框架在多个客户端上联邦微调 distilBERT 模型,完成 IMDB 影评情感分类任务。教程使用 datasets、evaluate、flwr、torch、transformers 等库,并提供了在 Google Colab 中通过 Flower 模拟功能复现联邦训练的 notebook。
Hugging Face 发布教程,介绍用 diffusers 训练 ControlNet 的三个步骤:规划条件、构建数据集、训练模型,并以人脸姿态为例训练出 Uncanny Faces 模型。
推荐理由:Hugging Face 官方给出从条件设计、数据集构建到 diffusers 训练脚本的完整 ControlNet 训练流程,含显存优化参数。
Hugging Face 宣布改进 Hub 上 Jupyter Notebook 的托管支持,新增渲染功能,使原本为 JSON 格式的 ipynb 文件能以人类可读形式展示。Hub 目前已托管超 7,000 个 notebook,并支持一键在 Google Colab 中直接打开。
Hugging Face 在 🤗 Transformers 中集成了 AAAI21 最佳论文提出的 Informer 模型,用于多变量概率时间序列预测。Informer 通过 ProbSparse 注意力将自注意力复杂度从 O(T²D) 降至 O(T log T),并用 Distilling 操作将堆叠层内存占用从 O(NT²) 降至 O(N·T log T)。
Hugging Face 正式发布 trl 与 peft 的集成,让大语言模型的 RLHF 微调更易上手。文章以 gpt-neox-20b 为例,通过 8-bit 加载、低秩适配器和 disable_adapters 复用同一模型,在 24GB NVIDIA 4090 上完成微调,完整训练则在单张 A100 上运行。作者指出该方案的主要代价是训练速度约慢一倍,后续将探索多 GPU 扩展与提速。
推荐理由:trl 与 peft 集成后,读者可了解在 24GB 消费级 GPU 上完成 20B 模型 RLHF 微调的具体步骤与内存取舍。
Kakao Brain 与 Hugging Face 联合发布开源图文数据集 COYO(7 亿对)以及基于该数据集训练的 ViT 和 ALIGN 模型,这是 ALIGN 模型首次免费开源公开。
推荐理由:Kakao Brain 首次公开 ALIGN 模型并附带训练数据,读者可据此了解可复现的视觉语言建模路径。
2023 年土耳其地震后,志愿者在 Hugging Face 上协作开发了救援地图应用 afetharita,用 easyocr 做 OCR、微调 bert-base-turkish-cased 做地址抽取,并通过 Inference API 部署。团队还用 NLI 模型与微调分类模型识别幸存者的住所、食物、物流等需求,并搭建 Space 对 F1 与召回率进行基准评测。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 的生成结果。
推荐理由:Diffusers 集成 ControlNet 并给出可运行代码,读者可据此判断空间条件控制生成的实际用法与显存开销。
Hugging Face 为 Diffusers 库发布伦理框架,用于指导维护者处理社区贡献时的技术决策,并承诺随时间调整准则。该框架提出透明、一致、简洁、可及、可复现、责任六项价值观,同时列出社区标签、Not For All Eyes 标签、偏见探索 Space、Safe Stable Diffusion、Hub 分阶段发布及 OpenRAILs 许可等安全机制。
Hugging Face 在 Mac App Store 上线 Diffusers for Mac 1.1,基于 Core ML 运行社区贡献的文生图模型,官方称文生图生成速度最高可达此前的两倍。
推荐理由:官方给出 1.1 版在多种 Mac 上的生成耗时对比,可据此判断 Core ML 与 ANE 加速的实际收益。
Hugging Face 与 AWS 扩大长期战略合作,Hugging Face 将 AWS 作为首选云服务商,开发者可通过 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 训练、微调并部署模型。Hugging Face 上已有超 10 万个免费模型,日均下载量超 100 万次。
Salesforce Research 的 BLIP-2 视觉语言模型已集成到 Hugging Face Transformers,本指南演示如何用它完成图像描述、带提示的图像描述、视觉问答和对话式提示。
推荐理由:文章给出 BLIP-2 在 Transformers 中的完整调用示例,读者可据此复现图像描述与视觉问答流程。
Hugging Face 宣布 SpeechT5 已集成进 Transformers 库,官方 checkpoint 发布在 Hugging Face Hub,并提供语音合成、语音转换和自动语音识别三个 Spaces 演示。
推荐理由:SpeechT5 以同一套编码器解码器架构覆盖 TTS、语音转换与 ASR,读者可据此了解多任务语音模型的复用方式。
Hugging Face 的 AI for Game Development 系列第 5 篇演示如何用 ChatGPT 为农场游戏生成故事,包括故事梗概、游戏内文本和商店物品描述。作者指出语言模型存在复现已有故事、重复和质量漂移等局限,建议仅用于头脑风暴,最终内容仍应手写,并提到 Character.AI 等对话智能体可作替代方案。
Hugging Face 发布博客深入解析视觉-语言模型,聚焦其训练方式。文章梳理了对比学习、PrefixLM、交叉注意力多模态融合、MLM/ITM 及免训练等预训练策略,并介绍如何用 🤗 Transformers 实验该领域最新进展。自 2021 年以来,结合视觉与语言模态的联合模型(如 OpenAI 的 CLIP)在图像描述、文本引导图像生成与视觉问答等任务上表现突出。
Hugging Face 公布其计算机视觉生态现状:Hub 上已支持 8 项核心视觉任务、3000 多个模型和 100 多个数据集,涵盖图像分类、分割、目标检测、深度估计等,并兼容 ViT、Swin、DETR 及 ConvNeXt、ResNet 等架构。Pipelines 已支持 7 项视觉任务,Trainer 可直接微调图像分类、分割、视频分类、目标检测和深度估计。
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持,可用于 Dreambooth 和完整微调,训练显存最低约 11 GB,新增权重文件约 3 MB,比原 UNet 小约一千倍。
推荐理由:Hugging Face 官方给出 LoRA 微调 Stable Diffusion 的脚本与推理流程,并说明显存和权重体积的实际变化。
Hugging Face 博客"AI for Game Development"系列第 4 篇讲解如何用 Stable Diffusion 的 Image2Image 生成 2D 游戏资产,并以农场游戏的玉米和镰刀图标为例演示迭代流程。
Hugging Face 与微软 ONNX Runtime 团队合作,通过 Optimum 库集成 ONNX Runtime 训练后端,让热门 Hugging Face 模型训练速度提升 35% 以上。