Zama 用 FHE 加密大语言模型：GPT2 单注意力头密文推理保持 96% 精度
Zama 基于 Hugging Face transformers 库，用全同态加密（FHE）改造 GPT2，让部分推理在加密数据上运行，兼顾用户隐私与模型 IP。实验显示，权重与激活值采用 4-bit 量化时，加密后的单个注意力头仍保持原模型 96% 的精度。实现借助 Concrete-Python 将 Python 函数转为 FHE 等价形式，客户端本地推理至首层后加密中间结果交由服务器计算。
#Hugging Face
#Hugging Face
今日 3 条Hugging Face BlogAI 评分3535 Hugging Face BlogAI 评分2626 Huggy Lingo：用机器学习改进 Hugging Face Hub 数据集的语言元数据
Hugging Face 用机器学习为 Hub 上缺少语言元数据的数据集自动检测语言，并借助 librarian-bots 提交 PR 补充元数据。目前 Hub 约 5 万个公开数据集中仅约 13% 标注了语言，约 87% 未标注。
Hugging Face Blog精选AI 评分6262 Segmind 开源 SD-Small 与 SD-Tiny 知识蒸馏代码和权重
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与蒸馏训练代码，两者参数量分别比基础模型少 35% 和 55%，图像保真度接近基础模型。
推荐理由：Segmind 开源了 SD-Small 与 SD-Tiny 的蒸馏代码和权重，读者可据此了解压缩扩散模型的训练方法与推理加速幅度。
Hugging Face BlogAI 评分3636 如何用 Shap-E 与 Dream Textures 生成 PS1 风格 3D 资产：分步指南
一份分步教程演示如何用 OpenAI 开源扩散模型 Shap-E 从文本生成 3D 模型，再经 Blender 的 Decimate 修改器减面、用 Dream Textures 插件生成无缝贴图并完成 UV 展开，最终导出 FBX 导入 Unity。流程选择 PS1 低多边形风格，以规避当前 text-to-3D 模型保真度不足的问题。
Hugging Face Blog精选AI 评分6262 Hugging Face 用混合位宽调色板量化在 Mac 上运行 Stable Diffusion XL
Hugging Face 与 Apple 合作把 Stable Diffusion XL 移植到 Core ML，可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地运行。
推荐理由：原文给出混合位宽调色板量化的完整方法与脚本，读者可据此把 SD XL 压缩到 4.5 bit 并自行复现。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Agents.js：用 JavaScript 为 LLM 提供工具调用能力
Hugging Face 在 huggingface.js 下发布 Agents.js，一个可在浏览器或服务端用 JavaScript 为 LLM 提供工具访问的新库，通过 npm install @huggingface/agents 安装。
推荐理由：Hugging Face 官方开源 Agents.js，给出从安装到自定义工具与模型的完整用法，可据此判断如何为 LLM 接入工具。
Hugging Face BlogAI 评分2222 Hugging Face 联合 Creative Commons、Eleuther AI、GitHub 等就 EU AI Act 提出开源 ML 五项建议
Hugging Face 与 Creative Commons、Eleuther AI、GitHub、LAION、Open Future 联合发布立场文件，就 EU AI Act 提出五项建议。
Hugging Face BlogAI 评分2020 Hugging Face 首届开源 AI Game Jam 结果揭晓：Snip It 夺冠
Hugging Face 公布首届开源 AI Game Jam 结果，活动吸引超 1300 人报名、收到 88 款游戏，冠军由 ohmlet 的 Snip It 获得，该游戏用 Stable Diffusion 生成素材。
Hugging Face BlogAI 评分2222 Hugging Face Diffusers 一周年：从文生图到视频、3D 的扩散模型工具箱
Hugging Face 的 Diffusers 库迎来一周年，已从文生图扩展为覆盖视频、3D 与图像编辑的模块化扩散模型工具箱。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 2，Hugging Face 同步上线全套集成
Meta 发布开源大语言模型系列 Llama 2，包含 7B、13B、70B 的预训练与微调版本，采用宽松社区许可并允许商用。相比 Llama 1，预训练 token 增加 40%，上下文长度扩展到 4k tokens，70B 模型使用 grouped-query attention。
推荐理由：Meta 发布可商用的 Llama 2 系列，Hugging Face 同步给出推理、部署与微调入口，便于判断开源模型的可落地程度。
Hugging Face BlogAI 评分4242 Hugging Face 开源文本生成与 LLM 生态概览
Hugging Face 梳理其 Hub 上的开源文本生成与 LLM 生态，涵盖因果语言模型与 text-to-text 模型、许可协议、LLM 服务工具及 PEFT 微调。
Hugging Face BlogAI 评分3838 Hugging Face 用 Zeroscope 与 MusicGen 搭建 AI WebTV 实验直播流
Hugging Face 发布实验性 demo AI WebTV，用开源文生视频模型 Zeroscope 与音乐生成模型 MusicGen 自动合成视频与配乐并直播。视频由 zeroscope_v2_576 生成 576x320 片段，可选用 zeroscope_v2_XL 放大至 1024x576，再经 FILM 插帧与 MusicGen 配乐，通过 FFmpeg 推流至 RTMP 服务器。
Hugging Face BlogAI 评分3838 如何在 Intel CPU 上微调 Stable Diffusion 模型
Hugging Face 展示了在 Intel 第四代 Xeon（Sapphire Rapids）CPU 集群上微调 Stable Diffusion 的完整流程，利用 AMX 加速器与 Intel Extension for PyTorch，仅需 5 张示例图片即可通过 textual inversion 完成训练。
Hugging Face Blog精选AI 评分6060 用 Transformers.js 打造 ML 驱动的网页游戏
Hugging Face 博客介绍如何用 Transformers.js 制作实时 ML 网页游戏 Doodle Dash，模型完全在浏览器本地运行，每秒可做 60 次以上预测。
推荐理由：完整复现了从微调 MobileViT 到用 Transformers.js 在浏览器实时推理的流程，可迁移到其他端侧 ML 项目。
Hugging Face BlogAI 评分3232 用 Hugging Face Inference Endpoints 部署 LLM
Hugging Face 发布教程，演示如何通过其托管 SaaS 服务 Inference Endpoints 部署开源 LLM，以 Falcon 40B instruct 为例，选用 1x Nvidia A100 实例，约 10 分钟即可上线。
Hugging Face BlogAI 评分3636 用开源 ML 模型打造 Web 应用生成器：WizardCoder-15B 实战教程
Hugging Face 发布教程，演示如何用 Node.js 结合 WizardCoder-15B 与 Inference Endpoints API 构建流式生成 HTML 的 Web 应用生成器。模型通过 textGenerationStream 边生成边渲染页面，并借助 TailwindCSS 工具类实时生成样式，同时给出提示词调优与防幻觉的实践建议。
Hugging Face BlogAI 评分1212 Writer 如何借助 Hugging Face 从用户成长为开源模型贡献者
Writer 联合创始人兼 CTO Waseem Alshikh 与 Hugging Face 的 Jeff Boudier 对谈，讲述 Writer 从 Hugging Face 用户、客户到开源模型贡献者的历程。
Hugging Face BlogAI 评分3434 在 Habana Gaudi2 上加速 BridgeTower 视觉语言模型微调
Optimum Habana v1.7 在 Habana Gaudi2 上微调视觉语言模型 BridgeTower，相比 A100 提速 2.5 倍、相比 H100 提速 1.4 倍。该性能提升依赖硬件加速的数据加载，通过 dataloader_num_workers 参数分配专用子进程即可启用，适用于各类受数据加载制约的视觉模型工作负载。
Hugging Face BlogAI 评分2222 Hugging Face 通讯第 4 期：文本到图像模型中的偏见
Hugging Face 发布 Ethics and Society Newsletter 第 4 期，聚焦文本到图像模型的偏见问题，指出训练数据、预训练数据过滤、推理、模型潜在空间及事后过滤等环节均可能引入偏见。
Hugging Face Blog精选AI 评分6262 Open LLM Leaderboard 的 MMLU 分数为何对不上？
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文中的数字：榜单封装的是 EleutherAI LM Evaluation Harness，而论文用的是 UC Berkeley 的原始实现，两者在提示词、答案比较方式上不同。
推荐理由：同一 MMLU 数据集在三种实现下分数与排名差异明显，读者可据此理解评测数字为何不可直接横向比较。
Hugging Face BlogAI 评分2020 Hugging Face Spaces 集成 Panel 模板，支持在浏览器中构建 Python 数据应用
Hugging Face 与 Panel 合作，在 Hugging Face Spaces 中集成了 Panel 模板，方便用户构建并部署 Panel 应用。Panel 是开源 Python 库，可构建工具、仪表盘和复杂应用，支持 Matplotlib、Plotly、Bokeh 等绘图库，并可通过 Pyodide 和 WebAssembly 在浏览器中运行。
Hugging Face BlogAI 评分2020 Hugging Face 就美国 NTIA AI 问责政策提交回应意见
Hugging Face 于 6 月 12 日向美国商务部 NTIA 提交 AI 问责政策回应，强调文档规范与透明度对推动 AI 问责的作用。其建议问责机制应覆盖 ML 开发全流程、结合内部要求与外部访问透明，并吸纳开发者、研究社区、倡导组织、政策制定者和记者等广泛参与。
Hugging Face BlogAI 评分5050 如何为低资源 ASR 微调 MMS Adapter 模型
Hugging Face 发布教程，介绍如何基于 Meta AI 的 MMS 检查点微调 Adapter 层以适配低资源语言的 ASR。MMS 预训练检查点覆盖 1400 多种语言、参数量 300M 至 1B，每个 Adapter 层仅约 2.5M 权重，微调 10-20 分钟即可获得极低词错误率。低资源语言推荐用 Adapter 训练替代全模型微调，更省内存且性能更好。
Hugging Face BlogAI 评分2626 Transformers 对时间序列预测确实有效：Autoformer 已加入 Hugging Face Transformers
Hugging Face 用实验反驳了 AAAI 2023 论文《Are Transformers Effective for Time Series Forecasting?
Hugging Face BlogAI 评分2222 Hugging Face 发布新版内容政策与指南
Hugging Face 更新了平台内容政策，以支持开放、协作且负责任的机器学习社区。新政策将“同意”（consent）列为核心价值，重点规范用户内容、身份表达及社区行为，禁止针对用户和 Hugging Face 员工的攻击性或骚扰性语言。平台鼓励通过 Community Tab 公开讨论并协作解决冲突，相关问题可反馈至 feedback@huggingface.co。
Hugging Face BlogAI 评分2828 将 Livebook notebook 作为应用部署到 Hugging Face Spaces
Elixir 社区用 Livebook 构建了一个基于 Whisper 的语音聊天应用，并部署到 Hugging Face Spaces，全程不到 15 分钟。
Hugging Face Blog精选AI 评分6262 用 Core ML 在 iPhone、iPad 和 Mac 上加速 Stable Diffusion
Hugging Face 介绍如何借助 Core ML 的新优化在 iPhone、iPad 和 Mac 上更快运行 Stable Diffusion。Core ML 新增 6-bit palettization 量化，将权重从 16-bit 浮点压缩到每参数 6 bit，并在推理时逐层解压，从而减少存储和内存占用。
推荐理由：文章给出 6-bit palettization 的量化原理与转换命令，读者可据此在 Apple 设备上自行压缩并运行 Stable Diffusion。
Hugging Face BlogAI 评分4040 Hugging Face 与 AMD 达成合作，加速 CPU 和 GPU 平台上的前沿模型
Hugging Face 宣布 AMD 正式加入其硬件合作伙伴计划，双方将针对 AMD CPU 和 GPU 优化 Transformer 模型性能。
Hugging Face BlogAI 评分2222 Hugging Face Hub 如何服务美术馆、图书馆、档案馆与博物馆（GLAM）
Hugging Face Hub 面向美术馆、图书馆、档案馆与博物馆（GLAM）从业者，介绍如何查找模型、上传数据集并托管演示。Hub 目前托管超 190,000 个模型、33,000 个数据集和超 100,000 个应用与演示，覆盖文本、图像、音频等任务。文中以挪威语文献的命名实体识别为例演示按任务和语言筛选模型，并给出将 CSV 数据集上传至 Hub 的步骤。
Hugging Face BlogAI 评分4242 Hugging Face 研究：基础模型能否像人类一样标注数据？
Hugging Face 用 327 条提示词对比了 Koala 13b、Vicuna 13b、OpenAssistant 12b 和 Dolly 12b 四个开源指令模型，让 Scale AI 人类标注员按 1-8 分 Likert 量表打分并生成 Elo 排名，Vicuna-13B 以 1140 分居首，Dolly-12B 以 802 分垫底。
Hugging Face BlogAI 评分4747 Hugging Face Hub 集成 DuckDB：用 SQL 分析 5 万+数据集
Hugging Face Hub 新增 DuckDB 集成，用户可用 SQL 查询 Hub 上任意公开数据集。数据集查看器会自动将所有公开数据集转换为 Parquet 文件，通过 /parquet 端点获取 URL 后，配合 DuckDB 的 httpfs 扩展即可直接查询远程文件，大型数据集被分片为 500MB 块。
Hugging Face BlogAI 评分2222 Hugging Face Hub 正式托管 fastText 全部 157 种语言词向量与语言识别模型
Hugging Face 现已托管 Meta AI 开源的 fastText 官方镜像，涵盖全部 157 种语言的词向量和最新语言识别模型，用户可通过 huggingface_hub 的 hf_hub_download 几行命令直接下载使用。该集成还支持文本分类与特征提取 widget，并提供词向量最近邻查询和语言检测的示例代码。
Hugging Face Blog精选AI 评分7878 Falcon 模型登陆 Hugging Face 生态
阿布扎比技术创新研究院（TII）以 Apache 2.0 许可发布 Falcon 系列语言模型，包括 Falcon-40B 和 Falcon-7B 两个基础模型及对应的 Instruct 版本。
推荐理由：梳理 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径，可了解当时开源模型的能力位置。
Hugging Face BlogAI 评分2222 如何在 Unity 中用 Hugging Face Unity API 实现语音识别
Hugging Face 发布教程，讲解如何在 Unity 游戏中通过 Hugging Face Unity API 实现语音识别，将语音转为文本，可用于下达指令、与 NPC 对话或提升无障碍体验。教程演示了搭建含开始/停止按钮与 TextMeshPro 文本框的场景，用 Microphone.Start() 以 44100 Hz 录制最长 10 秒音频，再编码为 WAV 格式发送至 API。
Hugging Face BlogAI 评分1515 Hugging Face 宣布首届开源 AI Game Jam：7 月 7-9 日举办
Hugging Face 宣布举办首届 Open Source AI Game Jam，活动时间为 7 月 7 日至 9 日，参与者需在周末内用 AI 工具做出一款游戏。
Hugging Face BlogAI 评分2222 Hugging Face Hub 集成 BERTopic
Hugging Face Hub 现已集成 BERTopic，用户可直接在 Hub 上访问和共享主题模型。BERTopic 是一种基于 Transformer 嵌入向量和 c-TF-IDF 的主题建模技术，支持神经主题建模。此次集成让开发者能更便捷地加载、上传和复用主题模型。
Hugging Face BlogAI 评分4242 Hugging Face 推出 Amazon SageMaker LLM 推理容器
Hugging Face 发布面向 Amazon SageMaker 的 LLM 推理容器（DLC），由 Text Generation Inference（TGI）驱动，可部署 BLOOM、StarCoder、Llama、T5 等开源大模型。
Hugging Face BlogAI 评分3838 Hugging Face 用 NNCF 和 Optimum 为 Intel CPU 优化 Stable Diffusion
Hugging Face 借助 OpenVINO 的 NNCF 与 Optimum，通过量化感知训练（QAT）结合 Token Merging 优化 Stable Diffusion 的 UNet，在 Intel CPU 上实现 5.1 倍推理加速和 4 倍模型体积缩减。优化从 Pokemons 数据集微调模型出发，仅需 4096 次迭代，单张 24 GB 显存 GPU 不到一天即可完成。
Hugging Face Blog精选AI 评分7878 Hugging Face 用 bitsandbytes 与 QLoRA 让 transformers 支持 4-bit 量化
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持以 4-bit 精度加载和运行模型，覆盖文本、视觉、多模态等大多数 HF 模型，并可在 4bit 模型上训练适配器。
推荐理由：Hugging Face 把 4-bit 量化与 QLoRA 接入 transformers，读者可据此判断消费级显卡微调大模型的门槛变化。
Hugging Face BlogAI 评分3636 Hugging Face 与微软合作在 Azure 上推出 Hugging Face 模型目录
Hugging Face 与微软合作，在 Azure Machine Learning Studio 内推出 Hugging Face Hub 模型目录，收录数千个热门 Transformers 模型，用户可在托管端点上一键部署。该目录已在所有提供 Azure Machine Learning 的 Azure 区域开放公开预览，支持按任务或许可证筛选模型并部署为实时推理 API。