Hugging Face 在 Dataset Hub 上用 Presidio 实验自动 PII 检测
Hugging Face 正在 Dataset Hub 上实验一项基于开源 PII 检测工具 Presidio 的新功能,可为数据集生成 PII 存在情况报告,帮助用户在训练前做出判断。Presidio 依靠检测模式和机器学习模型识别 PII,在一份预训练数据集示例中检测到少量邮箱和敏感 PII。数据集所有者也可用该报告在发布前验证自身的 PII 过滤流程。
Hugging Face 正在 Dataset Hub 上实验一项基于开源 PII 检测工具 Presidio 的新功能,可为数据集生成 PII 存在情况报告,帮助用户在训练前做出判断。Presidio 依靠检测模式和机器学习模型识别 PII,在一份预训练数据集示例中检测到少量邮箱和敏感 PII。数据集所有者也可用该报告在发布前验证自身的 PII 过滤流程。
Hugging Face 的 TRL 库现已支持对视觉语言模型(VLM)进行直接偏好优化(DPO),并提供了完整训练指南。示例使用 Idefics2-8b 模型和包含超 83,000 条标注的 openbmb/RLAIF-V-Dataset 数据集,该 DPO 实现同时支持 Llava 1.5 和 PaliGemma 等模型。
Hugging Face 用户现可在 Inference Endpoints 和 Spaces 上使用 Google Cloud TPU v5e,提供 v5litepod-1(1 核 16 GB,$1.375/小时)、v5litepod-4(4 核 64 GB,$5.50/小时)和 v5litepod-8(8 核 128 GB,$11.00/小时)三种配置。
Banque des Territoires(CDC 集团)、Polyconseil 与 Hugging Face 合作,为法国校园生态改造项目 EduRénov 开发基于 RAG 的主权数据方案,首阶段已完成。该方案用于优化 BdT 专家与建筑所属社区之间大量邮件沟通,目标支持 10,000 个公立学校设施改造、5 年内节能 40%,项目已提供 20 亿欧元贷款和 5000 万欧元前期工程资金。
Hugging Face 为 Dataset Hub 的数据集搜索新增按模态、大小、格式和库四项筛选功能,可按文本、图像、音频等模态及最小/最大行数过滤数据集。行数信息覆盖所有支持格式的数据集,超大数据集则基于前 5GB 内容估算总行数。新筛选器可与语言、任务、许可证等已有条件组合使用。
Intel 与 MILA 将多模态蛋白质设计语言模型 ProtST 重新架构并发布在 Hugging Face Hub,可用 Optimum for Intel Gaudi 库在 Gaudi 2 上运行推理与微调。
Hugging Face 团队用基于 transformers.agents 的 ReactCodeAgent 在 GAIA 基准验证集上取得 44.2%,排名第一,比第二名高 4 个百分点;测试集得分 33.3%,排名第二,并在 Level 3 难题上取得最佳平均分。
推荐理由:Hugging Face 团队公开了在 GAIA 上取得领先的 Code Agent 实现细节,包括工具设计、安全解释器与规划策略,可迁移到自建智能体系统。
OpenAI 发布基于 GPT-4 的模型 CriticGPT,用于对 ChatGPT 的回复撰写批评意见,帮助人类训练员在 RLHF 过程中发现错误。
推荐理由:OpenAI 提出用 GPT-4 训练的 CriticGPT 辅助人类标注者发现 ChatGPT 回复中的错误,可用于理解 RLHF 环节的质量控制思路。
OpenAI 与 TIME 达成战略内容合作,将接入 TIME 101 年的档案内容,用于增强模型回答并提供 Time.com 报道链接。
Google 发布开源大模型 Gemma 2,提供 9B 和 27B 两个规模,各有预训练基础版和指令微调版,上下文长度 8K tokens,沿用可商用、可微调、可再分发的宽松许可。
推荐理由:梳理 Gemma 2 的滑窗注意力、软截断与蒸馏等改动,并给出与 Llama 3、Qwen 1.5 的基准对比。
XLSCOUT 发布专为专利与知识产权场景打造的嵌入模型 ParaEmbed 2.0,基于专家标注的多领域专利数据微调,准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Hugging Face 发布《伦理与社会通讯 #6》,聚焦高质量数据对 AI 开发的重要性。文章指出好数据并非只是准确或量大,而是契合特定用途,需具备相关性、全面性、时效性并减少偏见,同时强调数据质量能提升模型表现、泛化能力与效率,并推动公平与可问责。
微软 6 月发布的 Florence-2 是 0.2B 和 0.7B 规模的基础视觉语言模型,支持 captioning、目标检测、OCR 等任务,但官方模型不含 VQA 能力。
OpenAI 宣布收购 Rockset。原文仅给出这一收购信息,未披露交易金额、收购目的或后续整合安排。
OpenAI 公布网络安全资助计划,聚焦网络安全领域的创新研究与 AI 集成。该计划旨在赋能防御者,推动 AI 技术在安全防护中的应用。
OpenAI 提出一套构建稳健自然语言分类系统的整体性方法,用于真实场景下的内容审核与不良内容检测。该方法强调从整体视角打造可用于实际部署的审核系统。
OpenAI 提出改进的一致性模型训练技术。一致性模型是一类新兴生成模型,无需对抗训练即可一步采样出高质量数据。
Hugging Face 与 Argilla 合作的 Data Is Better Together 计划已产出 DIBT/10k_prompts_ranked 数据集,吸引超 385 人参与,并被用于构建 SPIN 等新模型。
OpenAI 提出 Consistency Models,可在不依赖迭代采样的情况下生成图像、音频和视频,从而解决扩散模型生成速度慢的问题。扩散模型虽推动了图像、音频和视频生成领域的发展,但其迭代采样过程导致生成缓慢。
视觉沟通软件公司 Prezi 加入 Hugging Face Expert Support Program,将更小、更高效的开放模型整合进其 ML 工作流。其旗舰产品 Prezi AI 通过提示词自动生成演示草稿,专家建议在检索流程中加入开源 re-ranker 模型,以更低成本、更快速度找到最佳图文素材。
Paf 在全公司范围采用 ChatGPT Enterprise,工程师每天使用自定义 GPTs 加速日常开发任务。Paf 还将 ChatGPT Enterprise 接入 grit:lab 编程学院,用 AI 增强的系统架构思维培养新一代软件开发者。目前 Paf 有 70% 的员工活跃使用 ChatGPT Enterprise,覆盖财务、HR、营销和客户支持等业务团队。
Hugging Face 发布 BigCodeBench,一个面向 LLM 代码生成的新基准,包含 1,140 个函数级任务,要求模型调用 139 个库中的多个函数作为工具,每个任务平均含 5.6 个测试用例、分支覆盖率约 99%。
Color Health 与 OpenAI 合作推出 Cancer Copilot,利用 GPT-4o 识别缺失的诊断检查并生成个性化检查方案,帮助医疗人员就癌症筛查和治疗做出循证决策,从而加速癌症患者获得治疗。
OpenAI 任命退役美国陆军上将 Paul M. Nakasone 加入董事会,他将同时加入董事会的安全与安保委员会。Nakasone 为这一持续扩大的董事会带来网络安全领域的经验。
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting,使其在混合精度下与 DeepSpeed 行为对齐,并新增低精度模式供显存受限场景使用。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已在 Hugging Face Hub 发布,可通过 Diffusers 调用。
推荐理由:原文给出 SD3 Medium 的架构变化、Diffusers 集成与显存优化实测数据,读者可据此判断本地部署门槛。
Hugging Face 在 TRL 中推出 RLOO(REINFORCE Leave One-Out)Trainer,作为 PPO 之外的在线 RLHF 训练算法。
OpenAI 与 Apple 宣布建立合作,将把 ChatGPT 集成到 Apple 的各项体验中。
推荐理由:OpenAI 与 Apple 宣布合作,读者可了解 ChatGPT 将进入 Apple 生态这一关键商业动向。
OpenAI 宣布 Sarah Friar 出任首席财务官(CFO),Kevin Weil 出任首席产品官(CPO)。Sarah Friar 此前任 Nextdoor CEO,Kevin Weil 则来自 Planet Labs。
OpenAI 详解其文本转语音模型 Voice Engine 的技术原理与安全研究。
Hugging Face Embedding Container for Amazon SageMaker 正式 GA,AWS 用户可在 SageMaker 上部署嵌入模型构建 RAG 等生成式 AI 应用。
Hugging Face 宣布重新设计 Transformers 文档,以解决内容割裂、难导航、过时的问题。新版文档将面向构建 AI 产品的开发者,采用代码优先、解决方案导向的写法,并用更灵活的结构取代此前对 Diátaxis 框架的僵化套用,让内容自然生长、彼此整合而非层层叠加。
OpenAI 使用新的稀疏自编码器扩展技术,从 GPT-4 的计算中自动识别出 1600 万个模式。
推荐理由:OpenAI 用可扩展的稀疏自编码器从 GPT-4 计算中自动识别出 1600 万个模式,读者可了解可解释性研究的新方法。
Artificial Analysis 发布文生图排行榜与 Image Arena,基于超 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Mistral AI 在 la Plateforme 上线模型定制功能,提供三个入口:开源微调代码库 mistral-finetune、平台上的 serverless 微调服务,以及面向特定客户的定制训练服务。
推荐理由:Mistral 同时给出开源微调代码库与托管微调服务,读者可据此判断自建与托管两条路径的成本差异。
Mistral AI 于 6 月 5 日至 30 日举办线上微调黑客松,参赛项目必须使用其全新的微调 API。前三名各获 2500 欧元 Mistral API 额度,入选者可申请 100 美元免费额度,需在 6 月 10 日前提交表单。评审按影响力、技术实现、创意和展示各占 25% 打分,团队最多 4 人。
Hugging Face 发布由 Cubzh 和 Gigax 打造的 3D 演示 NPC-Playground,用户可在浏览器中与 LLM 驱动的 NPC 互动,并用几行 Lua 脚本教它们新技能。
Hugging Face 将辅助生成(Assisted Generation)适配并优化到 Intel Gaudi,现已集成进 Optimum Habana,可加速文本生成。该方法基于 Speculative Sampling,用草稿模型生成 K 个 token 再由目标模型评估,大型 Transformer 模型通常可获得约 2x 加速。
Hugging Face 本周检测到 Spaces 平台遭未授权访问,涉及 Spaces secrets,怀疑部分密钥可能被未经授权读取,已撤销相关 HF token 并邮件通知受影响用户。
推荐理由:官方披露 Spaces 密钥遭未授权访问及处置措施,可了解平台安全策略的调整方向。
OpenAI 已封禁与隐蔽影响行动相关的账号,并称这些账号未因使用其服务获得显著受众增长。该行动针对的是 AI 的欺骗性使用,而非正常内容创作。