Transformers.js v3 发布:支持 WebGPU、新量化格式与 120 种架构
Hugging Face 发布 Transformers.js v3,新增 WebGPU 支持,官方称比 WASM 快至多 100 倍,加载模型时设置 device: 'webgpu' 即可启用。
推荐理由:官方给出 WebGPU 加速、量化格式与 1200 多个预转换模型,可据此判断浏览器端推理的落地条件。
Hugging Face 发布 Transformers.js v3,新增 WebGPU 支持,官方称比 WASM 快至多 100 倍,加载模型时设置 device: 'webgpu' 即可启用。
推荐理由:官方给出 WebGPU 加速、量化格式与 1200 多个预转换模型,可据此判断浏览器端推理的落地条件。
Stability AI 发布 Stable Diffusion 3.5,模型已上线 Hugging Face Hub 并可在 Diffusers 中使用,包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理。
推荐理由:原文给出 SD3.5 Large 在 Diffusers 中的推理、量化与 LoRA 训练路径,读者可据此评估消费级显卡上的可用性。
OpenAI 展示 o1 推理模型如何帮助解决编程、战略和研究等领域的复杂问题。该视频介绍了 o1 在这些场景中的应用。
Hugging Face 委托 Trail of Bits 对 Gradio 5 完成独立安全审计,发现的漏洞均在 Gradio 5.0 发布前修复并通过验证。
Hugging Face 发布 Gradio 5 稳定版,开发者可用几行 Python 构建生产级机器学习 Web 应用,通过 pip install --upgrade gradio 升级。
推荐理由:Gradio 5 的稳定版发布,列出了 SSR 加载、实时流式与 AI Playground 等面向生产环境的具体改动。
OpenAI 发布 canvas,一种在 ChatGPT 中写作和编码的新方式。官方称其面向写作与编码场景,具体功能细节尚未在摘要中给出。
推荐理由:OpenAI 官方发布 ChatGPT 的 canvas 界面,读者可了解写作与编码交互方式的变化。
OpenAI 发布 Realtime API,开发者现在可以在自己的应用中构建快速的语音到语音体验。
推荐理由:OpenAI 开放 Realtime API,开发者可据此判断语音交互应用的接入方式与能力边界。
OpenAI 宣布开发者现在可以用图像和文本对 GPT-4o 进行微调,以提升视觉能力。
推荐理由:OpenAI 在微调 API 中加入图像输入,开发者可据此判断视觉微调是否适用于自己的场景。
OpenAI 在 API 中推出 Prompt Caching,对模型近期见过的输入自动提供折扣。该功能面向重复使用相同输入前缀的调用场景,具体折扣幅度与使用方式原文未给出。
推荐理由:OpenAI 在 API 中上线提示词缓存,对模型近期见过的输入自动打折,读者可据此评估调用成本变化。
OpenAI 在 API 中推出模型蒸馏功能,可用大型前沿模型的输出微调出高性价比的小模型,全程在 OpenAI 平台上完成。
Altera 借助 GPT-4o 构建了一个智能体与人类协作的新领域。该方向聚焦于让 AI 智能体与人类协同工作,拓展人机协作的应用空间。
OpenAI 发布文章,介绍如何将 AI 投入实际工作以自动化和扩展财务运营。内容聚焦财务流程的自动化与规模化,但原文未披露具体模型版本、参数或性能数据。
OpenAI 推出基于 GPT-4o 构建的新多模态审核模型,可更准确地检测有害文本和图像,帮助开发者构建更稳健的审核系统。该模型已用于升级 Moderation API。
明尼苏达州企业翻译办公室借助 ChatGPT 弥合语言鸿沟。
Mercado Libre 推出 AI 开发平台 Verdi,由 GPT-4o 驱动。该平台面向开发者,具体功能与可用性细节尚未披露。
OpenAI 与巴西合作,利用 GPT-4 改善当地教学与学习。该举措面向教育场景,旨在提升教师教学与学生学习效果。
Mistral 宣布 la Plateforme 推出免费额度,并对全线模型降价,其中 Mistral Small 与 Codestral 输入输出价格均下调 80%,Mistral Large 下调 33%。
推荐理由:Mistral 一次性公布免费额度、全线降价与新小模型,读者可据此判断其 API 成本与自部署选择。
Hugging Face 在 Hub 的每个数据集上新增 SQL Console,点击即可在浏览器内用 DuckDB WASM 直接查询数据集,无需后端依赖。支持完整 DuckDB 语法、结果导出为 parquet,并可通过链接分享公开数据集的查询结果;内存上限约 3GB,暂不支持 hf:// 协议。
Hugging Face 在 HuggingChat 上线 Community Tools,用户可以把 Hugging Face 上任意公开 Space 转成模型可直接调用的工具,并借此扩展 HuggingChat 的多模态能力,用于理解图像、生成视频或文本转语音。
推荐理由:官方给出把任意 Space 变成 HuggingChat 工具的具体步骤,读者可据此把图像、视频、语音和 RAG 能力接入对话。
Hugging Face 发布 Accelerate 1.0.0 首个候选版本,可通过 pip install --pre accelerate 或 Docker 镜像试用。
推荐理由:Accelerate 1.0 候选版发布,梳理了新增的 FP8、DeepSpeed 多模型编排等能力与迁移改动,便于评估升级成本。
遗传学家 Catherine Brownstein 展示了 OpenAI o1 如何加速罕见医学难题的诊断流程。该演示聚焦于将 o1 用于基因诊断场景,以缩短罕见病的诊断耗时。
量子物理学家 Mario Krenn 使用 OpenAI o1 帮助回答生命中最重大的问题。
Ada 借助 GPT-4 提升客户服务标准。该案例展示了 GPT-4 在客户服务场景中的应用,用于交付新的服务水准。
亚利桑那州立大学(Arizona State University)在全校范围采用 ChatGPT,用于个性化学习、推进研究并帮助学生为未来做准备。
OpenAI 举办 GPT-4o 微调网络研讨会,面向开发者讲解如何对 GPT-4o 进行微调。
OpenAI 宣布 GPT-4o 现已支持微调。
Indeed 借助 OpenAI 为其全球最大求职网站提供情境化职位匹配,每月服务超 3.5 亿独立访客,连接超 350 万雇主与超 3200 万个职位。该平台每三秒就有一人成功入职。
Hugging Face 在 Transformers 中推出统一的工具调用 API,同一套代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型家族间通用,无需或只需极少模型专属改动。
推荐理由:Hugging Face 把工具调用统一进 chat template,读者可据此判断跨模型复用同一套代码的可行边界。
OpenAI 发布视频,展示员工如何借助 ChatGPT Enterprise 高效分析数据并挖掘洞察。视频给出了多个实际应用示例。
Mistral AI 宣布在 La Plateforme 上支持对 Mistral Large 2 和 Codestral 等旗舰及专用模型进行定制,可通过基础提示词、few-shot 提示或微调实现,并支持自带数据集。
OpenAI 在 API 中推出 Structured Outputs,模型输出现在可以可靠地遵循开发者提供的 JSON Schema。
推荐理由:OpenAI 在 API 中加入结构化输出,开发者可据此判断 JSON Schema 约束对下游解析流程的影响。
Hugging Face 梳理了截至 2024 年 8 月 6 日 Hub 上的安全功能:面向所有用户的细粒度 Token、2FA、GPG commit 签名、组织访问控制,以及基于 ClamAV、picklescan、trufflehog 的自动化恶意软件、pickle 与密钥扫描。
Hugging Face 面向 Enterprise Hub 组织推出 NVIDIA NIM API(无服务器),基于 NVIDIA DGX Cloud 加速计算,可用标准化 OpenAI API 对 Llama、Mistral 等开源模型运行推理。
OpenAI 正在测试 SearchGPT,这是新搜索功能的临时原型,可提供快速及时的答案并附上清晰相关的来源。
推荐理由:OpenAI 官方公布搜索原型 SearchGPT,读者可了解其定位与当前仅处于测试阶段的状态。
Hugging Face 为 TGI 推出 Multi-LoRA 服务,只需部署一次基础模型,即可根据请求中的 adapter_id 动态选择对应的 LoRA 适配器,官方称可服务 30 个模型。
推荐理由:原文给出 TGI Multi-LoRA 的部署方式与成本对比,读者可据此判断多微调模型能否合并到一次部署。
OpenAI 为 ChatGPT Enterprise 新增 Compliance API 集成、SCIM 和 GPT 控制功能,用于支持合规项目、数据安全和大规模用户访问管理。
Hugging Face Hub 与 KerasHub 实现共享模型保存格式,Hub 上 30 万+ Transformers 模型现可直接加载进 KerasHub。首批支持 Gemma 1/2、Llama 3 和 PaliGemma,模型可无缝使用 TensorFlow、JAX 或 PyTorch 后端,需将 keras 升级至 3.3.3 以上。
Hugging Face 正在 Dataset Hub 上实验一项基于开源 PII 检测工具 Presidio 的新功能,可为数据集生成 PII 存在情况报告,帮助用户在训练前做出判断。Presidio 依靠检测模式和机器学习模型识别 PII,在一份预训练数据集示例中检测到少量邮箱和敏感 PII。数据集所有者也可用该报告在发布前验证自身的 PII 过滤流程。
Hugging Face 用户现可在 Inference Endpoints 和 Spaces 上使用 Google Cloud TPU v5e,提供 v5litepod-1(1 核 16 GB,$1.375/小时)、v5litepod-4(4 核 64 GB,$5.50/小时)和 v5litepod-8(8 核 128 GB,$11.00/小时)三种配置。
Hugging Face 为 Dataset Hub 的数据集搜索新增按模态、大小、格式和库四项筛选功能,可按文本、图像、音频等模态及最小/最大行数过滤数据集。行数信息覆盖所有支持格式的数据集,超大数据集则基于前 5GB 内容估算总行数。新筛选器可与语言、任务、许可证等已有条件组合使用。