Hugging Face 为 Text Generation Inference 引入多后端支持(TRT-LLM、vLLM)
Hugging Face 为 Text-Generation-Inference(TGI)引入 TGI Backends 架构,通过 Rust 的 Backend trait 把 HTTP 服务与调度层同推理引擎解耦,使 TGI 可作为统一前端层接入不同后端。
Hugging Face 为 Text-Generation-Inference(TGI)引入 TGI Backends 架构,通过 Rust 的 Backend trait 把 HTTP 服务与调度层同推理引擎解耦,使 TGI 可作为统一前端层接入不同后端。
Hugging Face 发布 smolagents,一个让语言模型获得智能体能力的轻量库,核心是 CodeAgent,即让智能体用代码而非 JSON 编写动作,并支持通过 E2B 在沙箱中执行。
推荐理由:Hugging Face 官方发布轻量智能体库,给出代码写动作的设计取舍与开源模型对比,可据此判断自建 Agent 的实现路径。
Hugging Face 发布 Synthetic Data Generator,一个无代码应用,用户用自然语言描述需求即可借助 LLM 生成自定义数据集。工具目前支持文本分类和聊天数据集,分别约每分钟生成 50 和 20 个样本,底层由 distilabel 和免费的 Hugging Face text-generation API 驱动。
推荐理由:原文给出从提示词到数据集再到模型的完整无代码流程,读者可据此判断合成数据工具的实际可用边界。
OpenAI 的视频生成模型 Sora 现已可在 sora.com 使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形画幅。用户可导入自己的素材进行扩展、重混和融合,也可完全由文本生成新内容。
推荐理由:OpenAI 官方公布 Sora 的开放入口与分辨率、时长、画幅等具体能力,读者可据此判断可用范围。
电影制作组合 Vallée Duhamel 讲述了 Sora 如何帮助他们构建新的世界。
OpenAI 发布面向产品团队的 AI 应用指南,帮助产品团队将 AI 投入实际工作。内容来自 OpenAI News,未披露具体模型版本、功能参数或可用性细节。
Hugging Face 的 83 个开源模型现已通过 Amazon Bedrock Marketplace 提供,AWS 客户可直接部署并调用 Bedrock 的 Agents、Knowledge Bases、Guardrails 等 API。
跨学科艺术家 Minne Atairu 讲述了 Sora 如何帮助她实现自己的创作构想。
电影制作人 Lyndon Barrois 展示了如何将 Sora 用作叙事工具来创造新世界。他分享了使用 Sora 进行故事创作的具体方法。
OpenAI 发布 ChatGPT Pro,官方称其用于扩大前沿 AI 的使用范围。原文仅提供摘要,未给出具体功能、价格或模型细节。
Hugging Face 正在重新设计 Hub 的上传与下载架构,引入内容寻址存储(CAS)和自定义传输协议,采用“简单读取、智能写入”的思路,在字节层面分析文件以加速传输。新方案中读取仍由 S3 和 CloudFront 支撑,写入则通过 CAS 按 chunk 校验并只传输新增部分,压缩 tensor 文件(如 Safetensors)有望将上传速度提升 10-25%。
OpenAI 发布案例,展示如何用 GPT-4o 的视觉微调能力构建更智能的地图。
Hugging Face 与 LLM-jp 联合推出 Open Japanese LLM Leaderboard,用 llm-jp-eval 评测套件覆盖 16 项任务,从自然语言推理、机器翻译、摘要、问答到代码生成、数学推理和人类考试,均以 4-shot 方式运行。
Hugging Face 上线 Judge Arena,让用户对两个 LLM 评委的评分和评语进行盲投,投票结果汇总为按小时更新的 Elo 排行榜。平台首批纳入 18 个模型,涵盖 GPT-4o、GPT-4 Turbo、Claude 3.5 Sonnet、Llama 3.1 405B/70B/8B、Qwen 2.5 7B/72B 等开源与闭源模型。
Mistral AI 为免费生成式 AI 助手 le Chat 上线多项 beta 功能:带引用的联网搜索、用于构思与就地编辑和导出的 Canvas、由新多模态模型 Pixtral Large 驱动的文档与图像理解、由 Black Forest Labs Flux Pro 驱动的图像生成,以及可复用提示词并分享给同事的 Agents。
推荐理由:官方列出 le Chat 新增的联网搜索、Canvas、文档图像理解与图像生成,并给出与主流助手的逐项对比。
雅诗兰黛公司使用 ChatGPT Enterprise 和自定义 GPT 分析消费者数据、挖掘洞察并加速美妆创新。该案例展示了 OpenAI 企业级产品在美妆行业的数据驱动应用。
Hugging Face Hub 支持托管 TB 级数据集,并提供 Dataset Viewer、全文搜索、排序、SQL Console 及 Pandas、Polars、DuckDB 等第三方库的一行代码加载能力。
Mistral AI 在 La Plateforme 上线 Batch API,处理高并发请求的成本比同步 API 调用低 50%。该 API 面向优先考虑数据量而非同步响应的场景,用户上传批处理文件后下载输出结果,适用于情感分析、文档批量摘要翻译、向量嵌入和数据标注等任务。目前覆盖 La Plateforme 上全部模型,每个工作区限制 100 万个进行中请求,后续将登陆其云服务合作伙伴平台。
Mistral AI 推出内容审核 API,与 Le Chat 审核服务同源,提供原始文本和对话内容两个端点。该模型是基于 LLM 的分类器,可将文本归入 9 个类别,原生支持阿拉伯语、中文、英语、法语、德语等 11 种语言,并针对模型生成的有害内容(如不专业建议和 PII)引入务实的安全方案。
Hugging Face 在 PyCharm 中推出集成功能,开发者右键选择 "Insert HF Model" 即可搜索并插入模型代码,例如 microsoft/Phi-3.5-vision-instruct,无需打开浏览器就能在十分钟内跑通图像文本对话。
Argilla 2.4 推出无代码数据集构建功能,用户可直接在 UI 中从 Hugging Face Hub 导入数据集、定义问题并收集人工反馈。该功能支持公开数据集导入,默认启用 Hugging Face OAuth,方便社区或团队协作标注,用于微调与模型评测。Argilla 是 Hugging Face 旗下免费开源的数据中心工具,仍保留 Python SDK 供进一步定制。
OpenAI 发布 ChatGPT 搜索功能,可提供快速及时的答案并附上相关网络来源链接。
推荐理由:OpenAI 官方发布 ChatGPT 搜索功能,读者可了解其联网检索与来源链接的定位。
Promega 自上而下推动全员采用 ChatGPT,以加速制造、销售和营销环节。该案例展示了 OpenAI 企业级 AI 工具在生命科学公司内部落地的方式。
OpenAI 发布面向营销团队的 AI 应用指南,帮助营销人员将 AI 投入实际工作。
Decagon 与 OpenAI 合作,实现大规模、全自动的高性能客户支持。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text,可通过 logits processor 为 AI 生成文本加水印,并用分类器检测。
推荐理由:Google DeepMind 与 Hugging Face 把文本水印做成可直接调用的生成接口,读者可据此了解其配置方式与检测流程。
Hugging Face 发布 Hugging Face Generative AI Services(HUGS),一套零配置的优化推理微服务,用于在自有基础设施上部署开源模型。
推荐理由:HUGS 把开源模型的优化部署从数周压缩到分钟级,并给出兼容 OpenAI API 的迁移路径,适合关注自托管推理成本的团队参考。
dottxt 与 Hugging Face 合作发布 outlines-core,这是 outlines 结构化生成核心算法的 Rust 移植版,0.1.0 的 Python 绑定已上线。
推荐理由:Outlines 核心算法用 Rust 重写并发布 0.1.0,读者可了解结构化生成在速度与可移植性上的变化。
Hugging Face 发布 Transformers.js v3,新增 WebGPU 支持,官方称比 WASM 快至多 100 倍,加载模型时设置 device: 'webgpu' 即可启用。
推荐理由:官方给出 WebGPU 加速、量化格式与 1200 多个预转换模型,可据此判断浏览器端推理的落地条件。
OpenAI 展示 o1 推理模型如何帮助解决编程、战略和研究等领域的复杂问题。该视频介绍了 o1 在这些场景中的应用。
Hugging Face 委托 Trail of Bits 对 Gradio 5 完成独立安全审计,发现的漏洞均在 Gradio 5.0 发布前修复并通过验证。
Hugging Face 发布 Gradio 5 稳定版,开发者可用几行 Python 构建生产级机器学习 Web 应用,通过 pip install --upgrade gradio 升级。
推荐理由:Gradio 5 的稳定版发布,列出了 SSR 加载、实时流式与 AI Playground 等面向生产环境的具体改动。
OpenAI 发布 canvas,一种在 ChatGPT 中写作和编码的新方式。官方称其面向写作与编码场景,具体功能细节尚未在摘要中给出。
推荐理由:OpenAI 官方发布 ChatGPT 的 canvas 界面,读者可了解写作与编码交互方式的变化。
OpenAI 发布 Realtime API,开发者现在可以在自己的应用中构建快速的语音到语音体验。
推荐理由:OpenAI 开放 Realtime API,开发者可据此判断语音交互应用的接入方式与能力边界。
OpenAI 宣布开发者现在可以用图像和文本对 GPT-4o 进行微调,以提升视觉能力。
推荐理由:OpenAI 在微调 API 中加入图像输入,开发者可据此判断视觉微调是否适用于自己的场景。
OpenAI 在 API 中推出 Prompt Caching,对模型近期见过的输入自动提供折扣。该功能面向重复使用相同输入前缀的调用场景,具体折扣幅度与使用方式原文未给出。
推荐理由:OpenAI 在 API 中上线提示词缓存,对模型近期见过的输入自动打折,读者可据此评估调用成本变化。
OpenAI 在 API 中推出模型蒸馏功能,可用大型前沿模型的输出微调出高性价比的小模型,全程在 OpenAI 平台上完成。
Altera 借助 GPT-4o 构建了一个智能体与人类协作的新领域。该方向聚焦于让 AI 智能体与人类协同工作,拓展人机协作的应用空间。
OpenAI 发布文章,介绍如何将 AI 投入实际工作以自动化和扩展财务运营。内容聚焦财务流程的自动化与规模化,但原文未披露具体模型版本、参数或性能数据。
OpenAI 推出基于 GPT-4o 构建的新多模态审核模型,可更准确地检测有害文本和图像,帮助开发者构建更稳健的审核系统。该模型已用于升级 Moderation API。