Hugging Face 发布 Agents.js:用 JavaScript 为 LLM 提供工具调用能力
Hugging Face 在 huggingface.js 下发布 Agents.js,一个可在浏览器或服务端用 JavaScript 为 LLM 提供工具访问的新库,通过 npm install @huggingface/agents 安装。
推荐理由:Hugging Face 官方开源 Agents.js,给出从安装到自定义工具与模型的完整用法,可据此判断如何为 LLM 接入工具。
AI 产品与应用的功能上新、改版与商业化动态——谁家的产品变强了、变贵了、能用了。
Hugging Face 在 huggingface.js 下发布 Agents.js,一个可在浏览器或服务端用 JavaScript 为 LLM 提供工具访问的新库,通过 npm install @huggingface/agents 安装。
推荐理由:Hugging Face 官方开源 Agents.js,给出从安装到自定义工具与模型的完整用法,可据此判断如何为 LLM 接入工具。
OpenAI 为 ChatGPT 推出自定义指令功能,用户可设置自己的偏好,ChatGPT 会在之后所有对话中记住这些偏好。
推荐理由:OpenAI 为 ChatGPT 加入自定义指令,读者可了解用户偏好如何跨对话持续生效。
OpenAI 宣布 API 更新,包括更易引导的模型、函数调用能力、更长的上下文窗口以及更低的价格。
推荐理由:OpenAI 公布 API 多项更新,读者可了解模型可控性、函数调用与价格调整的方向。
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持以 4-bit 精度加载和运行模型,覆盖文本、视觉、多模态等大多数 HF 模型,并可在 4bit 模型上训练适配器。
推荐理由:Hugging Face 把 4-bit 量化与 QLoRA 接入 transformers,读者可据此判断消费级显卡微调大模型的门槛变化。
OpenAI 发布 ChatGPT iOS 应用,可同步对话记录并支持语音输入,同时带来最新的模型改进。
推荐理由:OpenAI 官方发布 ChatGPT iOS 应用,给出对话同步与语音输入两项能力,读者可据此了解移动端入口的初始形态。
Hugging Face 博客介绍 RWKV 架构已集成进 transformers 库,该架构结合 RNN 与 Transformer 的优势,由 Bo Peng 主导、Stability AI 捐赠训练 GPU。
推荐理由:RWKV 把 RNN 的推理效率与 Transformer 的并行训练结合,并已接入 transformers 库,读者可据此判断长上下文场景的选型空间。
ChatGPT 用户现在可以关闭聊天记录,自行选择哪些对话可以被用于训练模型。
推荐理由:ChatGPT 新增关闭聊天记录选项,读者可据此了解对话数据是否被用于训练的控制方式。
OpenAI 宣布为 ChatGPT 实现插件的初步支持。插件是专为语言模型设计的工具,以安全为核心原则,可帮助 ChatGPT 获取最新信息、执行计算或使用第三方服务。
推荐理由:OpenAI 官方给出 ChatGPT 插件的最初支持范围,读者可据此了解语言模型接入外部工具与实时信息的早期形态。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 的生成结果。
推荐理由:Diffusers 集成 ControlNet 并给出可运行代码,读者可据此判断空间条件控制生成的实际用法与显存开销。
Hugging Face 在 Mac App Store 上线 Diffusers for Mac 1.1,基于 Core ML 运行社区贡献的文生图模型,官方称文生图生成速度最高可达此前的两倍。
推荐理由:官方给出 1.1 版在多种 Mac 上的生成耗时对比,可据此判断 Core ML 与 ANE 加速的实际收益。
Hugging Face 发布 PEFT 库,提供 LoRA、Prefix Tuning、Prompt Tuning、P-Tuning 等参数高效微调方法,并与 Transformers 和 Accelerate 集成。
推荐理由:官方介绍 PEFT 库支持的微调方法与显存占用,读者可据此判断消费级硬件微调大模型的可行路径。
Hugging Face 宣布 SpeechT5 已集成进 Transformers 库,官方 checkpoint 发布在 Hugging Face Hub,并提供语音合成、语音转换和自动语音识别三个 Spaces 演示。
推荐理由:SpeechT5 以同一套编码器解码器架构覆盖 TTS、语音转换与 ASR,读者可据此了解多任务语音模型的复用方式。
OpenAI 宣布为 ChatGPT 推出试点订阅方案 ChatGPT Plus。ChatGPT 是一款对话式 AI,可与用户聊天、回答追问并指出错误假设。
推荐理由:OpenAI 官方公布 ChatGPT 付费订阅试点,读者可了解其订阅模式的最初形态。
OpenAI 发布 Point-E,一个可根据复杂提示词生成 3D 点云的系统。
OpenAI 宣布 DALL·E API 进入公开测试,开发者从即日起可以基于该 API 构建应用。
推荐理由:OpenAI 开放 DALL·E API 公测,开发者可据此判断图像生成能力接入自家应用的门槛变化。
OpenAI 宣布 DALL·E 不再需要候补名单,新用户可以直接开始创作。OpenAI 表示,部署中积累的经验以及安全系统的改进,使更广泛的开放成为可能。
推荐理由:OpenAI 取消 DALL·E 候补名单,读者可了解其安全系统改进后开放策略的变化。
Hugging Face 与 Intel Labs、UKP Lab 合作发布 SetFit,一个无需提示词的 Sentence Transformers 少样本微调框架。
推荐理由:原文给出 SetFit 的两阶段训练流程与 RAFT 基准对比,读者可据此判断少样本分类的可用性与成本。
Hugging Face 发布 diffusers 0.3,新增图生图 pipeline、Textual Inversion、实验性 inpainting 与 ONNX 导出等能力。
推荐理由:diffusers 0.3 集中补齐图生图、Textual Inversion 与显存优化,可据此判断扩散模型工具链的成熟度。
OpenAI 为 DALL·E 推出 outpainting 功能,可生成任意尺寸的图像,在原有画面之外继续延展内容,从而讲述更大的故事。
推荐理由:OpenAI 为 DALL·E 增加 outpainting,读者可了解图像生成从单张出图扩展到任意尺寸延展。
OpenAI 宣布 DALL·E 进入测试版,将在未来几周从等待名单中邀请 100 万人使用。用户可用每月重置的免费积分生成图像,也可按 115 次生成 15 美元的价格购买额外积分。
推荐理由:OpenAI 公布 DALL·E 测试版开放规模与积分定价,读者可据此了解早期图像生成产品的可用方式。