OpenAI 为 ChatGPT 测试记忆功能与新的控制选项
OpenAI 正在测试 ChatGPT 记住用户讨论内容的能力,以便让后续对话更有帮助。用户对 ChatGPT 的记忆拥有控制权。
推荐理由:OpenAI 开始测试 ChatGPT 记忆功能,读者可了解其能力边界与用户控制方式。
AI 产品与应用的功能上新、改版与商业化动态——谁家的产品变强了、变贵了、能用了。
OpenAI 正在测试 ChatGPT 记住用户讨论内容的能力,以便让后续对话更有帮助。用户对 ChatGPT 的记忆拥有控制权。
推荐理由:OpenAI 开始测试 ChatGPT 记忆功能,读者可了解其能力边界与用户控制方式。
Hugging Face 为 Text Generation Inference(TGI)和 Inference Endpoints 推出 Messages API,从 1.4.0 版本起提供与 OpenAI Chat Completion API 兼容的接口,可直接配合 OpenAI 客户端库、LangChain 或 LlamaIndex 使用。
推荐理由:TGI 新增 OpenAI 兼容的 Messages API,读者可据此判断现有 OpenAI 脚本迁移到开源模型的改造成本。
SegMind 发布 SegMoE 框架,可从零创建混合专家(MoE)扩散模型,并已集成进 Hugging Face diffusers 生态。同时发布 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型(Apache 2.0 许可)以及配套 GitHub 仓库,用户通过 config.yaml 即可组合任意数量的模型,几分钟内完成构建。
推荐理由:原文给出从零构建扩散模型 MoE 的完整流程与显存代价,读者可据此判断本地部署门槛。
OpenAI 发布 GPT Store。
OpenAI 推出面向各类规模团队的 ChatGPT 新套餐 ChatGPT Team,提供安全、可协作的工作空间,帮助团队在工作中充分利用 ChatGPT。
推荐理由:OpenAI 面向各类规模团队推出 ChatGPT 团队版,提供安全协作工作空间,可据此了解其企业协作定位。
Hugging Face 博客介绍社区开发的轻量库 Unsloth,与 transformers、PEFT、TRL 完全兼容,可将 LLM 微调速度提升约 2 倍、显存占用降低约 40%,且相对标准 QLoRA 精度损失为 0%。
推荐理由:原文给出 Unsloth 与 TRL 集成的实测加速与显存数据,读者可据此判断微调成本能降到什么程度。
Mistral AI 开放首个平台服务 La Plateforme 的 beta 访问,提供三个对话端点和嵌入端点,各有不同性能价格取舍。
推荐理由:Mistral AI 开放首个平台服务测试,给出三个对话端点和嵌入端点的性能价格取舍,可据此判断其早期 API 能力边界。
Hugging Face 发布 Optimum-NVIDIA 推理库,只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码,即可在 NVIDIA 平台上获得最高 28 倍吞吐和 1200 tokens/秒,首 token 延迟最高降低 3.3 倍。
推荐理由:原文给出单行代码替换即可获得最高 28 倍吞吐的量化数据,读者可据此判断现有 LLaMA 推理流程的改造成本。
Hugging Face 发布 Latent Consistency LoRA(LCM LoRA),通过训练少量 LoRA 适配层而非蒸馏整个模型,让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步完成出图。
推荐理由:LCM LoRA 把 SDXL 推理从 25 步压到 4 步,并给出各硬件实测速度,可据此判断生成工作流的改动空间。
OpenAI 发布 GPTs,用户现在可以创建自定义版本的 ChatGPT,将指令、额外知识和任意技能组合在一起。
推荐理由:OpenAI 官方发布 GPTs,读者可据此了解 ChatGPT 从通用对话走向可自定义智能体的入口变化。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。为准备更广泛发布,OpenAI 开发了一套安全缓解措施,并同步分享了其来源溯源研究的最新进展。
推荐理由:DALL·E 3 面向 ChatGPT Plus 和 Enterprise 开放,读者可了解其安全缓解措施与来源溯源研究。
Hugging Face 发布 @gradio/lite,一个借助 Pyodide 让 Gradio 应用直接在浏览器中运行的 JavaScript 库,无需服务器端基础设施。
推荐理由:官方博客给出 Gradio-Lite 的完整用法与限制,读者可据此判断无服务器部署 Gradio 应用的可行边界。
Hugging Face 的 tokenizers 新增 chat_template 属性,用 Jinja 模板保存模型训练时使用的对话格式,把消息列表转换成正确格式的字符串。
推荐理由:Hugging Face 把聊天格式从硬编码改为随 tokenizer 保存的 Jinja 模板,读者可据此理解格式错配为何会静默拖垮模型表现。
OpenAI 宣布 ChatGPT 新增看、听、说能力,可处理图像与语音输入并语音回复。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作,在 diffusers 中为 Stable Diffusion XL 加入 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 五种条件的预训练 checkpoint。
推荐理由:Diffusers 团队与 T2I-Adapter 作者合作把 SDXL 可控生成接入 diffusers,并给出与 ControlNet 的参数量对比。
OpenAI 发布 ChatGPT Enterprise,提供企业级安全与隐私保护,并称其为目前能力最强的 ChatGPT 版本。
推荐理由:OpenAI 官方发布面向企业的 ChatGPT 版本,读者可据此了解其安全隐私定位与能力版本信息。
Hugging Face 把 AutoGPTQ 库集成进 Transformers,用户可用 GPTQ 算法以 8、4、3 甚至 2-bit 精度量化和运行大语言模型,4-bit 量化精度损失可忽略,小批量下推理速度与 fp16 基线相当。
推荐理由:Hugging Face 官方说明 GPTQ 量化接入 Transformers 的用法与显存收益,可据此判断本地部署大模型的成本变化。
OpenAI 宣布开发者现在可以自带数据对 GPT-3.5 Turbo 进行微调,以适配自身用例。该更新与 API 调整一同发布。
推荐理由:OpenAI 开放 GPT-3.5 Turbo 微调,开发者可用自有数据定制模型,是当时最直接的定制入口变化。
Hugging Face 发布 swift-transformers Swift 包及配套工具,让开发者能在 Mac 和 iOS 设备上用 Core ML 运行 Llama 2、Falcon 等大语言模型。
推荐理由:Hugging Face 放出在 Apple 设备本地跑 Llama 2 的 Swift 工具链,读者可据此判断端侧大模型的落地路径。
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与蒸馏训练代码,两者参数量分别比基础模型少 35% 和 55%,图像保真度接近基础模型。
推荐理由:Segmind 开源了 SD-Small 与 SD-Tiny 的蒸馏代码和权重,读者可据此了解压缩扩散模型的训练方法与推理加速幅度。