Segmind 开源 SD-Small 与 SD-Tiny 知识蒸馏代码和权重
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与蒸馏训练代码,两者参数量分别比基础模型少 35% 和 55%,图像保真度接近基础模型。
推荐理由:Segmind 开源了 SD-Small 与 SD-Tiny 的蒸馏代码和权重,读者可据此了解压缩扩散模型的训练方法与推理加速幅度。
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与蒸馏训练代码,两者参数量分别比基础模型少 35% 和 55%,图像保真度接近基础模型。
推荐理由:Segmind 开源了 SD-Small 与 SD-Tiny 的蒸馏代码和权重,读者可据此了解压缩扩散模型的训练方法与推理加速幅度。
Hugging Face 在 huggingface.js 下发布 Agents.js,一个可在浏览器或服务端用 JavaScript 为 LLM 提供工具访问的新库,通过 npm install @huggingface/agents 安装。
推荐理由:Hugging Face 官方开源 Agents.js,给出从安装到自定义工具与模型的完整用法,可据此判断如何为 LLM 接入工具。
OpenAI 为 ChatGPT 推出自定义指令功能,用户可设置自己的偏好,ChatGPT 会在之后所有对话中记住这些偏好。
推荐理由:OpenAI 为 ChatGPT 加入自定义指令,读者可了解用户偏好如何跨对话持续生效。
Hugging Face 的 Diffusers 库迎来一周年,已从文生图扩展为覆盖视频、3D 与图像编辑的模块化扩散模型工具箱。
Viable 利用 GPT-4 以革命性规模分析定性数据,并实现前所未有的准确度。该方案面向大规模定性数据分析场景,由 OpenAI 的 GPT-4 提供模型能力支持。
Hugging Face 与 Panel 合作,在 Hugging Face Spaces 中集成了 Panel 模板,方便用户构建并部署 Panel 应用。Panel 是开源 Python 库,可构建工具、仪表盘和复杂应用,支持 Matplotlib、Plotly、Bokeh 等绘图库,并可通过 Pyodide 和 WebAssembly 在浏览器中运行。
OpenAI 宣布 API 更新,包括更易引导的模型、函数调用能力、更长的上下文窗口以及更低的价格。
推荐理由:OpenAI 公布 API 多项更新,读者可了解模型可控性、函数调用与价格调整的方向。
Hugging Face Hub 新增 DuckDB 集成,用户可用 SQL 查询 Hub 上任意公开数据集。数据集查看器会自动将所有公开数据集转换为 Parquet 文件,通过 /parquet 端点获取 URL 后,配合 DuckDB 的 httpfs 扩展即可直接查询远程文件,大型数据集被分片为 500MB 块。
Hugging Face 现已托管 Meta AI 开源的 fastText 官方镜像,涵盖全部 157 种语言的词向量和最新语言识别模型,用户可通过 huggingface_hub 的 hf_hub_download 几行命令直接下载使用。该集成还支持文本分类与特征提取 widget,并提供词向量最近邻查询和语言检测的示例代码。
Hugging Face Hub 现已集成 BERTopic,用户可直接在 Hub 上访问和共享主题模型。BERTopic 是一种基于 Transformer 嵌入向量和 c-TF-IDF 的主题建模技术,支持神经主题建模。此次集成让开发者能更便捷地加载、上传和复用主题模型。
Hugging Face 发布面向 Amazon SageMaker 的 LLM 推理容器(DLC),由 Text Generation Inference(TGI)驱动,可部署 BLOOM、StarCoder、Llama、T5 等开源大模型。
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持以 4-bit 精度加载和运行模型,覆盖文本、视觉、多模态等大多数 HF 模型,并可在 4bit 模型上训练适配器。
推荐理由:Hugging Face 把 4-bit 量化与 QLoRA 接入 transformers,读者可据此判断消费级显卡微调大模型的门槛变化。
OpenAI 发布 ChatGPT iOS 应用,可同步对话记录并支持语音输入,同时带来最新的模型改进。
推荐理由:OpenAI 官方发布 ChatGPT iOS 应用,给出对话同步与语音输入两项能力,读者可据此了解移动端入口的初始形态。
Hugging Face 博客介绍 RWKV 架构已集成进 transformers 库,该架构结合 RNN 与 Transformer 的优势,由 Bo Peng 主导、Stability AI 捐赠训练 GPU。
推荐理由:RWKV 把 RNN 的推理效率与 Transformer 的并行训练结合,并已接入 transformers 库,读者可据此判断长上下文场景的选型空间。
Databricks 宣布向 Hugging Face 代码库提交首个官方贡献,新增 Datasets 的 from_spark 函数,可直接将 Apache Spark dataframe 转为 Hugging Face Dataset。
ChatGPT 用户现在可以关闭聊天记录,自行选择哪些对话可以被用于训练模型。
推荐理由:ChatGPT 新增关闭聊天记录选项,读者可据此了解对话数据是否被用于训练的控制方式。
Hugging Face 与 AWS 合作,将 Hugging Face Transformers 针对 AWS Inferentia2 推理加速芯片进行优化,通过 optimum-neuron 只需一行代码即可编译模型。
OpenAI 宣布为 ChatGPT 实现插件的初步支持。插件是专为语言模型设计的工具,以安全为核心原则,可帮助 ChatGPT 获取最新信息、执行计算或使用第三方服务。
推荐理由:OpenAI 官方给出 ChatGPT 插件的最初支持范围,读者可据此了解语言模型接入外部工具与实时信息的早期形态。
Hugging Face 宣布改进 Hub 上 Jupyter Notebook 的托管支持,新增渲染功能,使原本为 JSON 格式的 ipynb 文件能以人类可读形式展示。Hub 目前已托管超 7,000 个 notebook,并支持一键在 Google Colab 中直接打开。
Khan Academy 正在一项有限试点项目中探索 GPT-4 用于虚拟教育的潜力。该试点聚焦课堂场景,具体功能与规模尚未披露。
OpenAI 的 GPT-4 被用于 Duolingo,以填补关键的语言学习空白。正文未披露具体功能、参数或可用性细节。
Be My Eyes 借助 GPT-4 变革视觉无障碍体验。该应用利用 GPT-4 为视障用户提供视觉辅助能力。
冰岛正在使用 GPT-4 保护其语言。OpenAI 介绍了这一合作,旨在借助大语言模型应对冰岛语在数字时代面临的存续挑战。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 的生成结果。
推荐理由:Diffusers 集成 ControlNet 并给出可运行代码,读者可据此判断空间条件控制生成的实际用法与显存开销。
Hugging Face 在 Mac App Store 上线 Diffusers for Mac 1.1,基于 Core ML 运行社区贡献的文生图模型,官方称文生图生成速度最高可达此前的两倍。
推荐理由:官方给出 1.1 版在多种 Mac 上的生成耗时对比,可据此判断 Core ML 与 ANE 加速的实际收益。
Hugging Face 发布 PEFT 库,提供 LoRA、Prefix Tuning、Prompt Tuning、P-Tuning 等参数高效微调方法,并与 Transformers 和 Accelerate 集成。
推荐理由:官方介绍 PEFT 库支持的微调方法与显存占用,读者可据此判断消费级硬件微调大模型的可行路径。
Hugging Face 宣布 SpeechT5 已集成进 Transformers 库,官方 checkpoint 发布在 Hugging Face Hub,并提供语音合成、语音转换和自动语音识别三个 Spaces 演示。
推荐理由:SpeechT5 以同一套编码器解码器架构覆盖 TTS、语音转换与 ASR,读者可据此了解多任务语音模型的复用方式。
Hugging Face 发布开源工具 AI vs. AI,用于在多智能体环境中对强化学习模型进行排名。该工具托管于 Spaces,通过匹配算法让模型持续对战,并基于 ELO 评分系统(初始 1200 分)生成排行榜,用户将训练好的模型推送到 Hub 即可参与评估。
OpenAI 宣布为 ChatGPT 推出试点订阅方案 ChatGPT Plus。ChatGPT 是一款对话式 AI,可与用户聊天、回答追问并指出错误假设。
推荐理由:OpenAI 官方公布 ChatGPT 付费订阅试点,读者可了解其订阅模式的最初形态。
OpenAI 发布一款经过训练的分类器,用于区分 AI 生成文本与人类撰写文本。
Hugging Face 与微软 ONNX Runtime 团队合作,通过 Optimum 库集成 ONNX Runtime 训练后端,让热门 Hugging Face 模型训练速度提升 35% 以上。
OpenAI 展示了用 GPT-3 从客户反馈中快速提炼细致洞察的做法。该方案面向客户反馈分析场景,目标是兼顾速度与洞察的细腻度。
OpenAI 对 GPT-3 进行微调,用于驱动并规模化"代客制作"的视频创作。原文未披露微调数据规模、具体合作方或性能指标。
OpenAI 利用 GPT-3 创建新一代 AI 驱动的角色。
Hugging Face 推出 Model Card Creator Tool 和 Model Card Guide Book,前者提供图形界面,无需编程或 Markdown 即可创建模型卡。同时发布更新版模型卡模板(集成于 huggingface_hub 库)、带注释模板、用户研究及文档现状综述。
OpenAI 发布 Point-E,一个可根据复杂提示词生成 3D 点云的系统。
Hugging Face 梳理了其推理方案:模型页上的免费 Inference Widget 可一键上传样本预测,底层由免费 Inference API 驱动,凭模型 URL 和 hub token 即可用 HTTP 请求调用,但因限流不建议用于生产。
Hugging Face 与 arXiv 合作,将 Spaces 通过 arXivLabs 集成到论文页面,新增 Demo 标签页,可直接链接社区或作者创建的开源演示。
OpenAI 宣布 DALL·E API 进入公开测试,开发者从即日起可以基于该 API 构建应用。
推荐理由:OpenAI 开放 DALL·E API 公测,开发者可据此判断图像生成能力接入自家应用的门槛变化。
Hugging Face 将 Intel OpenVINO 加入 Optimum Intel,用户可用 OpenVINO Runtime 在多种 Intel 处理器上对 Transformers 模型执行推理,模型可托管于 Hugging Face hub 或本地。