Mistral AI 发布新版 le Chat 助手并上线 iOS 与 Android
Mistral AI 发布新版 le Chat,定位覆盖生活与工作的综合 AI 助手,同时上线 iOS、Android,并推出 Pro 和 Team 订阅以及处于私有预览的 Enterprise 版本。
推荐理由:官方一次性给出 le Chat 的移动端、Flash Answers 速度指标与 Pro 定价,可据此判断其与现有助手的差异。
AI 画图的最前线:文生图模型迭代、图像编辑能力与创作工具生态的全部动态。
Mistral AI 发布新版 le Chat,定位覆盖生活与工作的综合 AI 助手,同时上线 iOS、Android,并推出 Pro 和 Team 订阅以及处于私有预览的 Enterprise 版本。
推荐理由:官方一次性给出 le Chat 的移动端、Flash Answers 速度指标与 Pro 定价,可据此判断其与现有助手的差异。
Stability AI 发布 Stable Diffusion 3.5,模型已上线 Hugging Face Hub 并可在 Diffusers 中使用,包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理。
推荐理由:原文给出 SD3.5 Large 在 Diffusers 中的推理、量化与 LoRA 训练路径,读者可据此评估消费级显卡上的可用性。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已在 Hugging Face Hub 发布,可通过 Diffusers 调用。
推荐理由:原文给出 SD3 Medium 的架构变化、Diffusers 集成与显存优化实测数据,读者可据此判断本地部署门槛。
SegMind 发布 SegMoE 框架,可从零创建混合专家(MoE)扩散模型,并已集成进 Hugging Face diffusers 生态。同时发布 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型(Apache 2.0 许可)以及配套 GitHub 仓库,用户通过 config.yaml 即可组合任意数量的模型,几分钟内完成构建。
推荐理由:原文给出从零构建扩散模型 MoE 的完整流程与显存代价,读者可据此判断本地部署门槛。
Hugging Face 发布教程,介绍如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由:完整给出从 ComfyUI 工作流导出 Python、封装 Gradio 到 ZeroGPU 免费部署的可复用步骤,适合想低成本分享工作流的读者。
Hugging Face 发布新的 diffusers SDXL Dreambooth LoRA 训练脚本,把 Pivotal Tuning 与 Prodigy 优化器结合,并整合文本编码器独立学习率、自定义 caption、Min-SNR gamma、repeats 等社区实践。
推荐理由:汇总 SDXL Dreambooth LoRA 微调的社区最佳实践,并给出可直接运行的 diffusers 训练脚本与参数配置。
Hugging Face 发布 Latent Consistency LoRA(LCM LoRA),通过训练少量 LoRA 适配层而非蒸馏整个模型,让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步完成出图。
推荐理由:LCM LoRA 把 SDXL 推理从 25 步压到 4 步,并给出各硬件实测速度,可据此判断生成工作流的改动空间。
OpenAI 在 DevDay 上发布 GPT-4 Turbo,支持 128K 上下文并下调价格,同时推出 GPT-4 Turbo with Vision。开发者产品方面新增 Assistants API,并开放 DALL·E 3 API。
推荐理由:OpenAI 在 DevDay 一次性公布模型与开发者产品更新,可据此了解其模型能力与 API 布局的变化。
Hugging Face 在 A100(40GB)上测试了 SDXL 的多种推理优化,未优化管线需 28GB 显存、72.2 秒,改用 fp16 后降至 21.7GB 和 14.8 秒。
推荐理由:原文给出 SDXL 在 A100 上的逐项优化实测数据,读者可据此按显存与延迟取舍推理配置。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。为准备更广泛发布,OpenAI 开发了一套安全缓解措施,并同步分享了其来源溯源研究的最新进展。
推荐理由:DALL·E 3 面向 ChatGPT Plus 和 Enterprise 开放,读者可了解其安全缓解措施与来源溯源研究。
OpenAI 发布 DALL·E 3 系统卡,用于说明该图像生成模型在安全与对齐方面的评估情况。
Hugging Face 发布 Würstchen 扩散模型,其文本条件部分在高度压缩的潜空间中工作,实现 42x 空间压缩,推理比 Stable Diffusion XL 更快且占用显存更少。
推荐理由:原文给出 42x 空间压缩与训练算力对比,读者可据此判断文生图模型的成本与显存门槛变化。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作,在 diffusers 中为 Stable Diffusion XL 加入 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 五种条件的预训练 checkpoint。
推荐理由:Diffusers 团队与 T2I-Adapter 作者合作把 SDXL 可控生成接入 diffusers,并给出与 ControlNet 的参数量对比。
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与蒸馏训练代码,两者参数量分别比基础模型少 35% 和 55%,图像保真度接近基础模型。
推荐理由:Segmind 开源了 SD-Small 与 SD-Tiny 的蒸馏代码和权重,读者可据此了解压缩扩散模型的训练方法与推理加速幅度。
Hugging Face 与 Apple 合作把 Stable Diffusion XL 移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地运行。
推荐理由:原文给出混合位宽调色板量化的完整方法与脚本,读者可据此把 SD XL 压缩到 4.5 bit 并自行复现。
Hugging Face 介绍如何借助 Core ML 的新优化在 iPhone、iPad 和 Mac 上更快运行 Stable Diffusion。Core ML 新增 6-bit palettization 量化,将权重从 16-bit 浮点压缩到每参数 6 bit,并在推理时逐层解压,从而减少存储和内存占用。
推荐理由:文章给出 6-bit palettization 的量化原理与转换命令,读者可据此在 Apple 设备上自行压缩并运行 Stable Diffusion。
Hugging Face 博客介绍如何在免费版 Google Colab(13GB CPU 内存、15GB T4 显存)上用 diffusers 运行 DeepFloyd 的 IF 文生图模型。
推荐理由:原文给出在免费 Colab 上分阶段加载 IF 各组件并做 8bit 量化的完整步骤,可迁移到其他大模型的低显存部署。
Hugging Face 发布教程,介绍用 diffusers 训练 ControlNet 的三个步骤:规划条件、构建数据集、训练模型,并以人脸姿态为例训练出 Uncanny Faces 模型。
推荐理由:Hugging Face 官方给出从条件设计、数据集构建到 diffusers 训练脚本的完整 ControlNet 训练流程,含显存优化参数。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 的生成结果。
推荐理由:Diffusers 集成 ControlNet 并给出可运行代码,读者可据此判断空间条件控制生成的实际用法与显存开销。
Hugging Face 在 Mac App Store 上线 Diffusers for Mac 1.1,基于 Core ML 运行社区贡献的文生图模型,官方称文生图生成速度最高可达此前的两倍。
推荐理由:官方给出 1.1 版在多种 Mac 上的生成耗时对比,可据此判断 Core ML 与 ANE 加速的实际收益。