用 LoRA 高效微调 Stable Diffusion:diffusers 官方教程
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持,可用于 Dreambooth 和完整微调,训练显存最低约 11 GB,新增权重文件约 3 MB,比原 UNet 小约一千倍。
推荐理由:Hugging Face 官方给出 LoRA 微调 Stable Diffusion 的脚本与推理流程,并说明显存和权重体积的实际变化。
AI 画图的最前线:文生图模型迭代、图像编辑能力与创作工具生态的全部动态。
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持,可用于 Dreambooth 和完整微调,训练显存最低约 11 GB,新增权重文件约 3 MB,比原 UNet 小约一千倍。
推荐理由:Hugging Face 官方给出 LoRA 微调 Stable Diffusion 的脚本与推理流程,并说明显存和权重体积的实际变化。
OpenAI 发布 Point-E,一个可根据复杂提示词生成 3D 点云的系统。
借助 Apple 工程师提供的转换脚本和推理代码,Stable Diffusion 现在可以在 Apple Silicon 上通过 Core ML 运行,Hugging Face 已把 v1.4、v1.5、v2 base、v2.1 base 的官方权重转换好并放到 Hub 上。
推荐理由:原文给出在 Apple Silicon 上用 Core ML 运行 Stable Diffusion 的完整流程与性能数据,可据此复现或自行转换权重。
Hugging Face 用 Diffusers 的 Dreambooth 训练脚本做了大量实验,分析不同超参数对微调 Stable Diffusion 的影响并给出推荐设置。
推荐理由:基于大量实验给出 Dreambooth 微调 Stable Diffusion 的超参数建议,可直接迁移到自己的训练流程。
OpenAI 宣布 DALL·E API 进入公开测试,开发者从即日起可以基于该 API 构建应用。
推荐理由:OpenAI 开放 DALL·E API 公测,开发者可据此判断图像生成能力接入自家应用的门槛变化。
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax,可在 Colab、Kaggle 或 Google Cloud 的 TPU 上运行 Stable Diffusion 推理。
推荐理由:Hugging Face 官方给出在 TPU 上用 JAX/Flax 并行跑 Stable Diffusion 的完整步骤与实测耗时,可迁移到多设备推理。
OpenAI 宣布 DALL·E 不再需要候补名单,新用户可以直接开始创作。OpenAI 表示,部署中积累的经验以及安全系统的改进,使更广泛的开放成为可能。
推荐理由:OpenAI 取消 DALL·E 候补名单,读者可了解其安全系统改进后开放策略的变化。
Hugging Face 发布 diffusers 0.3,新增图生图 pipeline、Textual Inversion、实验性 inpainting 与 ONNX 导出等能力。
推荐理由:diffusers 0.3 集中补齐图生图、Textual Inversion 与显存优化,可据此判断扩散模型工具链的成熟度。
OpenAI 为 DALL·E 推出 outpainting 功能,可生成任意尺寸的图像,在原有画面之外继续延展内容,从而讲述更大的故事。
推荐理由:OpenAI 为 DALL·E 增加 outpainting,读者可了解图像生成从单张出图扩展到任意尺寸延展。
Hugging Face 发布教程,介绍如何用 Diffusers 库运行 Stable Diffusion 文生图模型,并解释其 Latent Diffusion 的工作原理。
推荐理由:原文给出 Stable Diffusion 在 Diffusers 中的完整调用方式与自定义推理管线写法,可迁移到其他扩散模型。
OpenAI 宣布 DALL·E 进入测试版,将在未来几周从等待名单中邀请 100 万人使用。用户可用每月重置的免费积分生成图像,也可按 115 次生成 15 美元的价格购买额外积分。
推荐理由:OpenAI 公布 DALL·E 测试版开放规模与积分定价,读者可据此了解早期图像生成产品的可用方式。
OpenAI 表示,在 DALL·E 2 研究预览阶段,来自 118 个以上国家的 3000 多名艺术家已将 DALL·E 纳入自己的创作流程。早期访问组的艺术家帮助发现了 DALL·E 的新用途,并在 DALL·E 功能决策中提供了关键意见。
推荐理由:DALL·E 2 研究预览阶段已有 118 个国家逾 3000 名艺术家将其纳入创作流程,可了解早期使用规模。
Hugging Face 博客发布《The Annotated Diffusion Model》,基于 Ho 等人 2020 年的 DDPM 论文,用 PyTorch 逐步实现去噪扩散概率模型。
推荐理由:以 PyTorch 逐步实现 DDPM 并附完整代码,适合想从原理到代码理解扩散模型的读者。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从候补名单中新增最多 1000 名用户。
推荐理由:官方披露 DALL·E 2 研究预览的早期使用规模与每周放量节奏,可据此了解其开放进度。
OpenAI 训练了一个名为 DALL·E 的神经网络,可根据自然语言描述生成图像,覆盖自然语言可表达的广泛概念。
推荐理由:OpenAI 官方公布 DALL·E 这一文本生成图像神经网络,可据此了解早期文生图模型的能力定位。
OpenAI 发现,正如在语言上训练的大型 Transformer 模型能生成连贯文本,同一模型在像素序列上训练后也能生成连贯的图像补全和样本。通过建立样本质量与图像分类准确率之间的相关性,研究显示其最佳生成模型在无监督设置下所含特征可与顶级卷积网络竞争。
推荐理由:OpenAI 用同一 Transformer 架构处理像素序列,并给出生成质量与分类精度的关联证据。
OpenAI 表示已生成能从不同尺度和视角稳定欺骗神经网络分类器的图像。这一结果对上周提出的说法构成挑战,即自动驾驶汽车因从多个尺度、角度和视角采集图像而难以被恶意欺骗。
推荐理由:OpenAI 展示可跨尺度与视角稳定欺骗分类器的对抗样本,为评估多视角感知的鲁棒性提供了反例。