如何在 Intel CPU 上微调 Stable Diffusion 模型
Hugging Face 展示了在 Intel 第四代 Xeon（Sapphire Rapids）CPU 集群上微调 Stable Diffusion 的完整流程，利用 AMX 加速器与 Intel Extension for PyTorch，仅需 5 张示例图片即可通过 textual inversion 完成训练。
#图像生成
#图像生成
今日 0 条Hugging Face BlogAI 评分3838
Hugging Face BlogAI 评分2222 Hugging Face 通讯第 4 期：文本到图像模型中的偏见
Hugging Face 发布 Ethics and Society Newsletter 第 4 期，聚焦文本到图像模型的偏见问题，指出训练数据、预训练数据过滤、推理、模型潜在空间及事后过滤等环节均可能引入偏见。
Hugging Face Blog精选AI 评分6262 用 Core ML 在 iPhone、iPad 和 Mac 上加速 Stable Diffusion
Hugging Face 介绍如何借助 Core ML 的新优化在 iPhone、iPad 和 Mac 上更快运行 Stable Diffusion。Core ML 新增 6-bit palettization 量化，将权重从 16-bit 浮点压缩到每参数 6 bit，并在推理时逐层解压，从而减少存储和内存占用。
推荐理由：文章给出 6-bit palettization 的量化原理与转换命令，读者可据此在 Apple 设备上自行压缩并运行 Stable Diffusion。
Hugging Face BlogAI 评分1515 Hugging Face 宣布首届开源 AI Game Jam：7 月 7-9 日举办
Hugging Face 宣布举办首届 Open Source AI Game Jam，活动时间为 7 月 7 日至 9 日，参与者需在周末内用 AI 工具做出一款游戏。
Hugging Face BlogAI 评分3838 Hugging Face 用 NNCF 和 Optimum 为 Intel CPU 优化 Stable Diffusion
Hugging Face 借助 OpenVINO 的 NNCF 与 Optimum，通过量化感知训练（QAT）结合 Token Merging 优化 Stable Diffusion 的 UNet，在 Intel CPU 上实现 5.1 倍推理加速和 4 倍模型体积缩减。优化从 Pokemons 数据集微调模型出发，仅需 4096 次迭代，单张 24 GB 显存 GPU 不到一天即可完成。
Hugging Face BlogAI 评分4242 用 InstructPix2Pix 对 Stable Diffusion 做指令微调
Hugging Face 博客探索用指令微调让 Stable Diffusion 按指令处理输入图像，方法基于 InstructPix2Pix 的训练策略并借鉴 FLAN V2 的指令模板思路。
Hugging Face BlogAI 评分4242 Hugging Face 博客：文本到视频模型全面解析
Hugging Face 发布博客梳理文本到视频模型的发展脉络，指出该任务比文本到图像更难，需保证帧间时空一致性。文章回顾了从早期 GAN、VAE 到 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等 Transformer 方案，再到当前以扩散模型为主的第三波浪潮，并分析了算力成本高、高质量数据集稀缺、视频描述模糊等核心挑战。
Hugging Face Blog精选AI 评分6262 如何在免费版 Google Colab 上用 diffusers 运行 IF 文生图模型
Hugging Face 博客介绍如何在免费版 Google Colab（13GB CPU 内存、15GB T4 显存）上用 diffusers 运行 DeepFloyd 的 IF 文生图模型。
推荐理由：原文给出在免费 Colab 上分阶段加载 IF 各组件并做 8bit 量化的完整步骤，可迁移到其他大模型的低显存部署。
Hugging Face BlogAI 评分4242 在 Intel CPU 上加速 Stable Diffusion 推理
Hugging Face 展示了在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 推理的多种技术，借助 Optimum Intel 与 OpenVINO。
Hugging Face Blog精选AI 评分6262 用 diffusers 训练你自己的 ControlNet
Hugging Face 发布教程，介绍用 diffusers 训练 ControlNet 的三个步骤：规划条件、构建数据集、训练模型，并以人脸姿态为例训练出 Uncanny Faces 模型。
推荐理由：Hugging Face 官方给出从条件设计、数据集构建到 diffusers 训练脚本的完整 ControlNet 训练流程，含显存优化参数。
Hugging Face Blog精选AI 评分7878 Diffusers 集成 ControlNet，支持多种空间条件控制生成
Hugging Face 在 Diffusers 中集成 ControlNet，推出 StableDiffusionControlNetPipeline，可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 的生成结果。
推荐理由：Diffusers 集成 ControlNet 并给出可运行代码，读者可据此判断空间条件控制生成的实际用法与显存开销。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Diffusers 库开发伦理准则
Hugging Face 为 Diffusers 库发布伦理框架，用于指导维护者处理社区贡献时的技术决策，并承诺随时间调整准则。该框架提出透明、一致、简洁、可及、可复现、责任六项价值观，同时列出社区标签、Not For All Eyes 标签、偏见探索 Space、Safe Stable Diffusion、Hub 分阶段发布及 OpenRAILs 许可等安全机制。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Diffusers for Mac 1.1，Stable Diffusion 生成速度最高提升一倍
Hugging Face 在 Mac App Store 上线 Diffusers for Mac 1.1，基于 Core ML 运行社区贡献的文生图模型，官方称文生图生成速度最高可达此前的两倍。
推荐理由：官方给出 1.1 版在多种 Mac 上的生成耗时对比，可据此判断 Core ML 与 ANE 加速的实际收益。
Hugging Face Blog精选AI 评分7575 用 LoRA 高效微调 Stable Diffusion：diffusers 官方教程
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持，可用于 Dreambooth 和完整微调，训练显存最低约 11 GB，新增权重文件约 3 MB，比原 UNet 小约一千倍。
推荐理由：Hugging Face 官方给出 LoRA 微调 Stable Diffusion 的脚本与推理流程，并说明显存和权重体积的实际变化。
Hugging Face BlogAI 评分3636 2D 资产生成：AI 用于游戏开发 #4
Hugging Face 博客"AI for Game Development"系列第 4 篇讲解如何用 Stable Diffusion 的 Image2Image 生成 2D 游戏资产，并以农场游戏的玉米和镰刀图标为例演示迭代流程。
Hugging Face BlogAI 评分2222 3D 资产生成：AI 用于游戏开发 #3
Hugging Face 博客"AI for Game Development"系列第 3 篇指出，text-to-3D 目前还无法实际用于游戏开发，因为生成结果多为 NeRF 视图合成而非可直接使用的 mesh，需大量人工后处理才能成为游戏资产。
Hugging Face BlogAI 评分4242 Hugging Face transformers 集成 Mask2Former 与 OneFormer，统一图像分割
Mask2Former 和 OneFormer 两款统一图像分割模型现已集成到 Hugging Face transformers 开源库中。Mask2Former 用同一套掩码分类范式覆盖实例、语义和全景分割，但每个任务仍需单独训练；OneFormer 加入文本编码器，仅在全景数据上训练一次即可在三个任务上取得 SOTA，精度更高但延迟更大。
Hugging Face BlogAI 评分4040 用 Hugging Face Datasets 和 Transformers 构建图像相似度系统
Hugging Face 发布教程，演示如何用 Transformers 和 Datasets 库构建图像相似度检索系统，通过 ViT 模型（nateraw/vit-base-beans）提取图像嵌入向量，再用余弦相似度找出与查询图像最接近的候选图。
Hugging Face BlogAI 评分2222 AI 游戏开发实战：5 天用 Stable Diffusion 和 Unity 做出农场游戏（Part 1）
Hugging Face 发布系列教程，演示如何在 5 天内用 AI 工具做出完整农场游戏，Part 1 聚焦美术风格。
Hugging Face BlogAI 评分4242 用 CLIPSeg 实现零样本图像分割
Hugging Face 发布指南，介绍如何通过 transformers 使用零样本图像分割模型 CLIPSeg。该模型在冻结的 CLIP 之上训练 Transformer 解码器，输入 352 x 352 像素图像，可生成粗略分割掩码，用于机器人感知、图像修复等任务，并支持以文本或示例图像作为提示的"视觉提示"。若需更精细结果，可在 Segments.ai 上对 CLIPSeg 输出进行细化。
OpenAI News精选AI 评分6262 OpenAI 发布 Point-E：从复杂提示词生成 3D 点云的系统
OpenAI 发布 Point-E，一个可根据复杂提示词生成 3D 点云的系统。
Hugging Face Blog精选AI 评分7070 如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
借助 Apple 工程师提供的转换脚本和推理代码，Stable Diffusion 现在可以在 Apple Silicon 上通过 Core ML 运行，Hugging Face 已把 v1.4、v1.5、v2 base、v2.1 base 的官方权重转换好并放到 Hub 上。
推荐理由：原文给出在 Apple Silicon 上用 Core ML 运行 Stable Diffusion 的完整流程与性能数据，可据此复现或自行转换权重。
Hugging Face BlogAI 评分3030 VQ-Diffusion：基于离散隐空间的扩散模型
中国科学技术大学与微软提出 VQ-Diffusion，一种在量化隐空间上进行加噪与去噪的条件扩散模型，隐空间由离散向量集合构成。该模型使用冻结的 VQ-VAE 编码图像，并以 CLIP 文本编码器加编码器-解码器 Transformer 预测去噪后的隐变量分布。相比自回归模型，VQ-Diffusion 在推理速度、误差累积和方向偏置三方面均有改善，可通过 🧨 Diffusers 几行代码调用。
Hugging Face BlogAI 评分2222 Hugging Face 与 Jonathan Whitaker 推出扩散模型课程并举办直播活动
Hugging Face 与 Jonathan Whitaker 合作的扩散模型课程将于 11 月 28 日发布，免费讲解扩散模型的理论与应用。配合课程上线，11 月 30 日将举办社区直播活动，Stable Diffusion 创作者及 Stability AI、Meta 等机构的研究者将带来演讲，聚焦扩散模型的高层介绍与构建应用的工具。
Hugging Face Blog精选AI 评分6262 用 Diffusers 和 Dreambooth 训练 Stable Diffusion 的实验与调参建议
Hugging Face 用 Diffusers 的 Dreambooth 训练脚本做了大量实验，分析不同超参数对微调 Stable Diffusion 的影响并给出推荐设置。
推荐理由：基于大量实验给出 Dreambooth 微调 Stable Diffusion 的超参数建议，可直接迁移到自己的训练流程。
OpenAI News精选AI 评分6565 OpenAI 开放 DALL·E API 公测
OpenAI 宣布 DALL·E API 进入公开测试，开发者从即日起可以基于该 API 构建应用。
推荐理由：OpenAI 开放 DALL·E API 公测，开发者可据此判断图像生成能力接入自家应用的门槛变化。
Hugging Face Blog精选AI 评分6262 Hugging Face Diffusers 0.5.1 起支持 Flax，在 TPU 上用 JAX 运行 Stable Diffusion
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax，可在 Colab、Kaggle 或 Google Cloud 的 TPU 上运行 Stable Diffusion 推理。
推荐理由：Hugging Face 官方给出在 TPU 上用 JAX/Flax 并行跑 Stable Diffusion 的完整步骤与实测耗时，可迁移到多设备推理。
Hugging Face BlogAI 评分4242 rinna 发布 Japanese Stable Diffusion：基于 Stable Diffusion 微调的日语文生图模型
rinna 基于 Stable Diffusion 微调出日语专用文生图模型 Japanese Stable Diffusion，可理解日语特有词汇、拟声词与专有名词并生成日式风格图像。
OpenAI News精选AI 评分8080 OpenAI 宣布 DALL·E 取消候补名单开放使用
OpenAI 宣布 DALL·E 不再需要候补名单，新用户可以直接开始创作。OpenAI 表示，部署中积累的经验以及安全系统的改进，使更广泛的开放成为可能。
推荐理由：OpenAI 取消 DALL·E 候补名单，读者可了解其安全系统改进后开放策略的变化。
Hugging Face BlogAI 评分3838 Hugging Face AutoTrain 新增图像分类功能
Hugging Face AutoTrain 新增图像分类任务，用户无需编写代码即可训练模型。上传数据后选择模型候选数量，AutoTrain 会自动尝试多个模型架构并停止表现不佳的训练，最佳模型达到 84% 准确率。使用 5 个候选模型且图片少于 500 张时可免费训练。
Hugging Face Blog精选AI 评分6262 diffusers 0.3 发布：新增图生图、Textual Inversion 与显存优化
Hugging Face 发布 diffusers 0.3，新增图生图 pipeline、Textual Inversion、实验性 inpainting 与 ONNX 导出等能力。
推荐理由：diffusers 0.3 集中补齐图生图、Textual Inversion 与显存优化，可据此判断扩散模型工具链的成熟度。
OpenAI News精选AI 评分6262 OpenAI 为 DALL·E 推出 outpainting 功能
OpenAI 为 DALL·E 推出 outpainting 功能，可生成任意尺寸的图像，在原有画面之外继续延展内容，从而讲述更大的故事。
推荐理由：OpenAI 为 DALL·E 增加 outpainting，读者可了解图像生成从单张出图扩展到任意尺寸延展。
Hugging Face Blog精选AI 评分7474 如何用 Diffusers 运行 Stable Diffusion
Hugging Face 发布教程，介绍如何用 Diffusers 库运行 Stable Diffusion 文生图模型，并解释其 Latent Diffusion 的工作原理。
推荐理由：原文给出 Stable Diffusion 在 Diffusers 中的完整调用方式与自定义推理管线写法，可迁移到其他扩散模型。
Hugging Face BlogAI 评分2222 Hugging Face Optimum Graphcore 深度解析：在 IPU 上微调 Vision Transformer
Hugging Face 与 Graphcore 联合发布 Optimum Graphcore 库，支持在 IPU 上微调 ViT 等 Transformer 模型。
Hugging Face BlogAI 评分2222 用 TF Serving 在 Hugging Face 部署 TensorFlow 视觉模型
Hugging Face 与外部贡献者为 Transformers 加入了 Vision Transformer、Masked Autoencoders、RegNet、ConvNeXt 等 TensorFlow 视觉模型。
OpenAI News精选AI 评分8888 OpenAI 将 DALL·E 开放测试版
OpenAI 宣布 DALL·E 进入测试版，将在未来几周从等待名单中邀请 100 万人使用。用户可用每月重置的免费积分生成图像，也可按 115 次生成 15 美元的价格购买额外积分。
推荐理由：OpenAI 公布 DALL·E 测试版开放规模与积分定价，读者可据此了解早期图像生成产品的可用方式。
OpenAI NewsAI 评分3838 OpenAI 为 DALL·E 2 降低偏见并提升安全性
OpenAI 为 DALL·E 2 部署了一项新技术，使其生成的人物图像能更准确地反映世界人口的多样性，以减少偏见并提升安全性。
OpenAI News精选AI 评分6262 OpenAI：DALL·E 2 研究预览吸引 118 个国家逾 3000 名艺术家
OpenAI 表示，在 DALL·E 2 研究预览阶段，来自 118 个以上国家的 3000 多名艺术家已将 DALL·E 纳入自己的创作流程。早期访问组的艺术家帮助发现了 DALL·E 的新用途，并在 DALL·E 功能决策中提供了关键意见。
推荐理由：DALL·E 2 研究预览阶段已有 118 个国家逾 3000 名艺术家将其纳入创作流程，可了解早期使用规模。
OpenAI NewsAI 评分4242 DALL·E 2 预训练缓解措施
为向广泛受众开放 DALL·E 2，OpenAI 在预训练阶段采取缓解措施，以降低强大图像生成模型带来的风险。为此，OpenAI 设置了多种防护栏，防止生成图像违反其内容政策。
Hugging Face Blog精选AI 评分6262 图解扩散模型：用 PyTorch 逐步实现 DDPM
Hugging Face 博客发布《The Annotated Diffusion Model》，基于 Ho 等人 2020 年的 DDPM 论文，用 PyTorch 逐步实现去噪扩散概率模型。
推荐理由：以 PyTorch 逐步实现 DDPM 并附完整代码，适合想从原理到代码理解扩散模型的读者。