Hugging Face 发布 Diffusers for Mac 1.1，Stable Diffusion 生成速度最高提升一倍
Hugging Face 在 Mac App Store 上线 Diffusers for Mac 1.1，基于 Core ML 运行社区贡献的文生图模型，官方称文生图生成速度最高可达此前的两倍。
推荐理由：官方给出 1.1 版在多种 Mac 上的生成耗时对比，可据此判断 Core ML 与 ANE 加速的实际收益。
#图像生成
#图像生成
今日 0 条Hugging Face Blog精选AI 评分6060
Hugging Face Blog精选AI 评分7575 用 LoRA 高效微调 Stable Diffusion：diffusers 官方教程
Hugging Face 在 diffusers 中正式加入 LoRA 微调支持，可用于 Dreambooth 和完整微调，训练显存最低约 11 GB，新增权重文件约 3 MB，比原 UNet 小约一千倍。
推荐理由：Hugging Face 官方给出 LoRA 微调 Stable Diffusion 的脚本与推理流程，并说明显存和权重体积的实际变化。
Hugging Face BlogAI 评分3636 2D 资产生成：AI 用于游戏开发 #4
Hugging Face 博客"AI for Game Development"系列第 4 篇讲解如何用 Stable Diffusion 的 Image2Image 生成 2D 游戏资产，并以农场游戏的玉米和镰刀图标为例演示迭代流程。
Hugging Face BlogAI 评分2222 3D 资产生成：AI 用于游戏开发 #3
Hugging Face 博客"AI for Game Development"系列第 3 篇指出，text-to-3D 目前还无法实际用于游戏开发，因为生成结果多为 NeRF 视图合成而非可直接使用的 mesh，需大量人工后处理才能成为游戏资产。
Hugging Face BlogAI 评分4242 Hugging Face transformers 集成 Mask2Former 与 OneFormer，统一图像分割
Mask2Former 和 OneFormer 两款统一图像分割模型现已集成到 Hugging Face transformers 开源库中。Mask2Former 用同一套掩码分类范式覆盖实例、语义和全景分割，但每个任务仍需单独训练；OneFormer 加入文本编码器，仅在全景数据上训练一次即可在三个任务上取得 SOTA，精度更高但延迟更大。
Hugging Face BlogAI 评分4040 用 Hugging Face Datasets 和 Transformers 构建图像相似度系统
Hugging Face 发布教程，演示如何用 Transformers 和 Datasets 库构建图像相似度检索系统，通过 ViT 模型（nateraw/vit-base-beans）提取图像嵌入向量，再用余弦相似度找出与查询图像最接近的候选图。
Hugging Face BlogAI 评分2222 AI 游戏开发实战：5 天用 Stable Diffusion 和 Unity 做出农场游戏（Part 1）
Hugging Face 发布系列教程，演示如何在 5 天内用 AI 工具做出完整农场游戏，Part 1 聚焦美术风格。
Hugging Face BlogAI 评分4242 用 CLIPSeg 实现零样本图像分割
Hugging Face 发布指南，介绍如何通过 transformers 使用零样本图像分割模型 CLIPSeg。该模型在冻结的 CLIP 之上训练 Transformer 解码器，输入 352 x 352 像素图像，可生成粗略分割掩码，用于机器人感知、图像修复等任务，并支持以文本或示例图像作为提示的"视觉提示"。若需更精细结果，可在 Segments.ai 上对 CLIPSeg 输出进行细化。
OpenAI News精选AI 评分6262 OpenAI 发布 Point-E：从复杂提示词生成 3D 点云的系统
OpenAI 发布 Point-E，一个可根据复杂提示词生成 3D 点云的系统。
Hugging Face Blog精选AI 评分7070 如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
借助 Apple 工程师提供的转换脚本和推理代码，Stable Diffusion 现在可以在 Apple Silicon 上通过 Core ML 运行，Hugging Face 已把 v1.4、v1.5、v2 base、v2.1 base 的官方权重转换好并放到 Hub 上。
推荐理由：原文给出在 Apple Silicon 上用 Core ML 运行 Stable Diffusion 的完整流程与性能数据，可据此复现或自行转换权重。
Hugging Face BlogAI 评分3030 VQ-Diffusion：基于离散隐空间的扩散模型
中国科学技术大学与微软提出 VQ-Diffusion，一种在量化隐空间上进行加噪与去噪的条件扩散模型，隐空间由离散向量集合构成。该模型使用冻结的 VQ-VAE 编码图像，并以 CLIP 文本编码器加编码器-解码器 Transformer 预测去噪后的隐变量分布。相比自回归模型，VQ-Diffusion 在推理速度、误差累积和方向偏置三方面均有改善，可通过 🧨 Diffusers 几行代码调用。
Hugging Face BlogAI 评分2222 Hugging Face 与 Jonathan Whitaker 推出扩散模型课程并举办直播活动
Hugging Face 与 Jonathan Whitaker 合作的扩散模型课程将于 11 月 28 日发布，免费讲解扩散模型的理论与应用。配合课程上线，11 月 30 日将举办社区直播活动，Stable Diffusion 创作者及 Stability AI、Meta 等机构的研究者将带来演讲，聚焦扩散模型的高层介绍与构建应用的工具。
Hugging Face Blog精选AI 评分6262 用 Diffusers 和 Dreambooth 训练 Stable Diffusion 的实验与调参建议
Hugging Face 用 Diffusers 的 Dreambooth 训练脚本做了大量实验，分析不同超参数对微调 Stable Diffusion 的影响并给出推荐设置。
推荐理由：基于大量实验给出 Dreambooth 微调 Stable Diffusion 的超参数建议，可直接迁移到自己的训练流程。
OpenAI News精选AI 评分6565 OpenAI 开放 DALL·E API 公测
OpenAI 宣布 DALL·E API 进入公开测试，开发者从即日起可以基于该 API 构建应用。
推荐理由：OpenAI 开放 DALL·E API 公测，开发者可据此判断图像生成能力接入自家应用的门槛变化。
Hugging Face Blog精选AI 评分6262 Hugging Face Diffusers 0.5.1 起支持 Flax，在 TPU 上用 JAX 运行 Stable Diffusion
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax，可在 Colab、Kaggle 或 Google Cloud 的 TPU 上运行 Stable Diffusion 推理。
推荐理由：Hugging Face 官方给出在 TPU 上用 JAX/Flax 并行跑 Stable Diffusion 的完整步骤与实测耗时，可迁移到多设备推理。
Hugging Face BlogAI 评分4242 rinna 发布 Japanese Stable Diffusion：基于 Stable Diffusion 微调的日语文生图模型
rinna 基于 Stable Diffusion 微调出日语专用文生图模型 Japanese Stable Diffusion，可理解日语特有词汇、拟声词与专有名词并生成日式风格图像。
OpenAI News精选AI 评分8080 OpenAI 宣布 DALL·E 取消候补名单开放使用
OpenAI 宣布 DALL·E 不再需要候补名单，新用户可以直接开始创作。OpenAI 表示，部署中积累的经验以及安全系统的改进，使更广泛的开放成为可能。
推荐理由：OpenAI 取消 DALL·E 候补名单，读者可了解其安全系统改进后开放策略的变化。
Hugging Face BlogAI 评分3838 Hugging Face AutoTrain 新增图像分类功能
Hugging Face AutoTrain 新增图像分类任务，用户无需编写代码即可训练模型。上传数据后选择模型候选数量，AutoTrain 会自动尝试多个模型架构并停止表现不佳的训练，最佳模型达到 84% 准确率。使用 5 个候选模型且图片少于 500 张时可免费训练。
Hugging Face Blog精选AI 评分6262 diffusers 0.3 发布：新增图生图、Textual Inversion 与显存优化
Hugging Face 发布 diffusers 0.3，新增图生图 pipeline、Textual Inversion、实验性 inpainting 与 ONNX 导出等能力。
推荐理由：diffusers 0.3 集中补齐图生图、Textual Inversion 与显存优化，可据此判断扩散模型工具链的成熟度。
OpenAI News精选AI 评分6262 OpenAI 为 DALL·E 推出 outpainting 功能
OpenAI 为 DALL·E 推出 outpainting 功能，可生成任意尺寸的图像，在原有画面之外继续延展内容，从而讲述更大的故事。
推荐理由：OpenAI 为 DALL·E 增加 outpainting，读者可了解图像生成从单张出图扩展到任意尺寸延展。
Hugging Face Blog精选AI 评分7474 如何用 Diffusers 运行 Stable Diffusion
Hugging Face 发布教程，介绍如何用 Diffusers 库运行 Stable Diffusion 文生图模型，并解释其 Latent Diffusion 的工作原理。
推荐理由：原文给出 Stable Diffusion 在 Diffusers 中的完整调用方式与自定义推理管线写法，可迁移到其他扩散模型。
Hugging Face BlogAI 评分2222 Hugging Face Optimum Graphcore 深度解析：在 IPU 上微调 Vision Transformer
Hugging Face 与 Graphcore 联合发布 Optimum Graphcore 库，支持在 IPU 上微调 ViT 等 Transformer 模型。
Hugging Face BlogAI 评分2222 用 TF Serving 在 Hugging Face 部署 TensorFlow 视觉模型
Hugging Face 与外部贡献者为 Transformers 加入了 Vision Transformer、Masked Autoencoders、RegNet、ConvNeXt 等 TensorFlow 视觉模型。
OpenAI News精选AI 评分8888 OpenAI 将 DALL·E 开放测试版
OpenAI 宣布 DALL·E 进入测试版，将在未来几周从等待名单中邀请 100 万人使用。用户可用每月重置的免费积分生成图像，也可按 115 次生成 15 美元的价格购买额外积分。
推荐理由：OpenAI 公布 DALL·E 测试版开放规模与积分定价，读者可据此了解早期图像生成产品的可用方式。
OpenAI NewsAI 评分3838 OpenAI 为 DALL·E 2 降低偏见并提升安全性
OpenAI 为 DALL·E 2 部署了一项新技术，使其生成的人物图像能更准确地反映世界人口的多样性，以减少偏见并提升安全性。
OpenAI News精选AI 评分6262 OpenAI：DALL·E 2 研究预览吸引 118 个国家逾 3000 名艺术家
OpenAI 表示，在 DALL·E 2 研究预览阶段，来自 118 个以上国家的 3000 多名艺术家已将 DALL·E 纳入自己的创作流程。早期访问组的艺术家帮助发现了 DALL·E 的新用途，并在 DALL·E 功能决策中提供了关键意见。
推荐理由：DALL·E 2 研究预览阶段已有 118 个国家逾 3000 名艺术家将其纳入创作流程，可了解早期使用规模。
OpenAI NewsAI 评分4242 DALL·E 2 预训练缓解措施
为向广泛受众开放 DALL·E 2，OpenAI 在预训练阶段采取缓解措施，以降低强大图像生成模型带来的风险。为此，OpenAI 设置了多种防护栏，防止生成图像违反其内容政策。
Hugging Face Blog精选AI 评分6262 图解扩散模型：用 PyTorch 逐步实现 DDPM
Hugging Face 博客发布《The Annotated Diffusion Model》，基于 Ho 等人 2020 年的 DDPM 论文，用 PyTorch 逐步实现去噪扩散概率模型。
推荐理由：以 PyTorch 逐步实现 DDPM 并附完整代码，适合想从原理到代码理解扩散模型的读者。
OpenAI News精选AI 评分7272 OpenAI 更新 DALL·E 2 研究预览：每周新增最多 1000 名候补用户
OpenAI 更新 DALL·E 2 研究预览进展，早期用户迄今已生成超过 300 万张图像，并帮助改进了安全流程。OpenAI 表示将开始每周从候补名单中新增最多 1000 名用户。
推荐理由：官方披露 DALL·E 2 研究预览的早期使用规模与每周放量节奏，可据此了解其开放进度。
Hugging Face BlogAI 评分3232 用自定义数据集微调 SegFormer 语义分割模型
Hugging Face 发布教程，演示如何用自定义数据集微调 SegFormer 语义分割模型，并以披萨配送机器人识别 sidewalk 为例。
Hugging Face BlogAI 评分2222 用 🤗 Transformers 微调 ViT 进行图像分类
Hugging Face 发布教程，演示如何用 🤗 datasets 加载 beans 图像分类数据集，并借助 🤗 transformers 微调预训练 ViT 模型。教程使用 google/vit-base-patch16-224-in21k 及其配套 ViTImageProcessor，将图像切分为 patch 并嵌入为 token 序列后送入模型训练。
OpenAI News精选AI 评分8585 OpenAI 发布 DALL·E：从文本生成图像
OpenAI 训练了一个名为 DALL·E 的神经网络，可根据自然语言描述生成图像，覆盖自然语言可表达的广泛概念。
推荐理由：OpenAI 官方公布 DALL·E 这一文本生成图像神经网络，可据此了解早期文生图模型的能力定位。
OpenAI News精选AI 评分6262 OpenAI 发布 Image GPT：用 Transformer 生成图像
OpenAI 发现，正如在语言上训练的大型 Transformer 模型能生成连贯文本，同一模型在像素序列上训练后也能生成连贯的图像补全和样本。通过建立样本质量与图像分类准确率之间的相关性，研究显示其最佳生成模型在无监督设置下所含特征可与顶级卷积网络竞争。
推荐理由：OpenAI 用同一 Transformer 架构处理像素序列，并给出生成质量与分类精度的关联证据。
OpenAI NewsAI 评分5050 OpenAI 推出可逆生成模型 Glow
OpenAI 提出可逆生成模型 Glow，采用可逆 1x1 卷积，在简化架构的同时延续了可逆生成模型的思路。该模型能生成逼真的高分辨率图像，支持高效采样，并可发现用于操控数据属性的特征。OpenAI 同步开源了模型代码并上线在线可视化工具。
OpenAI News精选AI 评分6262 OpenAI 生成可跨尺度与视角欺骗神经网络的对抗图像
OpenAI 表示已生成能从不同尺度和视角稳定欺骗神经网络分类器的图像。这一结果对上周提出的说法构成挑战，即自动驾驶汽车因从多个尺度、角度和视角采集图像而难以被恶意欺骗。
推荐理由：OpenAI 展示可跨尺度与视角稳定欺骗分类器的对抗样本，为评估多视角感知的鲁棒性提供了反例。