如何将顶点着色网格转换为 UV 贴图纹理网格
Hugging Face 发布教程,介绍如何把 InstantMesh 等生成式 3D 模型输出的顶点着色网格转换为 UV 贴图纹理网格。教程提供 InstantTexture 库,一条 pip 命令即可将顶点着色的 .obj 网格转换为带纹理的 .glb 文件,并详解用 xatlas 生成 UV 贴图、重心坐标插值填充纹理,再经修复、中值滤波、高斯模糊和降采样消除空洞的完整流程。
Hugging Face 发布教程,介绍如何把 InstantMesh 等生成式 3D 模型输出的顶点着色网格转换为 UV 贴图纹理网格。教程提供 InstantTexture 库,一条 pip 命令即可将顶点着色的 .obj 网格转换为带纹理的 .glb 文件,并详解用 xatlas 生成 UV 贴图、重心坐标插值填充纹理,再经修复、中值滤波、高斯模糊和降采样消除空洞的完整流程。
Hugging Face 展示如何借助 Diffusers 库中的 Quanto 量化工具降低 Transformer 扩散模型的内存占用。以 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 为例,将扩散主干与文本编码器量化为 FP8 后,SD3 推理显存从 16.403 GB 降至 8.204 GB,质量几乎无损但延迟略有上升。
OpenAI 提出改进的一致性模型训练技术。一致性模型是一类新兴生成模型,无需对抗训练即可一步采样出高质量数据。
OpenAI 提出 Consistency Models,可在不依赖迭代采样的情况下生成图像、音频和视频,从而解决扩散模型生成速度慢的问题。扩散模型虽推动了图像、音频和视频生成领域的发展,但其迭代采样过程导致生成缓慢。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已在 Hugging Face Hub 发布,可通过 Diffusers 调用。
推荐理由:原文给出 SD3 Medium 的架构变化、Diffusers 集成与显存优化实测数据,读者可据此判断本地部署门槛。
Artificial Analysis 发布文生图排行榜与 Image Arena,基于超 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Hugging Face 发布 AI 水印入门指南,介绍在内容生成时嵌入水印与生成后添加水印两种方式,并盘点 Hub 上的相关工具。文章还涉及 Glaze、Photoguard、Nightshade、Fawkes 等图像防护工具,以及 Truepic 基于 C2PA 标准的内容签名方案,并讨论开放与闭源水印的利弊。
SegMind 发布 SegMoE 框架,可从零创建混合专家(MoE)扩散模型,并已集成进 Hugging Face diffusers 生态。同时发布 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型(Apache 2.0 许可)以及配套 GitHub 仓库,用户通过 config.yaml 即可组合任意数量的模型,几分钟内完成构建。
推荐理由:原文给出从零构建扩散模型 MoE 的完整流程与显存代价,读者可据此判断本地部署门槛。
Hugging Face 发布经 Olive 优化的 SD Turbo 和 SDXL Turbo 模型,在 NVIDIA GPU 上通过 ONNX Runtime 的 CUDA 与 TensorRT 执行提供程序加速推理,吞吐量最高较 PyTorch 提升 229%(SDXL Turbo)和 120%(SD Turbo)。
Hugging Face 发布教程,介绍如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由:完整给出从 ComfyUI 工作流导出 Python、封装 Gradio 到 ZeroGPU 免费部署的可复用步骤,适合想低成本分享工作流的读者。
Hugging Face 发布 aMUSEd,这是对 Google MUSE 的开源复现,采用 Masked Image Model(MIM)方法而非常见的潜在扩散路线,以研究预览版和宽松许可证发布。
Hugging Face 发布新的 diffusers SDXL Dreambooth LoRA 训练脚本,把 Pivotal Tuning 与 Prodigy 优化器结合,并整合文本编码器独立学习率、自定义 caption、Min-SNR gamma、repeats 等社区实践。
推荐理由:汇总 SDXL Dreambooth LoRA 微调的社区最佳实践,并给出可直接运行的 diffusers 训练脚本与参数配置。
Hugging Face 发布 Latent Consistency LoRA(LCM LoRA),通过训练少量 LoRA 适配层而非蒸馏整个模型,让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步完成出图。
推荐理由:LCM LoRA 把 SDXL 推理从 25 步压到 4 步,并给出各硬件实测速度,可据此判断生成工作流的改动空间。
OpenAI 在 DevDay 上发布 GPT-4 Turbo,支持 128K 上下文并下调价格,同时推出 GPT-4 Turbo with Vision。开发者产品方面新增 Assistants API,并开放 DALL·E 3 API。
推荐理由:OpenAI 在 DevDay 一次性公布模型与开发者产品更新,可据此了解其模型能力与 API 布局的变化。
Hugging Face 在 A100(40GB)上测试了 SDXL 的多种推理优化,未优化管线需 28GB 显存、72.2 秒,改用 fp16 后降至 21.7GB 和 14.8 秒。
推荐理由:原文给出 SDXL 在 A100 上的逐项优化实测数据,读者可据此按显存与延迟取舍推理配置。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。为准备更广泛发布,OpenAI 开发了一套安全缓解措施,并同步分享了其来源溯源研究的最新进展。
推荐理由:DALL·E 3 面向 ChatGPT Plus 和 Enterprise 开放,读者可了解其安全缓解措施与来源溯源研究。
OpenAI 发布 DALL·E 3 系统卡,用于说明该图像生成模型在安全与对齐方面的评估情况。
Hugging Face Diffusers 现已支持在 Cloud TPU 上通过 JAX 运行 SDXL 推理。该方案基于 JAX jit 编译与 XLA pmap 并行,在多个 TPU v5e-4 实例上约 4 秒可生成四张 1024×1024 图像,纯生成时间约 2.3 秒。TPU v5e 成本不到 TPU v4 的一半,实例提供 1、4、8 至 256 芯片多种规格。
Hugging Face 发布教程,演示如何 fork 并配置 AI Comic Factory,通过 Inference API 部署到自己的私有 Space,以避免长时间排队。
Hugging Face 在 trl 库中集成 DDPOTrainer,可用 DDPO(Denoising Diffusion Policy Optimization)对 Stable Diffusion 做强化学习微调。
Hugging Face 发布 Würstchen 扩散模型,其文本条件部分在高度压缩的潜空间中工作,实现 42x 空间压缩,推理比 Stable Diffusion XL 更快且占用显存更少。
推荐理由:原文给出 42x 空间压缩与训练算力对比,读者可据此判断文生图模型的成本与显存门槛变化。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作,在 diffusers 中为 Stable Diffusion XL 加入 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 五种条件的预训练 checkpoint。
推荐理由:Diffusers 团队与 T2I-Adapter 作者合作把 SDXL 可控生成接入 diffusers,并给出与 ControlNet 的参数量对比。
Hugging Face 发布博客演示如何用开源模型服务框架 BentoML 部署 DeepFloyd IF 文生图模型。DeepFloyd IF 直接在像素空间工作,由冻结文本编码器和三个级联像素扩散模块组成,Stage 1 生成 64x64 px 基础图像,经 Stage 2、Stage 3 逐步放大至 1024x1024 px,并集成 T5-XXL-1.1 编码提示词。
Segmind 开源了压缩扩散模型 SD-Small 和 SD-Tiny 的权重与蒸馏训练代码,两者参数量分别比基础模型少 35% 和 55%,图像保真度接近基础模型。
推荐理由:Segmind 开源了 SD-Small 与 SD-Tiny 的蒸馏代码和权重,读者可据此了解压缩扩散模型的训练方法与推理加速幅度。
一份分步教程演示如何用 OpenAI 开源扩散模型 Shap-E 从文本生成 3D 模型,再经 Blender 的 Decimate 修改器减面、用 Dream Textures 插件生成无缝贴图并完成 UV 展开,最终导出 FBX 导入 Unity。流程选择 PS1 低多边形风格,以规避当前 text-to-3D 模型保真度不足的问题。
Hugging Face 与 Apple 合作把 Stable Diffusion XL 移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上本地运行。
推荐理由:原文给出混合位宽调色板量化的完整方法与脚本,读者可据此把 SD XL 压缩到 4.5 bit 并自行复现。
Hugging Face 公布首届开源 AI Game Jam 结果,活动吸引超 1300 人报名、收到 88 款游戏,冠军由 ohmlet 的 Snip It 获得,该游戏用 Stable Diffusion 生成素材。
Hugging Face 的 Diffusers 库迎来一周年,已从文生图扩展为覆盖视频、3D 与图像编辑的模块化扩散模型工具箱。
Hugging Face 展示了在 Intel 第四代 Xeon(Sapphire Rapids)CPU 集群上微调 Stable Diffusion 的完整流程,利用 AMX 加速器与 Intel Extension for PyTorch,仅需 5 张示例图片即可通过 textual inversion 完成训练。
Hugging Face 发布 Ethics and Society Newsletter 第 4 期,聚焦文本到图像模型的偏见问题,指出训练数据、预训练数据过滤、推理、模型潜在空间及事后过滤等环节均可能引入偏见。
Hugging Face 介绍如何借助 Core ML 的新优化在 iPhone、iPad 和 Mac 上更快运行 Stable Diffusion。Core ML 新增 6-bit palettization 量化,将权重从 16-bit 浮点压缩到每参数 6 bit,并在推理时逐层解压,从而减少存储和内存占用。
推荐理由:文章给出 6-bit palettization 的量化原理与转换命令,读者可据此在 Apple 设备上自行压缩并运行 Stable Diffusion。
Hugging Face 宣布举办首届 Open Source AI Game Jam,活动时间为 7 月 7 日至 9 日,参与者需在周末内用 AI 工具做出一款游戏。
Hugging Face 借助 OpenVINO 的 NNCF 与 Optimum,通过量化感知训练(QAT)结合 Token Merging 优化 Stable Diffusion 的 UNet,在 Intel CPU 上实现 5.1 倍推理加速和 4 倍模型体积缩减。优化从 Pokemons 数据集微调模型出发,仅需 4096 次迭代,单张 24 GB 显存 GPU 不到一天即可完成。
Hugging Face 博客探索用指令微调让 Stable Diffusion 按指令处理输入图像,方法基于 InstructPix2Pix 的训练策略并借鉴 FLAN V2 的指令模板思路。
Hugging Face 发布博客梳理文本到视频模型的发展脉络,指出该任务比文本到图像更难,需保证帧间时空一致性。文章回顾了从早期 GAN、VAE 到 Phenaki、Make-A-Video、NUWA、VideoGPT、CogVideo 等 Transformer 方案,再到当前以扩散模型为主的第三波浪潮,并分析了算力成本高、高质量数据集稀缺、视频描述模糊等核心挑战。
Hugging Face 博客介绍如何在免费版 Google Colab(13GB CPU 内存、15GB T4 显存)上用 diffusers 运行 DeepFloyd 的 IF 文生图模型。
推荐理由:原文给出在免费 Colab 上分阶段加载 IF 各组件并做 8bit 量化的完整步骤,可迁移到其他大模型的低显存部署。
Hugging Face 展示了在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 推理的多种技术,借助 Optimum Intel 与 OpenVINO。
Hugging Face 发布教程,介绍用 diffusers 训练 ControlNet 的三个步骤:规划条件、构建数据集、训练模型,并以人脸姿态为例训练出 Uncanny Faces 模型。
推荐理由:Hugging Face 官方给出从条件设计、数据集构建到 diffusers 训练脚本的完整 ControlNet 训练流程,含显存优化参数。
Hugging Face 在 Diffusers 中集成 ControlNet,推出 StableDiffusionControlNetPipeline,可用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 的生成结果。
推荐理由:Diffusers 集成 ControlNet 并给出可运行代码,读者可据此判断空间条件控制生成的实际用法与显存开销。
Hugging Face 为 Diffusers 库发布伦理框架,用于指导维护者处理社区贡献时的技术决策,并承诺随时间调整准则。该框架提出透明、一致、简洁、可及、可复现、责任六项价值观,同时列出社区标签、Not For All Eyes 标签、偏见探索 Space、Safe Stable Diffusion、Hub 分阶段发布及 OpenRAILs 许可等安全机制。