跳到正文

图像生成

AI 画图的最前线:文生图模型迭代、图像编辑能力与创作工具生态的全部动态。

43条精选相关主题AI 视频多模态产品更新

最新精选

第 21–40 条 · 共 43 条
1月14日周日
1月2日周二
  1. Hugging Face Blog68

    Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本指南

    Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练社区指南,将 Replicate SDXL Cog trainer 的 Pivotal Tuning 与 Kohya trainer 使用的 Prodigy 优化器等多项优化组合,脚本已在 diffusers 开源并提供 Colab 与 Spaces 入口。

    推荐理由:官方博客给出把 Pivotal Tuning 与 Prodigy 优化器组合进 SDXL Dreambooth LoRA 训练的完整做法与实验对比,参数可直接复用。

11月9日周四
10月24日周二
10月19日周四
9月13日周三
  1. Hugging Face Blog65

    Hugging Face 发布 Würstchen 快速文生图扩散模型

    Hugging Face 发布 Würstchen,一种在高度压缩潜空间中工作的文生图扩散模型,实现 42x 空间压缩。生成速度明显快于 SDXL 且内存占用更低;Würstchen v2 训练用 24,602 GPU 小时,支持最高 1536 分辨率,已集成进 Diffusers,模型权重和 Demo 已在 Hub 上线。

    推荐理由:42x 空间压缩带来的训练与推理成本对比有具体数字,适合想低成本跑文生图的读者参考。

9月8日周五
  1. Hugging Face Blog61

    T2I-Adapter-SDXL 适配器发布并登陆 diffusers

    Hugging Face Diffusers 团队与 T2I-Adapter 作者合作,为 Stable Diffusion XL 推出 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 五种条件的 checkpoints。

    推荐理由:原文给出 T2I-Adapter-SDXL 与 ControlNet 的参数量对比、训练配置和完整用法代码,读者可以据此评估并直接上手使用。

8月30日周三
  1. Hugging Face Blog67

    如何用 Diffusers 优化 AudioLDM 2 推理速度至 10 倍以上

    Hugging Face 官方教程讲解如何在 🧨 Diffusers 中运行 AudioLDM 2 文生音频管线,并通过 Flash Attention、float16 半精度、torch.compile 编译 UNet、切换 DPMSolverMultistepScheduler 将 10 秒音频的生成时间从约 14 秒降到 1 秒以内,且音质几乎不降。

    推荐理由:官方教程给出四种可复用的推理优化方法,把 10 秒音频的生成时间从约 14 秒压到 1 秒以内,可直接迁移到自己的管线。

7月27日周四
  1. Hugging Face Blog74

    Apple 与 Hugging Face 发布 Stable Diffusion XL 的 Core ML 版本及混合位宽量化方案

    Apple 与 Hugging Face 将 Stable Diffusion XL 移植到 Core ML,发布完整 pipeline 和 mixed-bit palettization 量化版本,UNet 以平均 4.5 位压缩后体积从 4.8GB 降至 1.4GB(减少 71%)。

    推荐理由:原文给出 Stable Diffusion XL 在 Mac 上的 Core ML 移植细节、压缩到 4.5 位后体积从 4.8GB 降到 1.4GB 的数据,以及可复用的混合位宽量化方法。

6月15日周四
  1. Hugging Face Blog66

    Hugging Face 讲解如何在 iPhone、iPad 和 Mac 上用 Core ML 加速 Stable Diffusion

    Apple 在 WWDC'23 中更新 Core ML 与 coremltools 的压缩优化能力,配合开源仓库 ml-stable-diffusion,支持将 Stable Diffusion 量化为 8/6/4/2-bit palettization,推荐 6-bit 以在精度损失很小的前提下加快推理并节省内存。

    推荐理由:作者亲测 6-bit palettization 带来的生成速度提升,并给出完整转换命令和 Hub 模型,读者可按步骤迁移到自己微调的模型。

5月8日周一
  1. Hugging Face Blog61

    Hugging Face 深入解析文本生成视频模型的现状与实践

    Hugging Face 发布博客,梳理文本生成视频模型从 GAN、Transformer 到扩散模型的演进脉络,并对比文本生成图像任务解释其在计算成本、数据集和视频描述上的挑战。

    推荐理由:系统梳理了文本生成视频模型的技术演进、数据集挑战与代表工作,并给出 Diffusers 上的可复用代码与演示入口。

4月26日周三
  1. Hugging Face Blog65

    如何在免费版 Google Colab 上用 🧨 diffusers 运行 DeepFloyd IF 文生图模型

    Hugging Face 官方博客演示用 🧨 diffusers 在免费版 Google Colab(13GB CPU 内存、T4 15GB 显存)上运行 DeepFloyd 的开源文生图模型 IF,并支持图像变化和局部重绘。

    推荐理由:官方博客给出在 13GB 内存免费 Colab 上跑通 40GB 参数 IF 的完整低显存方案,含可复用的代码和量化技巧。

3月24日周五
3月3日周五
  1. Hugging Face Blog76

    Hugging Face Diffusers 上手 ControlNet:用边缘图和姿态图控制 Stable Diffusion 生成

    Hugging Face 发布教程,介绍如何在 Diffusers 中通过 StableDiffusionControlNetPipeline 使用 ControlNet,支持 canny 边缘、OpenPose 姿态等 8 种空间条件控制 Stable Diffusion 生成,并可组合多个条件或与 DreamBooth 微调结合。

    推荐理由:原文给出 ControlNet 在 Diffusers 中的完整用法和加速省显存配置,读者可以照搬代码在 Colab 上复现同样的生成效果。

12月21日周三
12月1日周四
  1. Hugging Face Blog73

    Hugging Face 发布 Stable Diffusion 的 Core ML 转换权重及 Apple Silicon 使用教程

    Hugging Face 联合 Apple 将 Stable Diffusion 权重转换为 Core ML 格式并上传 Hub,支持 v1.4、v1.5、v2 base 和 v2.1 base,可在 Apple Silicon 的 CPU、GPU 和 Neural Engine 上运行。

    推荐理由:原文给出在 Apple Silicon 上用 Core ML 跑 Stable Diffusion 的转换与推理方法,包括 Python 和 Swift 两条路径及性能变体选择,可迁移到自己的工作流。

11月7日周一
  1. Hugging Face Blog73

    Hugging Face 分享用 Diffusers 训练 Stable Diffusion Dreambooth 的实验结论与推荐设置

    Hugging Face 基于大量实验讲解如何用 🧨 Diffusers 的 train_dreambooth.py 微调 Stable Diffusion,并给出推荐设置:低学习率配合逐步增加步数,人脸训练约需 800-1200 步(batch size 2、LR 1e-6),训练人脸时应使用 prior preservation 防止过拟合。

    推荐理由:Hugging Face 用多组实验给出 Dreambooth 微调 Stable Diffusion 的学习率、步数、先验保留等关键超参建议,可直接照做。

11月3日周四
9月12日周一
  1. Hugging Face Blog78

    Hugging Face diffusers 0.3 发布,新增图生图、Textual Inversion 等多项功能

    Hugging Face 发布 diffusers 0.3,为 Stable Diffusion 新增图像到图像生成、Textual Inversion(3-5 张样本即可训练并分享概念,社区已贡献超 200 个概念)和实验性 inpainting 管线。

    推荐理由:官方梳理 diffusers 0.3 的图生图、Textual Inversion、低显存优化等新能力,读者可以据此判断扩散模型工具链的可用性变化。

8月31日周三
  1. OpenAI News72

    DALL·E 推出 outpainting 图像外扩功能

    OpenAI 为 DALL·E 推出 outpainting 功能,可在原始图像之外继续生成内容,支持任意尺寸的图像扩展,帮助用户延展画面、讲述更完整的故事。

    推荐理由:原文说明 DALL·E 的 outpainting 可让图像扩展到任意尺寸,读者可以据此判断它在图像创作流程中的用途。