Ideogram 发布 Ideogram 4.5 图像模型,主打局部编辑不影响画面其余部分
Ideogram 发布新模型 Ideogram 4.5,声称编辑图像局部时不会破坏其余部分,只改动用户指定的区域。模型提供四档质量,价格从每张 0.8 到 22 美分,均为原生 2K 分辨率,现已上线 Ideogram 平台和 API,合作方包括 Picsart、Runway、Pika 和 Leonardo AI,开源权重版本也将推出。
Ideogram 发布新模型 Ideogram 4.5,声称编辑图像局部时不会破坏其余部分,只改动用户指定的区域。模型提供四档质量,价格从每张 0.8 到 22 美分,均为原生 2K 分辨率,现已上线 Ideogram 平台和 API,合作方包括 Picsart、Runway、Pika 和 Leonardo AI,开源权重版本也将推出。
Google Research 提出 Diffusion Controller 框架,将去噪生成过程重构为连续控制问题,用轻量级“转向阻尼”网络在冻结基础模型的情况下引导生成方向。
这篇教程演示在 Amazon SageMaker AI 上用同一个 AWS vLLM-Omni DLC 部署两个端点:实时端点运行 FLUX.2-klein-4B 生成图像,异步端点运行 Wan2.1-VACE-1.3B 将图像生成为视频,MP4 结果存入 Amazon S3。
Hugging Face 发布 Workflow1111,用 gr.Workflow 在单个画布上重建了 AUTOMATIC1111 的大部分功能,包含 11 条媒体管线和 73 个节点。
推荐理由:用 73 个节点在单一画布上复刻 AUTOMATIC1111 主要功能,并展示每个输出可直接变成 REST 端点和 MCP 工具的做法。
Hugging Face 工程师用 TRL 和 OpenEnv 开源复现了 Surya Narreddi 的项目:训练语言模型写 JavaScript(通过 p5.brush)绘制水彩画。
Hugging Face 宣布 Diffusers 原生支持 Nunchaku 的 SVDQuant 4-bit 推理,通过 Nunchaku Lite 集成路径直接用 from_pretrained() 加载量化 checkpoint,无需独立推理引擎或本地 CUDA 编译。
推荐理由:Diffusers 原生集成 Nunchaku,W4A4 量化在降显存的同时也降低推理延迟,是可复现的部署方案变化。
Google Research 在 ICLR 2026 发表的论文《On the Interpolation Effect of Score Smoothing in Diffusion Models》指出,扩散模型的“创造力”源于神经网络训练对 score function 的平滑效应。
Photoroom 发布 PRX 系列第四篇博客,详解其 7B 文生图模型的预训练数据策略,包括用 Lance 建库、Mosaic Streaming(MDS)供流、分辨率与长宽比分桶等核心环节。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)和 Gemini Omni Flash(gemini-omni-flash-preview)。
推荐理由:官方同时给出两款模型的定价、延迟数字和已知限制,开发者可以直接据此评估是否替换现有图像与视频工作流。
Google 宣布将一种新的照片视角重构方法作为 Google Photos Auto frame 功能上线,用 ML 模型估计 3D 点图和相机参数,再由生成式扩散模型补全新视角下未拍摄到的区域。方法分 3D 场景与相机估计、生成式修补两阶段,可自动矫正广角前摄的透视畸变,对含人物的合格照片提供一键重构视角的备选结果。
推荐理由:原文解释了将照片当作 3D 场景重建并重定位虚拟相机的两阶段方法,读者可以了解生成式修图与经典裁剪的区别。
Hugging Face 发布 Modular Diffusers,将扩散流水线拆成文本编码、去噪、解码等可独立运行、自由增删互换的可复用块,作为现有 DiffusionPipeline 的灵活补充。
推荐理由:原文展示了用可组合积木搭建扩散流水线的完整用法,包括自定义块、模块化仓库和 Mellon 可视化集成,方法可直接复用。
Photoroom 以约 $1500 算力预算(32 张 H200,$2/小时/GPU)在 24 小时内完成文生图扩散模型训练,并开源 PRX 训练代码与实验框架。
Google DeepMind 发布 Nano Banana 2(Gemini 3.1 Flash Image),以 Flash 速度提供 Pro 级世界知识、精准文本渲染、最多 5 个角色的主体一致性和 512px 到 4K 的生产级规格。
推荐理由:官方公告列出了能力细节、订阅者保留路径和各产品开放范围,读者可据此判断是否切换工作流。
Photorium 发布 PRX 文生图训练系列第二篇,在统一的 Flow Matching 基线上系统消融各类训练技巧。
Google 回顾 2025 年在 Google、Google DeepMind 和 Google Research 取得的研究进展:3 月发布 Gemini 2.5。
OpenAI 宣布推出更快的 ChatGPT Images 体验,并在 API 中发布 GPT-Image-1.5。用户可在 ChatGPT 中体验最新的 ChatGPT Images 2.5。
推荐理由:官方公告点明 ChatGPT Images 更快的新体验和 GPT-Image-1.5 进入 API,读者可据此了解这轮图像功能更新的范围。
Hugging Face 官方博客宣布 Diffusers 支持 FLUX.2,提供 Flux2Pipeline 和 Flux2Transformer2DModel 的完整加载与推理示例。
推荐理由:官方博客给出 FLUX.2 在 Diffusers 中的完整推理代码和量化加载方式,读者可以直接照搬运行文生图流程。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 的高保真图像生成与编辑模型,已开始在 Google AI Studio 和 Vertex AI 面向付费预览推出。
推荐理由:官方发布文给出了模型能力细节、2K/4K 分辨率、接入渠道和定价定位,开发者可据此评估是否切换或叠加使用。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 的新一代图像生成与编辑模型。
推荐理由:官方发布新图像模型,列出文本渲染、多语言、4K 分辨率等具体能力变化和各产品入口,读者可以对照评估使用方式。
Hugging Face 发文介绍如何在 ZeroGPU Spaces 中用 PyTorch ahead-of-time 编译优化生成式 demo,指出 torch.compile 与 ZeroGPU 短生命周期进程不兼容,需先导出再用 spaces.aoti_* API 编译加载。
推荐理由:原文给出 ZeroGPU 上 AoT 编译的完整步骤和 FP8、动态形状等进阶技巧,读者可以直接迁移到自己的 Spaces demo。
Hugging Face 发布教程,介绍如何把 Claude 连接到 Hugging Face MCP Server,用 Spaces 上的图像生成模型出图。2025 年 10 月更新后需通过 Add custom connector 设置 Remote MCP server URL 为 https://huggingface.co/mcp?
Arm 发布面向图形与游戏开发的 AI 超分辨率方案 Neural Super Sampling(NSS),可在移动 GPU 的 Neural Accelerator 上实时运行。
Mistral 展示如何通过 LoRA 微调 Pixtral-12B 提升其在卫星图像分类任务上的表现,实验基于 Aerial Image Dataset(AID),采用 8,000 训练样本和 2,000 测试样本的划分。
Hugging Face 发布教程,介绍结合 Flash Attention 3、torch.compile 和 FP8 量化的 Flux.1-Dev LoRA 推理优化配方,在 H100 上相对基线取得 2.23x 加速,并支持 LoRA 热切换而不触发重编译。
推荐理由:原文给出可直接复用的 LoRA 推理优化配方和 H100、RTX 4090 两套实测延迟数据,并说明热切换避免重编译的限制。
Hugging Face 发布教程,展示用 QLoRA 配合 diffusers 在单张 GPU 上以约 9GB 峰值显存微调 FLUX.1-dev 学习 Alphonse Mucha 画风,700 步在 RTX 4090 上约 41 分钟完成,标准 BF16 LoRA 则需 26GB。
推荐理由:官方博客给出完整的 QLoRA 微调配方和实测显存与耗时数据,方法可直接迁移到消费级显卡上的 FLUX.1-dev 定制训练。
Hugging Face 发布 Diffusers 量化后端解读文章,以 black-forest-labs/FLUX.1-dev 为例实测 bitsandbytes、torchao、Quanto、GGUF 和 FP8 Layerwise Casting 五种方案。
推荐理由:文章系统对比了 Diffusers 各量化后端在 Flux-dev 上的内存、速度与画质差异,并给出选型建议和可复现代码。
OpenAI 宣布最新图像生成模型通过 API 中的 gpt-image-1 提供,面向开发者和企业开放。开发者可将专业级、可定制的视觉生成能力直接集成到自己的工具和平台中。
推荐理由:官方宣布 gpt-image-1 进入 API,开发者可以把专业级、可定制的图像生成直接接入自己的工具和平台。
OpenAI 在 GPT-4o 中推出原生图像生成功能,提升了文字渲染和指令遵循能力,并推出 ChatGPT Images 2.5。
推荐理由:官方宣布 GPT-4o 原生支持图像生成,强调文字渲染和指令遵循能力提升,适合关注多模态生成的读者。
OpenAI 发表 GPT-4o 系统卡附录,介绍 4o 图像生成,称其比此前 DALL·E 3 系列能力显著更强。它能生成照片级真实输出,并支持以图像作为输入进行转换。
推荐理由:原文明确了 4o 图像生成相比 DALL·E 3 的能力跃升,读者可以据此判断它在生成与图像转换上的新定位。
Diffusers 团队推出实验性 Remote VAE 功能,通过 huggingface-inference-toolkit 自定义 handler 将 VAE 解码委托给远程端点,以缓解高分辨率图像和视频生成时消费级 GPU 显存不足、offload 延迟和 tiling 画质损失问题。
OpenAI 分享用 ChatGPT 寻找美甲设计灵感的方法:用户可以生成美甲图案创意,作为美甲参考。
Hugging Face 推出《AI 艺术工具》通讯第一期,回顾 2024 年 AI 艺术领域的关键进展。
Hugging Face Diffusers 团队发文综述当前开源视频生成模型现状,覆盖 CogVideoX、Mochi-1、HunyuanVideo、LTX Video 等模型及其高资源需求、泛化与延迟等局限。
推荐理由:Diffusers 团队原文梳理了开源视频生成模型现状,并给出实测内存数据和一套可复用的推理与微调优化方法。
Hugging Face 官方博客宣布 transformers 集成 TimmWrapper,让任意 timm 视觉模型可直接使用 pipeline、Auto Classes、Trainer API 和 LoRA 微调。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本生成图像偏好数据集 open-image-preferences-v1,包含 10K 偏好对、超 30K 标注响应,由 250 多名社区成员在不到两周内完成。
OpenAI 发布论文,对连续时间一致性模型做了简化、稳定化和规模化,仅用两个采样步骤即可达到与领先扩散模型相当的样本质量。
Stable Diffusion 3.5 Large 发布,提供 8B 基础版和 8B timestep-distilled 版两个 checkpoint,模型已在 Hugging Face Hub 开放并可在 🧨 Diffusers 中使用。
推荐理由:原文给出 Diffusers 中推理、量化加载和低显存训练 LoRA 的具体做法,读者可以直接照着在消费级硬件上使用 8B 模型。
Hugging Face 发布教程,介绍如何用 Quanto 对 Diffusers 中的 Transformer 扩散管线(PixArt-Sigma、Stable Diffusion 3、Aura Flow)做 FP8/INT8/INT4 量化以降低显存占用。
OpenAI 介绍了一致性模型训练的改进技术。一致性模型是一类新兴生成模型,无需对抗训练即可一步生成高质量数据样本。
Consistency Models 是 OpenAI 发布的一项生成模型研究,针对扩散模型的问题提出改进。扩散模型虽显著推进了图像、音频和视频生成,但其依赖的迭代采样过程导致生成速度慢。