跳到正文

全部动态

今日 32 条
2月19日周一
  1. Hugging Face Blog61

    Hugging Face PEFT 新增多種 LoRA adapter 合并方法

    Hugging Face 在 PEFT 中为 LoRA adapter 新增多種合并方法,可通过 add_weighted_adapter() 调用,包括 cat、linear、svd、ties、dare_linear、dare_ties、magnitude_prune 及其 svd 变体。

    推荐理由:官方详细介绍 PEFT 新增的多种 LoRA 合并方法及代码示例,还给出不同场景下的实测选择建议,便于直接复用。

2月16日周五
  1. Hugging Face Blog70

    Hugging Face 教程:用开源 LLM 生成合成数据微调专用模型,节省成本、时间和碳排放

    Hugging Face 发布教程,展示用 Mixtral-8x7B-Instruct-v0.1 生成合成数据,再通过 AutoTrain 微调 RoBERTa-base 做金融新闻情绪分类。

    推荐理由:原文给出可复用的合成数据蒸馏流程和成本对比数字,读者可以照此把自己的分类任务从 LLM API 迁到专用小模型。

2月15日周四
  1. OpenAI News80

    OpenAI 发布视频生成模型 Sora,探索视频生成模型作为世界模拟器

    OpenAI 发布视频生成模型 Sora,在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型,并采用作用于时空 patch 的 Transformer 架构。Sora 可生成一分钟高保真视频,OpenAI 认为扩大视频生成模型规模是构建通用物理世界模拟器的可行路径。

    推荐理由:官方说明 Sora 的技术路线和可生成一分钟视频的能力,适合关注视频生成与世界模拟器方向的读者。

2月14日周三
2月13日周二
2月8日周四
2月3日周六
  1. Hugging Face Blog63

    Segmind 发布 SegMoE 框架,可用混合专家方式组合扩散模型

    SegMoE 框架正式发布,可将多个预训练扩散模型合并为混合专家模型,已集成 Hugging Face diffusers 并以 Apache 2.0 开源。发布 SegMoE-2x1、SegMoE-4x2 和 SegMoE-SD4x2 三个模型,用户只需编写 config.yaml 运行命令即可在几分钟内创建自己的 MoE 模型。

    推荐理由:官方介绍了 SegMoE 的 MoE 架构、三个已发布模型和自制方法,读者可以据此尝试组合预训练扩散模型。

2月2日周五
2月1日周四
  1. Hugging Face Blog64

    Hugging Face 发布开源模型 Constitutional AI 完整配方及 llm-swarm 工具

    Hugging Face 发布了用开源模型实现 Anthropic Constitutional AI 的端到端配方,并开源了基于 TGI 和 vLLM、在 Slurm 集群上做规模化合成数据生成的工具 llm-swarm。

    推荐理由:原文给出了开源模型跑通 Constitutional AI 的完整配方与实验数据,读者可以照着复现自己的对齐流程。

1月31日周三
1月30日周二
1月29日周一
1月26日周五
1月25日周四
1月24日周三
1月19日周五
1月18日周四
1月16日周二
1月15日周一
1月14日周日
1月12日周五
1月10日周三
  1. OpenAI News73

    OpenAI 推出 GPT Store

    OpenAI 宣布推出 GPT Store。原文正文抓取失败,仅标题可用,具体功能和细节未知。

    推荐理由:原文标题宣布 GPT Store 上线,但正文抓取失败,细节无从确认。

1月8日周一
1月4日周四
1月2日周二
  1. Hugging Face Blog68

    Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本指南

    Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练社区指南,将 Replicate SDXL Cog trainer 的 Pivotal Tuning 与 Kohya trainer 使用的 Prodigy 优化器等多项优化组合,脚本已在 diffusers 开源并提供 Colab 与 Spaces 入口。

    推荐理由:官方博客给出把 Pivotal Tuning 与 Prodigy 优化器组合进 SDXL Dreambooth LoRA 训练的完整做法与实验对比,参数可直接复用。

12月20日周三
12月18日周一
12月14日周四