跳到正文

全部动态

今日 33 条
4月2日周二
4月1日周一
3月29日周五
3月28日周四
3月25日周一
  1. OpenAI News17

    OpenAI 早期试用印象:Sora first impressions

    自 Sora 上月亮相以来,OpenAI 一直与艺术家合作,探索 Sora 如何辅助他们的创作过程。 (注:正文仅一句话,摘要按原文事实压缩,未添加任何细节。标题中"OpenAI"为来源明确给出的主体,"初体验/印象"保留原标题的 impressions 类型,不改为"发布"。)

3月22日周五
  1. Hugging Face Blog68

    Hugging Face 介绍二值与标量 Embedding 量化,显著加速检索并降低成本

    Hugging Face 博客介绍 embedding 量化方法,展示二值量化可将内存与磁盘占用降至 1/32、检索最快提速 45x,配合 rescoring 可保留约 96% 的检索性能;int8 标量量化占用为 1/4、平均提速 3.66x。

    推荐理由:原文给出 embedding 量化的原理、代码与实测数据,读者可以照此在检索场景中权衡内存、速度与精度。

3月21日周四
3月20日周三
  1. Hugging Face Blog64

    Hugging Face 介绍 GaLore:在消费级 GPU 上训练大语言模型的内存优化方法

    Hugging Face 官方博客介绍 GaLore 如何利用梯度低秩结构降低训练内存,支持在 RTX 4090 等消费级 GPU 上预训练 Llama 架构 7B 模型。优化器状态内存可减少超过 82.5%,可与 8-bit 优化器结合,并支持通过 transformers>=4.39.0 和 galore-torch 使用 galore_adamw 等优化器及 _layerwise 逐层更新。

    推荐理由:原文给出GaLore在消费级硬件上预训练7B模型的方法细节和Transformers接入方式,可迁移到实际训练工作流。

  2. Hugging Face Blog60

    Hugging Face 发布 Cosmopedia:详解如何为预训练大语言模型生成大规模合成数据

    Hugging Face 发布 Cosmopedia,一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集,含超 3000 万文件、250 亿 token,旨在复现 Phi-1.5 的训练数据。

    推荐理由:官方详解大规模预训练合成数据的构建流程,提示词策划、聚类与去污染方法均可迁移到类似的数据生成项目。

3月18日周一
  1. Hugging Face Blog61

    Hugging Face 发布 Quanto:面向 Optimum 的 PyTorch 量化后端

    Hugging Face 推出 quanto,一个面向 Optimum 的 PyTorch 量化后端,支持 int2/int4/int8 和 float8 权重、int8 和 float8 激活,可在 CUDA、MPS 等任意设备上运行。

    推荐理由:原文给出 Quanto 的量化能力边界、完整工作流和 transformers 集成方式,读者可直接照此把 float 模型转到低精度部署。

3月15日周五
3月13日周三
3月8日周五
3月6日周三
3月5日周二
3月4日周一
2月29日周四
2月28日周三
2月27日周二
2月26日周一
  1. Mistral AI75

    Mistral 发布旗舰模型 Mistral Large 与低延迟 Mistral Small

    Mistral 发布旗舰语言模型 Mistral Large,称其在常用基准上仅次于 GPT-4,可通过 la Plateforme 和 Azure 使用,支持 32K tokens 上下文、英法德西意多语言、function calling 和 JSON 输出。同时发布优化延迟与成本的 Mistral Small,性能超过 Mixtral 8x7B,并简化了端点产品线、新增多币种定价。

    推荐理由:官方给出了 Mistral Large 的基准对比、多语言与 function calling 能力,读者可据此评估它在 API 可用模型中的位置。

  2. Mistral AI62

    Mistral AI 发布对话助手 Le Chat

    Mistral AI 发布对话助手 Le Chat,作为与 Mistral 各模型交互的产品入口,底层可用 Mistral Large、Mistral Small 或原型模型 Mistral Next。

    推荐理由:官方宣布对话助手并说明可用的底层模型与企业版方向,读者可借此了解 Mistral 模型的实际产品入口。

  3. Hugging Face Blog56

    Hugging Face 讲解 AI 水印技术:工具与方法入门

    Hugging Face 发布 AI 水印入门博客,讲解图像、文本和音频内容的加水印方法及优缺点。文中介绍生成时嵌入与生成后添加两大类方法、Nightshade 与 Glaze 等图像防滥用工具、基于红绿 token 的 LLM 文本水印,以及 AudioSeal 语音水印,并列出 Hub 上 IMATAG、Truepic 等相关工具,同时指出文本检测在文本较短或模型未知时可靠性有限。

2月23日周五
  1. Hugging Face Blog65

    Hugging Face 发布 Gemma 模型 LoRA/QLoRA 微调教程

    Hugging Face 发布 Gemma 模型微调教程,演示用 Transformers、PEFT 与 trl 的 SFTTrainer,通过 LoRA 和 4-bit QLoRA(bitsandbytes、nf4 量化)在 google/gemma-2b 上以 english_quotes 数据集训练模型按指定格式输出名言和作者。

    推荐理由:Hugging Face 官方用 LoRA 和 4-bit QLoRA 给出 Gemma 微调的完整可复现代码,覆盖 GPU 和 TPU 两种路径。

2月21日周三