跳到正文

全部动态

今日 32 条
7月3日周四
7月1日周二
6月30日周一
6月28日周六
6月26日周四
  1. Hugging Face Blog73

    Gemma 3n 正式登陆开源生态,发布 E2B 与 E4B 两档端侧多模态模型

    Google Gemma 3n 正式开源,发布 E2B 和 E4B 两个尺寸、各含 base 与 instruct 版本,支持图像、文本、音频和视频输入。E2B/E4B 实际参数为 5B/8B,但借助 MatFormer 架构与 Per-Layer Embeddings,仅需 2GB/3GB GPU 内存即可运行,E4B 还在 LMArena 上取得 1300+ 分数。

    推荐理由:原文给出模型的有效参数设计、显存需求和各开源库用法,端侧开发者可以据此选择部署方式。

6月24日周二
6月23日周一
6月19日周四
  1. Hugging Face Blog63

    Hugging Face 教你用 QLoRA 在消费级显卡上微调 FLUX.1-dev

    Hugging Face 发布教程,展示用 QLoRA 配合 diffusers 在单张 GPU 上以约 9GB 峰值显存微调 FLUX.1-dev 学习 Alphonse Mucha 画风,700 步在 RTX 4090 上约 41 分钟完成,标准 BF16 LoRA 则需 26GB。

    推荐理由:官方博客给出完整的 QLoRA 微调配方和实测显存与耗时数据,方法可直接迁移到消费级显卡上的 FLUX.1-dev 定制训练。

6月18日周三
  1. OpenAI News64

    OpenAI 研究不对齐泛化的理解与预防

    OpenAI 发布研究,探讨在错误回答上训练如何导致语言模型更广泛的不对齐。研究识别出驱动该行为的内部特征,并发现通过极少量微调即可将其逆转。

    推荐理由:OpenAI 官方研究探讨错误回答训练如何引发更广泛的模型不对齐,并指出该内部特征可用极少微调逆转,为对齐研究提供了新方向。

6月16日周一
6月12日周四
  1. Hugging Face Blog64

    Hugging Face Kernel Hub 五分钟入门教程

    Hugging Face 官方博客介绍 Kernel Hub,开发者可通过 kernels 库的 get_kernel 一行代码加载预编译的优化计算内核,自动匹配 Python、PyTorch 和 CUDA 版本。

    推荐理由:原文给出从加载到基准测试的完整可复现步骤,读者可据此评估把优化内核接入自己模型的实际收益。

6月11日周三
  1. Mistral AI53

    Mistral AI 发布 AI 基础设施服务 Mistral Compute

    Mistral AI 发布 Mistral Compute,向客户提供私有集成 AI 基础设施,涵盖 GPU、编排、API、产品和服务,形态从裸金属服务器到全托管 PaaS。作为 NVIDIA 合作伙伴,初期提供数万块 GPU 并计划快速扩张,面向欧洲、中东、亚洲及南半球的主权、企业和研究机构,强调数据主权、欧洲合规与脱碳能源,已有 Orange、BNP Paribas、Thales 等启动伙伴。

6月10日周二
6月9日周一
6月6日周五
  1. OpenAI News64

    OpenAI 抵制纽约时报提出的用户数据保留要求以保护隐私

    OpenAI 表示正在对抗一项应纽约时报及原告要求发出的法院命令,该命令要求无限期保留消费级 ChatGPT 和 API 用户数据。OpenAI 称将努力维护用户隐私、满足法律要求并遵守其数据保护承诺。

    推荐理由:原文说明 OpenAI 为何抵制纽约时报提出的数据保留要求,读者可以了解这一法院命令对用户隐私的影响。

6月5日周四
6月4日周三
  1. Hugging Face Blog57

    Hugging Face 在 nanoVLM 中从零实现 KV Caching

    Hugging Face 在 nanoVLM 仓库中从零实现 KV Caching,生成速度提升 38%。文章讲解自回归生成中重复计算 K/V 的冗余来源,展示通过逐层缓存字典、start_pos 位置对齐以及将 generate 循环拆分为 prefill 和 decode 两阶段来消除冗余计算,并指出这是速度与显存之间的权衡。

6月3日周二
6月1日周日