模型推理能力的进展：思维链、推理模型、数学与逻辑基准的突破与争议。
Hugging Face 发布长文系统讲解 MoE（专家混合）架构，以 Mixtral 8x7B 的走红为背景，覆盖稀疏层、路由、负载均衡、Switch Transformers 等核心内容。文章指出 MoE 相同参数量下推理更快、预训练更省算力，但需加载全部参数（Mixtral 8x7B 需按 47B 稠密模型准备显存），且微调更易过拟合，指令微调等新方向有望缓解这一短板。
推荐理由：这篇解读把 MoE 的结构、路由、负载均衡和微调取舍讲成一条完整脉络，读完能自己判断何时该选稀疏 MoE 而非稠密模型。
Mistral AI 发布 7.3B 参数开源模型 Mistral 7B，采用 Apache 2.0 许可证，在所有基准上超越 Llama 2 13B，并在多数基准上优于 Llama 1 34B。
推荐理由：官方给出与 Llama 2 全面对比的评测数据和架构改进细节，读者可据此评估 7B 级开源模型的性价比与部署选择。
TII 发布 Falcon 180B，为当时最大的开放语言模型，拥有 1800 亿参数，使用 RefinedWeb 数据集在 3.5 万亿 token 上完成预训练。
推荐理由：原文给出了参数量、训练规模、评测对比和完整部署硬件门槛，读者可以据此评估是否在自己的场景中采用这个开源模型。
OpenAI 训练模型在数学问题求解上取得新的 SOTA，方法是对每一步正确推理给予奖励（process supervision），而非只奖励最终正确答案（outcome supervision）。除性能优于结果监督外，过程监督还有对齐上的好处，直接训练模型产出人类认可的思维链。
推荐理由：原文说明了过程监督相对结果监督的性能与对齐优势，帮助读者理解链式推理训练的一个方向。
Hugging Face 在 Transformers 中推出 Assisted Generation 解码方法，用小模型生成候选 token、大模型前向传播验证，降低自回归文本生成延迟。
推荐理由：原文解释了文本生成延迟来自内存带宽而非计算，并给出 Assisted Generation 的原理、代码和延迟数据，方法可直接复现。
Hugging Face 发布 StackLLaMA 模型及完整 RLHF 训练教程，演示如何将 LLaMA 7B 微调用于回答 Stack Exchange 问答。
推荐理由：Hugging Face 官方复盘 StackLLaMA 全流程训练细节，包括显存估算、LoRA 配置和 RLHF 训练中的稳定性坑，方法可直接迁移复用。
OpenAI 发布 GPT-4，称其为扩大深度学习规模的最新里程碑。GPT-4 是一个大型多模态模型，接受图像和文本输入、输出文本；虽然许多真实场景下仍不及人类，但在多项专业和学术基准上表现出人类水平性能。
推荐理由：官方原文明确 GPT-4 接受图像和文本输入，并在多项专业与学术基准上达到人类水平表现，可据此了解其能力定位。
Hugging Face 发布博客，系统梳理让对话智能体有用的关键技术 RLHF、IFT、SFT、CoT 与红队测试，并对比 LaMDA、BlenderBot 3、Sparrow、InstructGPT 与 Anthropic Assistant 的训练数据、模型规模与评估标准。文章指出指令微调所需数据远小于预训练，CoT 微调能提升逐步推理任务表现并减少对敏感话题的回避。
推荐理由：文章系统梳理了 RLHF、IFT、SFT、CoT 等技术如何让对话智能体有用，并对比主流模型差异。
Hugging Face 联合 Intel Labs 和 UKP Lab 发布 SetFit，一个无需提示词的少样本文本分类框架。每类仅需 8 个标注样本即可在 Customer Reviews 数据集上媲美用全量 3k 样本微调的 RoBERTa Large；在 RAFT 基准上 355M 参数的 SetFit 超过 PET 和 GPT-3。
推荐理由：官方详解 SetFit 的原理、训练成本和 RAFT 实测数据，并附可复现的训练代码，方便直接上手做少样本分类。
OpenAI 训练了一对神经网络，用仿人机器手还原魔方，训练完全在仿真中进行，采用与 OpenAI Five 相同的强化学习代码和新技术 Automatic Domain Randomization（ADR）。系统能应对训练中未见过的情况，例如被长颈鹿玩偶戳动，表明强化学习可解决需要极高灵巧度的现实物理问题。
推荐理由：原文说明神经网络完全在仿真中训练即可操控机械手还原魔方，并给出 ADR 这一可迁移到其他物理任务的方法。
OpenAI 训练了一个大规模无监督语言模型，能生成连贯段落文本，在多项语言建模基准上达到当时最优表现。该模型无需任务特定训练即可完成基础阅读理解、机器翻译、问答和摘要任务。
推荐理由：OpenAI 自述该无监督语言模型在多项基准上达到 SOTA 并零样本完成多任务，可作为了解无任务特定训练能力的背景材料。
OpenAI 宣布以可扩展、任务无关的系统在多项多样化语言任务上取得 SOTA 结果，并开放发布该系统。方法结合 Transformer 与无监督预训练两个已有思路，团队认为结果证明了监督学习搭配无监督预训练的有效性，希望推动在更大更多样数据集上的进一步研究。
推荐理由：原文给出无监督预训练加 Transformer 的方法组合和多任务 SOTA 结果，可帮读者理解预训练思路的实际成效。
OpenAI 宣布其 Dota 2 bot 在标准赛事规则的 1v1 对局中击败世界顶尖职业选手。该 bot 从零开始通过自对弈学习，不使用模仿学习或树搜索。作者称这是向在涉及真实人类的混乱复杂环境中完成明确目标的 AI 系统迈出的一步。
推荐理由：原文点明该 bot 完全靠自对弈从零学习、不用模仿学习和树搜索，可帮助读者理解其在复杂环境 AI 中的定位。