Spectra-FFT 发布:将 LLM 训练的 AdamW 显存占用降低约 50%
Spectra-FFT 发布,作为 AdamW 的即插即用替代优化器,在频域存储优化器状态,官方称可将优化器显存占用降低约 50% 以上,用一行代码替换 AdamW(...) 即可接入现有 PyTorch 训练脚本。
推荐理由:原文给出优化器替换方式与显存占用变化,读者可据此判断受限硬件上全参微调的可行性。
训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
Spectra-FFT 发布,作为 AdamW 的即插即用替代优化器,在频域存储优化器状态,官方称可将优化器显存占用降低约 50% 以上,用一行代码替换 AdamW(...) 即可接入现有 PyTorch 训练脚本。
推荐理由:原文给出优化器替换方式与显存占用变化,读者可据此判断受限硬件上全参微调的可行性。
Reflection AI 正式发布其首个前沿开源权重模型 Beam,称在高级推理基准上性能与中国领先开源模型持平,且推理算力消耗低 3-4 倍。Beam 是文本 MoE 模型,总参数 501B、激活 23B,预训练 23.8 万亿 token,上下文窗口 100 万 token;公司称其得分与 Z.ai 的 GLM-5.2 相当,并超过当前西方领先开源模型。
推荐理由:Reflection 首款开源权重模型 Beam 的规格与对标对象,可用来观察西方开源模型追赶中国模型的路径。
作者用 401,975 条英文请求与 Bash 命令配对数据,对 Qwen3-0.6B 和 Qwen2.5-Coder-1.5B-Instruct 做 LoRA 监督微调,发布 EasyCommand 模型、GGUF 和 CLI。
推荐理由:作者公开了微调数据、权重与评测细节,并记录了小模型只记住答案却难以迁移的实验教训。
Aleph Alpha 发布 Kolibri,一个德语和英语双语模型,总参数 78B,采用混合专家架构,每个 token 约激活 3B 参数。公司称 Kolibri 在两种语言的质量与运行成本上处于帕累托前沿,德语基准得分 71%,解码速度快于 GPT OSS A5B、Qwen 3.6 A3B 和 Gemma 4 A4B 等同类模型。
推荐理由:读者可了解欧洲开源模型在德语能力、成本与合规上的具体取舍,以及其训练数据与算力来源。
作者发布mcp-transparency-log项目,用爬虫按日观测官方注册表中公开可达的MCP服务器,记录其工具名称、描述、JSON schema和四个注解提示,并写入带签名树头的RFC 6962 Merkle日志。
推荐理由:作者用37天连续观测记录MCP服务器工具面的真实变化,给出签名机制无法覆盖的漂移证据。
Hinton、Bengio、Andrew Barto、Jakub Pachocki等22位作者发表论文《What if automating AI R&D triggers an intelligence explosion?
推荐理由:论文汇总了头部实验室的内部数据,给出AI研发自动化与智能爆炸之间还差哪些条件的判断框架。
半导体分析机构 Kurnal Insights 于当地时间 9 月 30 日发布华为麒麟 9050 Pro 裸片显微照,首次从物理层面展示其内部结构:两颗尺寸相同的裸片垂直堆叠,单颗面积约 120.65mm²,略小于前代麒麟 9030S 的 122mm²,一颗负责核心计算逻辑,另一颗专用于 SRAM 和缓存。
推荐理由:半导体分析机构首次公开麒麟 9050 Pro 裸片结构,读者可据此了解双裸片垂直堆叠的物理实现与功耗数据。
DoubtBench 是一个基于 NVIDIA HelpSteer2 多人标注数据构建的基准,把标注者的分歧转化为约 7,500 道 Score、Choice 和 Noul 题目,同时考察模型答对率和概率是否与人类分歧对齐。
推荐理由:DoubtBench 用 HelpSteer2 的多人标注衡量模型概率是否与人类分歧一致,并给出可复现的评测命令与榜单。
DoubtBench 是一个基于 NVIDIA HelpSteer2 的基准,把多位标注者的评分分歧转成约 7,500 道 Score、Choice 和 Noul 题目,同时考察模型答对率和概率是否与人类分歧一致。
推荐理由:DoubtBench 用人类标注分歧而非单一答案来评测模型不确定性,并给出可复现的提交与运行方式。
华为常务董事余承东发布视频称,华为半导体已在手机、AI、通用计算、网络、智能汽车等多个领域成功设计并量产381款τ芯片。这一路径源自华为今年5月提出的韬(τ)定律,以时间缩微替代几何缩微,通过逻辑折叠等技术压缩信号传播时延,覆盖器件、电路、芯片到系统四个层面。华为预计到2031年,基于韬定律的高端芯片晶体管密度将达到1.4纳米制程的同等水平。
推荐理由:华为高管披露韬定律下已量产381款τ芯片,并给出以时间缩微替代几何缩微的技术路径与2031年目标。
DeepSeek 弹性计算团队大量招聘 HC,尤其需要资深工程师,并同步公开技术分享《DeepSeek 弹性计算(DSec):面向大规模 Agent 训练的沙盒基础设施》。
推荐理由:DeepSeek 弹性计算团队扩招,同时披露 DSec 沙盒基础设施的生产规模与优化细节,可了解其 Agent 训练底座。
Google DeepMind 发布 SynthID Bio,将 SynthID 水印技术扩展到合成生物学,可在不损害生物功能的前提下把不可感知的签名嵌入生物代码,并能在合成出的实体蛋白质上验证。
推荐理由:SynthID 水印从图像扩展到合成生物,读者可了解其在 DNA 合成筛查与数据库标注中的验证层作用。
CoreWeave 宣布 NVIDIA Vera Rubin NVL72 系统搭配 Spectrum-X 102.4T 以太网在 CoreWeave Cloud 上可用,Cognition 成为首个在生产负载上运行该系统的客户。
推荐理由:CoreWeave 上线 Vera Rubin NVL72 并公布 Devin 实测吞吐数据,读者可据此判断智能体编码负载的算力成本走向。
微软研究院推出 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,从缩小搜索空间到选出候选验证仅用一个周末。
推荐理由:微软研究院公开 Quine 的生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。
AMD 宣布以约 82 亿美元全股票交易收购李飞飞创办的 World Labs,预计 2026 年底前完成交割,仍需通过监管审批;交割后李飞飞将出任 AMD 执行副总裁兼首席科学家,直接向 CEO 苏姿丰汇报。
推荐理由:文章把 AMD 收购 World Labs 与英伟达此前的收购放在一起比较,解释芯片公司为何要买模型团队。
AMD 正式宣布以全股票方式收购李飞飞创立两年的 World Labs,作价约 82 亿美元,双方已签署最终协议,预计 2026 年底前完成交易,仍须获得监管批准。
推荐理由:AMD 以 82 亿美元收购 World Labs,读者可借此理解芯片厂商为何提前押注空间智能与机器人仿真这类新工作负载。
NVIDIA 加入由 Google DeepMind、EMBL-EBI 等组成的全球研究联盟,通过 AlphaFold Database 开放 2800 多种病毒的蛋白复合物预测 3D 结构,供任何科学家免费使用。
推荐理由:NVIDIA 联合 Google DeepMind 等机构开放 2800 多种病毒的蛋白复合物结构预测,读者可了解开放科学在疫情准备中的具体做法。
小米发布 MiMo-V2.6 系列,包含原生全模态模型 MiMo-V2.6-Pro 与 MiMo-V2.6-Flash,并推出输出速度最高提升 20 倍的 MiMo-V2.6-Pro-UltraSpeed。
推荐理由:小米首次进入前沿开源模型序列,其 RL 环境与训练配方开源,为理解后训练成本结构提供了具体样本。
NVIDIA 在 MLPerf Inference v6.1 中首次提交 Vera Rubin NVL72 预览结果,在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7 倍,在 DeepSeek-R1 上最高达 2.5 倍。
推荐理由:MLPerf Inference v6.1 结果给出 Vera Rubin NVL72 相对 GB300 的吞吐与扩展效率数字,可用于比较两代平台的推理经济性。
OpenAI 在 ChatGPT Work 中推出 Data agent,面向所有用户开放。该功能支持接入公司数据、用自然语言让 AI 挖掘洞察并构建交互式仪表盘。
推荐理由:OpenAI 在 ChatGPT Work 中上线 Data agent,读者可了解企业数据接入与自然语言建看板的新入口。