Yann LeCun 发新论文挑战 Scaling Law:1.09 亿参数胜过 720 亿,模型越大不一定越懂世界
Yann LeCun 与其合作者提出了一种新的跨模态表征对齐方法,通过实验证明了一个仅有 1.09 亿参数的文本模型在跨模态表征对齐测试中超过了包括 Qwen2.5-72B、Llama-3-70B 在内的大型语言模型。
推荐理由:LeCun 的论文挑战了 AI 行业中模型规模与理解能力的关系,提出了新的跨模态表征对齐方法,对 AI 理论研究有重要意义。
Yann LeCun 与其合作者提出了一种新的跨模态表征对齐方法,通过实验证明了一个仅有 1.09 亿参数的文本模型在跨模态表征对齐测试中超过了包括 Qwen2.5-72B、Llama-3-70B 在内的大型语言模型。
推荐理由:LeCun 的论文挑战了 AI 行业中模型规模与理解能力的关系,提出了新的跨模态表征对齐方法,对 AI 理论研究有重要意义。
研究发现,AI模型处理部分语言提示所需的token量远超英语,导致小语种用户的AI成本更高,限制了AI经济的参与范围。
推荐理由:研究发现非英语的token成本更高,揭示了AI经济参与范围的限制和语言不平等问题。
FlashQLA 是一个针对 GDN 线性注意力的高性能 GPU 算子库,本文详细介绍了其定位、背景、序列并行方案、滑动窗口性质利用、硬件友好代数改写以及 warp specialization 实现等核心技术,并给出了性能基准和生态集成进展。
推荐理由:本文介绍了 FlashQLA,一个针对 GDN 线性注意力的高性能 GPU 算子库,对 Qwen 系列模型线性注意力的高性能优化实践进行了详细阐述,读者可以了解其性能提升和应用场景。
一位开发者通过研究,在 9MB 的模型上实现了对 Kokoro 模型的蒸馏,达到约 25 倍的推理速度提升,并提供了在线演示。
Linux 作者 Linus Torvalds 在大模型帮助下开发了一系列补丁,用于增强 folio 的查找机制,并在测试中实现了性能提升。
推荐理由:Linux 作者 Linus Torvalds 使用大语言模型辅助开发补丁,展示了 AI 在软件开发中的应用潜力。
华为与华东师范大学联合研发的时序预测基础模型登顶国际权威评测榜单TIME-leaderboard和GIFT-Eval(Pretrained类目),标志着国内时序基础模型达到全球领先水平,具有重大研究价值。
推荐理由:华为与华东师范大学联合研发的时序预测基础模型登顶国际权威评测榜单,标志着国内时序基础模型达到全球领先水平,具有重大研究价值。
OpenAI 发布内部前沿模型在数学开放问题上的新结果,并在 GitHub 上公开 Lean 形式化证明与研究细节。
推荐理由:OpenAI 公开内部前沿模型在数学开放问题上的结果,并同步放出 Lean 形式化证明,可供研究者直接查阅。
PhAI Labs 联合斯坦福、牛津、普林斯顿的研究者提出 JEPA-Anything,把标准 JEPA 的单一预测拆成四个正交因子、各由独立预测模块处理,再重组为完整世界状态,在物理、机器人、天气、单细胞和临床等七个领域共用同一套原则。
推荐理由:JEPA-Anything 把单一预测拆成多个正交预测模块,在物理动力学任务上误差最多降约 35%,并给出跨领域复用的具体路径。
DoubtBench 是一个基于 NVIDIA HelpSteer2 多人标注数据构建的基准,把标注者的分歧转化为约 7,500 道 Score、Choice 和 Noul 题目,同时考察模型答对率和概率是否与人类分歧对齐。
推荐理由:DoubtBench 用 HelpSteer2 的多人标注衡量模型概率是否与人类分歧一致,并给出可复现的评测命令与榜单。
微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,可提升任务成功率、支持更大模型并延长续航。
推荐理由:微软研究院系统测量了机器人端侧推理与卸载推理的差异,并给出可复用的 Kubernetes 卸载工具链。
微软研究院发布深度学习 DFT 交换关联泛函 Skala 1.1,训练数据比首个公开版本多 2.5 倍,在 GMTKN55 的 55 个类别中 32 项排名第一,加权平均误差 2.8 kcal/mol。Skala 现已在 CP2K 中可用,并正被集成进 Psi4、FHI-aims、ORCA 和 VASP,同时微软推出持续追踪各版本计算性能的 living benchmark。
Berkeley AI Research 与 IBM Research 将演化式内核搜索框架 K-Search 扩展到 MLX 后端,并加入结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核经验自动适配 Apple Silicon。
推荐理由:原文给出 CUDA 到 MLX 的翻译层设计与两组内核实测数据,可了解跨硬件迁移优化知识的具体做法。
OpenAI 发布可逆生成模型 Glow,采用可逆 1x1 卷积,在简化此前可逆生成模型架构的同时支持高分辨率图像生成与高效采样。该模型还能发现可用于操控数据属性的特征,OpenAI 同步开源模型代码并提供在线可视化工具。
推荐理由:OpenAI 公开 Glow 的可逆生成模型架构与代码,读者可了解其用可逆 1x1 卷积简化模型并支持属性编辑的思路。
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization(PPO),称其表现与当时最先进方法相当或更好,同时实现和调参都简单得多。PPO 已成为 OpenAI 的默认强化学习算法,原因是易用且性能良好。
推荐理由:OpenAI 公开 PPO 算法并说明其相比当时主流方法更易实现和调参,可了解该算法的设计取舍。