跳到正文

#数据/训练

今日 0 条
11月2日周一
  1. InfoQ中文70

    Yann LeCun 发新论文挑战 Scaling Law:1.09 亿参数胜过 720 亿,模型越大不一定越懂世界

    Yann LeCun 与其合作者提出了一种新的跨模态表征对齐方法,通过实验证明了一个仅有 1.09 亿参数的文本模型在跨模态表征对齐测试中超过了包括 Qwen2.5-72B、Llama-3-70B 在内的大型语言模型。

    推荐理由:LeCun 的论文挑战了 AI 行业中模型规模与理解能力的关系,提出了新的跨模态表征对齐方法,对 AI 理论研究有重要意义。

11月1日周日
  1. IT之家75

    北京大学团队优化 ABACUS 软件提升鲲鹏 920 性能

    北京大学团队完成了 ABACUS 在鲲鹏 920 全系列平台上的适配,并对 19 类材料领域核心算子进行了优化,使得在相同硬件配置下,性能提升了 1.3 至 10.7 倍。

    推荐理由:原文详细介绍了北京大学团队对 ABACUS 软件的优化过程,包括对 19 类材料核心算子的优化,以及与业界主流 CPU 的性能对比,读者可以从中了解优化方法和性能提升情况。

10月30日周五
10月27日周二
  1. Show HN30

    StockBot:利用Claude模型分析Reddit股票讨论的探索性软件研究

    StockBot是一款探索性软件,通过分析Reddit股票讨论,使用Claude模型进行买卖建议。该系统在100天内收集了717,205条股票提及和78次模型调用,结果显示股票在10个交易日内平均下跌7.3%。StockBot包含两个不同的选择路径:系统选择和用户选择,并通过Telegram发送简报。该研究旨在了解语言模型在处理市场数据时的行为,但不应被视为投资建议。

10月25日周日
10月23日周五
  1. InfoQ中文75

    上下文语言模型:通过自主管理上下文提升性能、降低计算成本

    Meta、麻省理工学院与华盛顿大学的研究人员提出上下文语言模型(CLM),一种使语言模型能够自主管理和编辑自身上下文的新方法。该方法在性能和计算效率方面均取得显著提升,并探索了三种不同的上下文管理方法。

    推荐理由:该研究提出了上下文语言模型,通过自主管理上下文提升性能和降低计算成本,对语言模型领域有重要意义。

10月22日周四
  1. InfoQ中文60

    FlashQLA:面向 Qwen 系列模型线性注意力的高性能优化实践

    FlashQLA 是一个针对 GDN 线性注意力的高性能 GPU 算子库,本文详细介绍了其定位、背景、序列并行方案、滑动窗口性质利用、硬件友好代数改写以及 warp specialization 实现等核心技术,并给出了性能基准和生态集成进展。

    推荐理由:本文介绍了 FlashQLA,一个针对 GDN 线性注意力的高性能 GPU 算子库,对 Qwen 系列模型线性注意力的高性能优化实践进行了详细阐述,读者可以了解其性能提升和应用场景。

10月18日周日
  1. IT之家65

    中国科学院智能锂电池研究取得重要新进展,可预警锂枝晶

    中国科学院化学研究所提出了一种具有枝晶传感功能的复合固态电解质,能够实现锂枝晶的识别和预警,为智能锂电池设计提供了新范式。

    推荐理由:该研究提出了一种新的固态电解质,能够实现锂枝晶的识别和预警,对提升锂电池的安全性和智能化具有重要意义。

10月14日周三
10月13日周二
10月12日周一
10月11日周日
  1. IT之家85

    华为与华东师大联合研发时序预测基础模型登顶国际权威评测榜单

    华为与华东师范大学联合研发的时序预测基础模型登顶国际权威评测榜单TIME-leaderboard和GIFT-Eval(Pretrained类目),标志着国内时序基础模型达到全球领先水平,具有重大研究价值。

    推荐理由:华为与华东师范大学联合研发的时序预测基础模型登顶国际权威评测榜单,标志着国内时序基础模型达到全球领先水平,具有重大研究价值。

10月7日周三
  1. IT之家22

    中国团队全球首次构建水稻全生命周期三维时空细胞图谱

    中国多个科研机构协作,在全球范围内首次构建覆盖水稻从种子萌发到开花结实全过程的三维时空细胞图谱,成果于10月6日晚在线发表于《细胞》(Cell)。该图谱整合基因组测序、单细胞测序与空间转录组测序,并配套建设了可供全球研究者使用的数据库与水稻单细胞基础模型,支持基因查询、空间表达展示和比较分析。研究有望开辟精准设计育种新路径,减少性状改良中“顾此失彼”的连锁反应。

10月6日周二
  1. The Decoder62

    研究者将 LeCun 的 JEPA 扩展为跨物理到生物的通用世界模型 JEPA-Anything

    PhAI Labs 联合斯坦福、牛津、普林斯顿的研究者提出 JEPA-Anything,把标准 JEPA 的单一预测拆成四个正交因子、各由独立预测模块处理,再重组为完整世界状态,在物理、机器人、天气、单细胞和临床等七个领域共用同一套原则。

    推荐理由:JEPA-Anything 把单一预测拆成多个正交预测模块,在物理动力学任务上误差最多降约 35%,并给出跨领域复用的具体路径。

  2. Simon Willison27

    Qwen3.8 27B 用英文单词做加法的基准测试

    Simon Willison 在 DGX Spark 上测试本地 Qwen3.8-27B-Q4_K_M.gguf 能否仅用英文单词表达整数加法结果。禁用推理时 5,070 个用例数值准确率仅 23.57%,一至三位数操作数从 97.04% 降至十至十三位数的 6.44%,格式合规率 96.17%。启用推理后 169 次配对测试答对 167 次。

10月5日周一
  1. Show HN62

    DoubtBench 发布:用人类分歧评测 System One 模型的不确定性

    DoubtBench 是一个基于 NVIDIA HelpSteer2 多人标注数据构建的基准,把标注者的分歧转化为约 7,500 道 Score、Choice 和 Noul 题目,同时考察模型答对率和概率是否与人类分歧对齐。

    推荐理由:DoubtBench 用 HelpSteer2 的多人标注衡量模型概率是否与人类分歧一致,并给出可复现的评测命令与榜单。

10月1日周四
9月21日周一
8月21日周五
  1. Microsoft Research40

    微软 Skala 1.1 发布:训练数据增 2.5 倍,已接入 CP2K 并推进 Psi4、FHI-aims、ORCA、VASP 集成

    微软研究院发布深度学习 DFT 交换关联泛函 Skala 1.1,训练数据比首个公开版本多 2.5 倍,在 GMTKN55 的 55 个类别中 32 项排名第一,加权平均误差 2.8 kcal/mol。Skala 现已在 CP2K 中可用,并正被集成进 Psi4、FHI-aims、ORCA 和 VASP,同时微软推出持续追踪各版本计算性能的 living benchmark。

8月12日周三
7月26日周日
  1. Berkeley AI Research38

    Berkeley AI Research 提出 ABBEL:用信念状态监督 LLM 长程交互中的摘要更新

    Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督,以缓解递归摘要带来的性能损失。在 CollabBench 协作编程任务上,采用基于重构的信念评分后,ABBEL 将相对全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值上下文 token 数也显著低于全上下文设置。

6月30日周二
6月17日周三
5月16日周六
  1. Google DeepMind38

    Google DeepMind Co-Scientist 助力发现抗肝纤维化药物

    斯坦福大学医学院 Gary Peltz 团队用 Google DeepMind 的 Co-Scientist 筛选抗肝纤维化药物,其提出的 3 个候选中有 2 个在活体人类肝细胞测试中阻断纤维化并促进肝细胞再生,而 Peltz 自行挑选的 2 个药物均无效。表现最突出的是抗癌药 vorinostat,阻断了 91% 可驱动肝硬化的损伤反应。相关研究已发表于 Advanced Science。

4月22日周三
  1. Google DeepMind62

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,将大规模训练拆分为解耦的计算岛并异步传输数据,从而隔离局部硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并自动重新接入,用 Gemma 4 模型验证其基准 ML 性能与传统训练方法持平。

    推荐理由:原文给出分布式训练在带宽、故障隔离和跨代硬件上的实测结果,可据此判断大规模预训练基础设施的演进方向。

4月20日周一
  1. Berkeley AI Research31

    GRASP:面向世界模型的更长视野梯度规划方法

    Berkeley AI Research 提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接加入随机性以探索,并重塑梯度让动作获得清晰信号、避免穿过高维视觉模型的脆弱“状态-输入”梯度。该方法针对长视野规划中计算图病态、非贪心结构导致局部极小值以及高维潜空间失效模式等问题,使长视野规划更稳健。

3月13日周五
1月10日周六
  1. Berkeley AI Research36

    伯克利 AI 研究:用信息量直接评估与优化成像系统

    伯克利 AI 研究团队提出一种基于互信息的成像系统评估与优化框架,仅用带噪测量和噪声模型即可量化测量对物体的区分能力,无需任务专用解码器。该方法在彩色摄影、射电天文、无透镜成像和显微成像四个领域预测了解码器性能,优化后的设计在更少内存和算力下达到与端到端方法相当的水平,相关成果发表于 NeurIPS 2025。

12月9日周二
12月5日周五
  1. Google DeepMind36

    Google DeepMind 用 AlphaFold 改造光合作用关键酶,培育耐热作物

    密歇根州立大学团队借助 AlphaFold 预测植物与嗜热藻类的甘油酸激酶(GLYK)三维结构,发现植物版 GLYK 的三个柔性环在高温下会变形失稳。研究人员用藻类 GLYK 中更刚性的环替换这些不稳定片段,构建的杂合酶中有一款在高达 65 °C 时仍保持稳定,为培育耐热作物提供了新路径。

11月11日周二
  1. Google DeepMind52

    Google DeepMind 在 Nature 发表研究:让 AI 视觉表征更接近人类

    Google DeepMind 在 Nature 发表新论文,分析 AI 视觉模型与人类在组织视觉世界上的差异,并提出一种三步对齐方法。该方法先用 THINGS 数据集训练一个冻结主模型的小型适配器作为教师模型,再生成包含百万张图像、数百万条类人判断的 AligNet 数据集,最后微调其他学生模型。

    推荐理由:DeepMind 在 Nature 发表视觉对齐研究,读者可了解人类与模型表征差异及三步对齐方法。

11月6日周四
9月1日周一