跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

186条精选相关主题论文研究部署工程模型发布

最新精选

第 141–160 条 · 共 186 条
10月6日周二
  1. Show HN62

    Spectra-FFT 发布:将 LLM 训练的 AdamW 显存占用降低约 50%

    Spectra-FFT 发布,作为 AdamW 的即插即用替代优化器,在频域存储优化器状态,官方称可将优化器显存占用降低约 50% 以上,用一行代码替换 AdamW(...) 即可接入现有 PyTorch 训练脚本。

    推荐理由:原文给出优化器替换方式与显存占用变化,读者可据此判断受限硬件上全参微调的可行性。

  2. TechCrunch · AI71

    Reflection 发布开源权重模型 Beam,对标中国开源模型并压低推理算力

    Reflection AI 正式发布其首个前沿开源权重模型 Beam,称在高级推理基准上性能与中国领先开源模型持平,且推理算力消耗低 3-4 倍。Beam 是文本 MoE 模型,总参数 501B、激活 23B,预训练 23.8 万亿 token,上下文窗口 100 万 token;公司称其得分与 Z.ai 的 GLM-5.2 相当,并超过当前西方领先开源模型。

    推荐理由:Reflection 首款开源权重模型 Beam 的规格与对标对象,可用来观察西方开源模型追赶中国模型的路径。

10月5日周一
  1. The Decoder62

    Aleph Alpha 发布 78B 开源权重模型 Kolibri

    Aleph Alpha 发布 Kolibri,一个德语和英语双语模型,总参数 78B,采用混合专家架构,每个 token 约激活 3B 参数。公司称 Kolibri 在两种语言的质量与运行成本上处于帕累托前沿,德语基准得分 71%,解码速度快于 GPT OSS A5B、Qwen 3.6 A3B 和 Gemma 4 A4B 等同类模型。

    推荐理由:读者可了解欧洲开源模型在德语能力、成本与合规上的具体取舍,以及其训练数据与算力来源。

  2. Show HN58

    我连续37天测量MCP注册表:一份公开MCP服务器的透明日志

    作者发布mcp-transparency-log项目,用爬虫按日观测官方注册表中公开可达的MCP服务器,记录其工具名称、描述、JSON schema和四个注解提示,并写入带签名树头的RFC 6962 Merkle日志。

    推荐理由:作者用37天连续观测记录MCP服务器工具面的真实变化,给出签名机制无法覆盖的漂移证据。

  3. IT之家71

    华为麒麟 9050 Pro 裸片显微照首曝:双裸片垂直堆叠,晶体管密度提升 55%

    半导体分析机构 Kurnal Insights 于当地时间 9 月 30 日发布华为麒麟 9050 Pro 裸片显微照,首次从物理层面展示其内部结构:两颗尺寸相同的裸片垂直堆叠,单颗面积约 120.65mm²,略小于前代麒麟 9030S 的 122mm²,一颗负责核心计算逻辑,另一颗专用于 SRAM 和缓存。

    推荐理由:半导体分析机构首次公开麒麟 9050 Pro 裸片结构,读者可据此了解双裸片垂直堆叠的物理实现与功耗数据。

  4. Show HN62

    DoubtBench 发布:用人类分歧评测 System One 模型的不确定性

    DoubtBench 是一个基于 NVIDIA HelpSteer2 多人标注数据构建的基准,把标注者的分歧转化为约 7,500 道 Score、Choice 和 Noul 题目,同时考察模型答对率和概率是否与人类分歧对齐。

    推荐理由:DoubtBench 用 HelpSteer2 的多人标注衡量模型概率是否与人类分歧一致,并给出可复现的评测命令与榜单。

10月4日周日
  1. IT之家62

    余承东:华为半导体已设计并量产381款τ芯片

    华为常务董事余承东发布视频称,华为半导体已在手机、AI、通用计算、网络、智能汽车等多个领域成功设计并量产381款τ芯片。这一路径源自华为今年5月提出的韬(τ)定律,以时间缩微替代几何缩微,通过逻辑折叠等技术压缩信号传播时延,覆盖器件、电路、芯片到系统四个层面。华为预计到2031年,基于韬定律的高端芯片晶体管密度将达到1.4纳米制程的同等水平。

    推荐理由:华为高管披露韬定律下已量产381款τ芯片,并给出以时间缩微替代几何缩微的技术路径与2031年目标。

10月3日周六
9月30日周三
  1. Google DeepMind62

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质嵌入水印

    Google DeepMind 发布 SynthID Bio,将 SynthID 水印技术扩展到合成生物学,可在不损害生物功能的前提下把不可感知的签名嵌入生物代码,并能在合成出的实体蛋白质上验证。

    推荐理由:SynthID 水印从图像扩展到合成生物,读者可了解其在 DNA 合成筛查与数据库标注中的验证层作用。

9月29日周二
  1. Microsoft Research62

    微软研究院推出 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院推出 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,从缩小搜索空间到选出候选验证仅用一个周末。

    推荐理由:微软研究院公开 Quine 的生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。

  2. 极客公园71

    AMD 82 亿美元收购 World Labs,李飞飞将出任首席科学家

    AMD 宣布以约 82 亿美元全股票交易收购李飞飞创办的 World Labs,预计 2026 年底前完成交割,仍需通过监管审批;交割后李飞飞将出任 AMD 执行副总裁兼首席科学家,直接向 CEO 苏姿丰汇报。

    推荐理由:文章把 AMD 收购 World Labs 与英伟达此前的收购放在一起比较,解释芯片公司为何要买模型团队。

9月24日周四
  1. NVIDIA Blog62

    NVIDIA 联合 Google DeepMind 等开放 2800 多种病毒的蛋白结构数据集

    NVIDIA 加入由 Google DeepMind、EMBL-EBI 等组成的全球研究联盟,通过 AlphaFold Database 开放 2800 多种病毒的蛋白复合物预测 3D 结构,供任何科学家免费使用。

    推荐理由:NVIDIA 联合 Google DeepMind 等机构开放 2800 多种病毒的蛋白复合物结构预测,读者可了解开放科学在疫情准备中的具体做法。

9月22日周二
9月16日周三
9月10日周四
  1. OpenAI News50

    OpenAI 在 ChatGPT Work 中推出 Data agent

    OpenAI 在 ChatGPT Work 中推出 Data agent,面向所有用户开放。该功能支持接入公司数据、用自然语言让 AI 挖掘洞察并构建交互式仪表盘。

    推荐理由:OpenAI 在 ChatGPT Work 中上线 Data agent,读者可了解企业数据接入与自然语言建看板的新入口。