Yann LeCun 发新论文挑战 Scaling Law:1.09 亿参数胜过 720 亿,模型越大不一定越懂世界
Yann LeCun 与其合作者提出了一种新的跨模态表征对齐方法,通过实验证明了一个仅有 1.09 亿参数的文本模型在跨模态表征对齐测试中超过了包括 Qwen2.5-72B、Llama-3-70B 在内的大型语言模型。
推荐理由:LeCun 的论文挑战了 AI 行业中模型规模与理解能力的关系,提出了新的跨模态表征对齐方法,对 AI 理论研究有重要意义。
文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。
Yann LeCun 与其合作者提出了一种新的跨模态表征对齐方法,通过实验证明了一个仅有 1.09 亿参数的文本模型在跨模态表征对齐测试中超过了包括 Qwen2.5-72B、Llama-3-70B 在内的大型语言模型。
推荐理由:LeCun 的论文挑战了 AI 行业中模型规模与理解能力的关系,提出了新的跨模态表征对齐方法,对 AI 理论研究有重要意义。
谷歌研究团队发布名为‘睡眠框架’的持续学习研究成果,旨在解决大语言模型的知识固化问题。该框架借鉴人类睡眠机制,通过模拟‘清醒阶段’和‘睡眠阶段’进行记忆巩固和自我改进,实验显示在多个任务中优于基线方法。
推荐理由:谷歌提出的睡眠框架旨在解决大语言模型的知识固化问题,通过模拟人类睡眠机制进行记忆巩固和自我改进,对持续学习领域有重要意义。
谷歌发布新一代大模型 Gemini 4 Carbon,在多个领域性能提升,包括编程、长程智能体任务和网络安全。目前仅向部分网络安全专家开放,后续逐步扩大访问范围。
推荐理由:谷歌发布了新一代大模型 Gemini 4 Carbon,在多个领域性能提升,但普通开发者暂时无法使用,引发对 AI 模型实际应用和成本效益的思考。
英伟达推出开放权重语音转录模型 Nemotron 3.5 Transcribe,支持 40 种语言转录,最多可区分 8 名说话人,已在 Hugging Face 与 ModelScope 免费开放。
推荐理由:英伟达开源了 Nemotron 3.5 Transcribe 模型,支持多语言转录和说话人识别,对多场景应用有重要意义。
谷歌 DeepMind 发布 Genie 4,一个原生多模态的世界模型,实现了画面、音乐、环境声、对话的同步生成。
推荐理由:Genie 4 的多模态能力在模拟中实现了声音与画面的同步生成,对多模态研究有重要意义。
中信证券研报指出,通用大模型GPT-6 Astra正在应用于机器人控制,有望推动物理AI发展,并可能成为AI行业下一个投入方向。
推荐理由:原文探讨了通用大模型在机器人控制领域的应用,读者可以了解这一领域的最新研究进展。
Vivix公司推出两款实时交互模型W1和A1,旨在推动互动内容领域的发展,并探索游戏和直播等应用场景。
推荐理由:Vivix公司专注于下一代实时交互模型,其产品可能对互动内容领域产生重大影响。
本文详细介绍了如何通过多种优化方法加速 Pi0.5 模型的训练,包括内存优化、编译优化和注意力机制优化,最终实现了 3 倍的训练加速。
推荐理由:文章详细介绍了如何通过多种优化方法加速 Pi0.5 模型的训练,包括内存优化、编译优化和注意力机制优化,对于需要训练类似模型的读者具有参考价值。
Meta 发布 Muse Spark Open,一个拥有 8160 亿参数的多模态模型,支持在 Mac Studio 上运行,已发布在 Hugging Face 上。
推荐理由:Meta 发布了 Muse Spark Open,一个强大的多模态开放权重模型,支持在苹果的 Mac Studio 上运行,读者可以关注其参数规模和运行环境对现有工作流的影响。
StarSkirmish Bench v0.2 评测了多个大型语言模型在 StarCraft 游戏中的表现,GPT-6 Astra 表现最佳,Gemini 4 Argon 和 Claude Opus 5.5 紧随其后。
推荐理由:StarSkirmish Bench v0.2 对比了多个大型语言模型在 StarCraft 游戏中的表现,为读者提供了关于不同模型在复杂任务中表现的数据和见解。
英伟达RTX Spark笔记本搭载ARM CPU、Blackwell RTX GPU和统一内存,支持运行大型AI模型,为AI本地部署提供了新的可能性。
推荐理由:英伟达RTX Spark笔记本的发布,标志着英伟达在Windows PC核心硬件平台的进入,为AI本地部署提供了新的可能性,对创作者和开发者来说是一个值得关注的事件。
优必选 Thinker-WM 在三大基准评测中全部拿下第一名,刷新行业成绩。该模型通过多模态统一表征技术,实现了视频-动作联合生成、世界预测、策略推理等六大能力。
推荐理由:Thinker-WM 在三大基准评测中取得优异成绩,其多模态统一表征技术为具身智能领域带来突破性进展。
Muse Spark Open发布,具有816B总参数、42B活跃参数、1M上下文窗口,支持多模态输入;Nemotron 3.5 Super VL是一个120B/12B活跃的混合Mamba-Transformer MoE VLM;MAI-Base-2是一个大约3T参数的预训练基础模型;Gemini 4 Argon在Antigravity中推出。
推荐理由:原文介绍了多个AI模型和工具的更新和发布,包括Muse Spark Open、Nemotron 3.5、MAI-Base-2、Gemini 4 Argon等,读者可以了解这些新工具的能力和特点,以及它们对AI领域的影响。
Meta 和苹果公司合作,在两台 Mac Studio 上本地运行 Muse Spark Open 模型,该模型参数量达 8160 亿,面向复杂工作场景。合作标志着两家公司在 AI 领域的罕见合作,对 AI 工具的可用性和性能有重要影响。
推荐理由:Meta 和苹果公司合作,在 Mac Studio 上本地运行 Muse Spark Open 模型,标志着两家公司在 AI 领域的罕见合作,对 AI 工具的可用性和性能有重要影响。
何恺明团队提出的VISTA框架,通过保存和利用视觉信息,显著提升了多模态模型在交互式视觉推理任务中的表现,为Agent能力的发展提供了新的思路。
推荐理由:VISTA框架通过保存和利用视觉信息,显著提升了多模态模型在交互式视觉推理任务中的表现,为Agent能力的发展提供了新的思路。
以色列魏茨曼科学研究所教授Michal Irani团队开发的Brain-IT模型,能够通过分析fMRI数据重建受试者观看图像时的视觉画面。
推荐理由:该研究展示了AI在图像生成领域的最新进展,可能对相关领域产生重要影响。
生数科技开放新一代视频生成旗舰模型 Vidu Q4 预览版,主打传神表现力,先放出人物演绎、镜头语言和视效场面三项能力,最高支持 4K 直出,单条最长 16 秒,一次最多可用 15 张参考图和 3 段参考音频。
推荐理由:作者实测了 Vidu Q4 预览版的演技、镜头与特效表现,并给出 MaaS 与 SaaS 两端的计价方式,便于创作者估算成本。
日本企业 Preferred Networks(PFN)发布翻译模型 PLaMo 3 Translate 31B,基于 PLaMo 3 基础模型,训练数据中日语占比约 30%,支持语言从上代的日语、英语 2 种扩展至 53 种,并引入覆盖 15 种语言的在线会议翻译模式。
推荐理由:日本团队自研翻译模型把支持语言从 2 种扩到 53 种,并给出与 GPT-6.1 Sol 的基准对比和成本数字。
Mistral 发布其史上最大模型 Mistral Large 4,代号 Le Chonk,为从零训练的原生多模态模型,1 万亿参数、520 亿稀疏激活。该模型即日起在 Mistral Studio 开放公开预览,权重将于月底发布。
推荐理由:原文给出模型规模、稀疏激活与多模态三项关键参数,读者可据此判断其与同代大模型的定位差异。
何恺明团队提出纯视觉ARC解题方案NAT-ARC,在VARC流程前插入ImageNet MAE预训练,不依赖LLM。表现最好的单模型为0.6B的huge尺度,ARC-1上pass@2达63.4±0.7%,集成后达70.2±0.6%,总参数量约2B。
推荐理由:论文用ImageNet预训练打通视觉路线在ARC上的scaling瓶颈,并给出注意力可视化与任务拆解证据。