ChatGPT 加强青少年保护：社区安全报告及新保护措施
OpenAI 对 ChatGPT 进行了安全升级，新增暴力预防措施，提前干预，并承诺加强公共安全报告。
#评测/基准
#评测/基准
今日 0 条OpenAI NewsAI 评分3535 Microsoft Research精选AI 评分7070 微软从合成企业数据评估到真实 Microsoft Copilot AI 信心
微软发布了行业评估数据生成平台，用于评估 Microsoft Copilot AI 的性能和安全性，该平台基于公开数据生成合成企业环境，并自动生成评估数据。
推荐理由：微软通过构建行业评估数据生成平台，为 Microsoft Copilot AI 的评估提供了标准化基准，有助于提升企业对 AI 系统的信任。
AWS Machine Learning BlogAI 评分3535 AWS 连续四年入选 Gartner 2026 年 CCaaS 魔力四边形领导者
AWS Connect for Amazon Connect 连续四年被评为 Gartner 2026 年 CCaaS 魔力四边形领导者，该平台旨在提供个性化、智能的客户体验，同时保持效率、灵活性和控制。AWS Connect Customer 通过整合客户背景、AI 和适应性，致力于提供无妥协的客户体验。
AWS Machine Learning Blog精选AI 评分6565 Property Finder 通过 Amazon Bedrock 优化模型评估和选择
Property Finder 发现其评估标签存在偏差，导致模型比较失去有效性。通过在 Amazon Bedrock 上应用进化提示优化，实现了更高的准确性和更低的成本。
推荐理由：Property Finder 通过识别评估偏差、构建无偏见的真实标签和应用于 Amazon Bedrock 的进化提示优化，实现了更高的准确性和更低的成本。读者可以从中学习到如何在自己的工作负载中应用这些方法。
OpenAI NewsAI 评分3535 OpenAI 优化 ChatGPT 在低资源编程语言中的编码能力
OpenAI 通过对软件工程、SQLite 和 COBOL 迁移的新评估，提升 ChatGPT 在低资源编程语言中的编码能力。
Microsoft Research精选AI 评分4545 StudentSim：通过模拟学生学习行为改进 AI 辅导系统
微软研究团队开发的 StudentSim 系统能够模拟学生学习行为，为 AI 辅导系统的研发提供评估和改进方法，有助于加速 AI 辅导系统的迭代和优化。
推荐理由：StudentSim 通过模拟学生学习行为，为 AI 辅导系统的研发提供了一种新的评估和改进方法，有助于加速 AI 辅导系统的迭代和优化。
Microsoft ResearchAI 评分1818 微软研究院 Jennifer Neville 谈 AI 的意外失败与评测边界
微软研究院 partner research manager Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统性能边界，以及模型在传统 benchmark 之外测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历，分享了使用当前 AI 系统的实用建议，并强调当结果超出预期时深入审视数据的重要性。
GitHub Blog · AI & ML精选AI 评分5252 GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，研究预览版已上线官网。基准基于 1.039 亿个 GitHub pull request 的分布构建，包含 19 种语言、187 个开源仓库的 219 个 pull request，采用多来源 golden set 与统一评分标准，发布前由资深工程师独立复核，一致率 96.6%。
推荐理由：GitHub 公开了代码审查基准的构建方法与评测口径，读者可据此判断自家审查智能体的强弱与取舍。
OpenAI NewsAI 评分2828 OpenAI 推出 MentalHealthBench
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
Microsoft ResearchAI 评分3939 微软研究院发布 MindTopo 基准，揭示多模态模型拓扑推理短板
微软研究院推出 MindTopo 基准，用于评估多模态大语言模型的拓扑推理能力，覆盖连通性、分离、顺序、包围与打结五类关系，并区分静态推理与交互规划两个认知层级。测试显示，当前模型在静态识别上明显优于交互规划，且两者均远低于人类水平，失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用，跨动作序列仍不可靠。
Microsoft Research精选AI 评分7171 微软研究院开源 Orchard：面向可扩展智能体 AI 的开放框架
微软研究院发布开源框架 Orchard，核心是 Kubernetes 环境服务 Orchard Env，可复用于软件工程、网页导航和个人助理等任务，并支持在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中直接训练智能体。
推荐理由：微软研究院开源 Orchard 框架，给出环境服务与三个领域训练配方，读者可了解小模型在真实 harness 中训练的具体路径。
OpenAI NewsAI 评分4040 如何通过两项设置让 GPT-5.6 在 ARC-AGI-3 基准测试中得分翻三倍
启用两项 API 设置后，GPT-5.6 在 ARC-AGI-3 基准测试中的得分提升至原来的三倍。这两项设置分别用于保留推理过程和启用压缩，从而同时提升了得分与效率。
OpenAI NewsAI 评分3030 OpenAI 分析指出 SWE-Bench Pro 编码评测存在可靠性问题
OpenAI 发布新分析，指出热门编码基准 SWE-Bench Pro 存在可靠性问题，引发对 AI 模型评测准确性的担忧。该分析聚焦于如何从编码评测中区分有效信号与噪声。
OpenAI NewsAI 评分2222 OpenAI 推出 GeneBench-Pro 基准
OpenAI 推出 GeneBench-Pro，一个用复杂真实数据集测试 AI 在基因组学、生物学和科研领域表现的新基准。
OpenAI NewsAI 评分3030 OpenAI 推出 LifeSciBench：面向生命科学研究任务的专家评测基准
OpenAI 发布 LifeSciBench，一个由专家撰写并评审的基准，用于评估 AI 系统处理真实生命科学研究任务与决策的能力。该基准聚焦真实科研场景，而非通用问答。
OpenAI NewsAI 评分4242 OpenAI 推出 Deployment Simulation，可在发布前预测模型行为
OpenAI 推出 Deployment Simulation，一种利用真实对话数据在部署前预测 AI 模型行为的方法，以提升安全性和评估准确性。
OpenAI NewsAI 评分2222 OpenAI 发布可信第三方评估指南
OpenAI 分享第三方 AI 评估指南，覆盖如何评估前沿系统的模型能力、安全防护与有效性。该指南面向第三方评估实践，给出可信评估的操作规范。
Google DeepMind精选AI 评分6262 WeatherNext 如何帮助美国国家飓风中心预测飓风 Melissa 登陆牙买加
Google DeepMind 与 Google Research 开发的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天预测飓风 Melissa 将以五级强度登陆牙买加，置信度达 80%，三天前升至接近 100%。
推荐理由：原文给出 WeatherNext 在飓风路径与强度预测上的实际表现，读者可了解 AI 天气模型如何辅助官方预警决策。
Google DeepMindAI 评分4040 Google DeepMind 发布 AGI 认知框架，并联合 Kaggle 发起评测黑客松
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》，提出包含感知、生成、注意力、学习、记忆、推理、元认知、执行功能、问题解决、社会认知 10 项能力的认知分类框架，并配套三阶段评估协议，用留出测试集防止数据污染、采集具人口代表性的人类基线、将 AI 表现映射到人类表现分布。
OpenAI NewsAI 评分3434 OpenAI 与 Pacific Northwest National Laboratory 合作推出 DraftNEPABench，加速联邦许可审批
OpenAI 与 Pacific Northwest National Laboratory 合作推出 DraftNEPABench，用于评估 AI 编程智能体如何加速联邦许可审批。该基准显示，NEPA 草案撰写时间有望最多缩短 15%，并推动基础设施审查现代化。
OpenAI NewsAI 评分4040 OpenAI 为何不再评估 SWE-bench Verified
OpenAI 宣布不再评估 SWE-bench Verified，原因是该基准正日益受到污染，无法准确衡量前沿编码能力。其分析指出该基准存在测试缺陷和训练数据泄漏问题，并推荐改用 SWE-bench Pro。
OpenAI NewsAI 评分4040 OpenAI 与 Paradigm 推出 EVMbench，评估 AI 智能体发现与利用智能合约漏洞能力
OpenAI 与 Paradigm 推出 EVMbench，用于评估 AI 智能体检测、修补和利用高危智能合约漏洞的能力。该基准聚焦高严重性漏洞的发现、修复与攻击三个环节。
OpenAI NewsAI 评分3838 OpenAI 推出 FrontierScience 基准，评估 AI 科研能力
OpenAI 推出 FrontierScience 基准，用于测试 AI 在物理、化学和生物学领域的推理能力，衡量其向真实科学研究迈进的程度。
Google DeepMindAI 评分3838 Google DeepMind 与 Kaggle 推出 FACTS Benchmark Suite，系统评估大语言模型事实准确性
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite，在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准，并将 Grounding 升级至 v2，共 3513 个公开样例。
OpenAI NewsAI 评分88 OpenAI 解读 evals 如何驱动企业 AI 的下一章
OpenAI 发文阐述 evals 如何帮助企业定义、衡量并改进 AI 表现，从而降低风险、提升生产力并形成战略优势。文章面向企业场景，说明 evals 在 AI 落地中的作用。
OpenAI NewsAI 评分2727 OpenAI 推出 IndQA：面向印度语言的 AI 评测基准
OpenAI 推出 IndQA，一个用于评估 AI 系统印度语言能力的新基准，覆盖 12 种语言和 10 个知识领域，由领域专家共同构建，重点考察文化理解与推理能力。
OpenAI NewsAI 评分4040 OpenAI 推出 GDPval：在 44 个职业的真实经济任务上评测模型表现
OpenAI 推出 GDPval，一个衡量模型在真实世界、具有经济价值任务上表现的新评测，覆盖 44 个职业。该评测用于评估模型在现实工作任务中的实际能力，而非仅限学术基准。
OpenAI NewsAI 评分3838 OpenAI 发布医疗 AI 评测基准 HealthBench
OpenAI 推出面向医疗场景的 AI 评测基准 HealthBench，用于在真实情境中评估模型表现。该基准由 250 多名医生参与构建，旨在为医疗领域模型性能与安全性提供统一标准。
OpenAI NewsAI 评分2222 OpenAI 发布 BrowseComp：面向浏览智能体的基准测试
OpenAI 推出 BrowseComp，一个面向浏览智能体（browsing agents）的基准测试。该基准用于评估智能体在网页浏览任务中的表现。
OpenAI NewsAI 评分4040 OpenAI 发布 PaperBench：评估 AI 智能体复现前沿 AI 研究的能力
OpenAI 推出 PaperBench，用于评估 AI 智能体复现前沿 AI 研究的能力。该基准测试考察智能体能否重现最先进的 AI 研究成果。
OpenAI News精选AI 评分5050 OpenAI 推出 SWE-Lancer 基准
OpenAI 发布 SWE-Lancer 基准，用于测试前沿大语言模型能否在真实自由职业软件工程任务中赚到 100 万美元。该基准以真实世界的自由职业软件工程工作为评测对象。
推荐理由：OpenAI 用真实自由职业软件工程任务构建基准，读者可了解前沿 LLM 在真实编码工作上的变现能力如何被衡量。
OpenAI NewsAI 评分3434 OpenAI 推出事实性基准 SimpleQA
OpenAI 发布事实性基准 SimpleQA，用于衡量语言模型回答简短事实型问题的能力。该基准针对的是模型在短小、以事实检索为核心的问题上的作答表现。
OpenAI NewsAI 评分4040 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准测试评估智能体完成机器学习工程工作的能力。
OpenAI News精选AI 评分6262 OpenAI 发布人工校验的 SWE-bench Verified 子集
OpenAI 发布 SWE-bench 的人工校验子集 SWE-bench Verified，用于更可靠地评估 AI 模型解决真实软件问题的能力。
推荐理由：OpenAI 发布人工校验的 SWE-bench 子集，读者可了解现有代码评测基准为何需要人工筛选。
OpenAI NewsAI 评分1919 OpenAI Retro Contest 首届结果公布
OpenAI 首届 Retro Contest 已完成，该竞赛旨在探索能从上一次经验中泛化到新任务的算法。竞赛结果已公布。