跳到正文

#评测/基准

今日 2 条
10月20日周二
  1. InfoQ中文45

    Snowflake Observe Agent Observability 功能发布:智能体可观测性助力企业优化AI支出

    Snowflake Observe 即将推出 Agent Observability 功能,旨在帮助企业监控、调试和改进AI智能体及大语言模型应用。该功能提供数据采集、搜索调试、性能监控、质量评估和成本追踪等功能,以经济高效的方式大规模保留和分析智能体遥测数据,帮助企业优化AI支出。Agent Observability 将于10月22日开放私有预览。

  2. Show HN25

    Humane AI Pin 搜索引擎功能与评分

    Humane AI Pin 搜索引擎提供查询结果页面的有用性评分和价格,支持代理抓取,并在后续页面替换时提供标记。该引擎于 2026-10-14 运行,无使用历史。其中三个结果被标记,包括 2023 年 11 月的发布和 2024 年的评论,以及 2025 年 2 月 28 日宣布关闭的消息。

  3. InfoQ中文35

    腾讯Agent测试团队分享:从记忆到持续学习的工程实践

    腾讯Agent端到端落地负责人赵旭峰在QCon上海分享,提出通过设计稳定的数据结构,让AI自主探索界面,自动生成脚本与执行计划,实现测试能力的持续复用和智能闭环。赵旭峰团队通过分层记忆与持续学习闭环,推动测试用例生成、自动化执行与结果研判的智能化改造。

  4. Show HN35

    MediationBench – 测试 AI 调解员在 62 个模拟冲突中的表现

    MediationBench 由 Human Assisted Intelligence 发布,通过模拟62个双边冲突来比较AI调解员的表现。每个测试中,系统使用相同的模型扮演双方,调解员在3至25轮的固定窗口内决定何时发言、等待或结束对话。初步结果显示,AI调解员在对话结束时是否适当结束的评分在0到100之间。

  5. TechCrunch · AI45

    Hugging Face 政策总监:嵌入式 AI 评估器并非易解之策

    Hugging Face 政策总监 Irene Solaiman 在 TechCrunch Disrupt 上表示,模型基准测试的方法复杂且仍在成熟中,可重复性是评估中的难题。嵌入式评估器生态系统的需求日益增长,但对其有效性和中立性的质疑依然存在。评估现在不仅针对模型本身,还包括整个系统,包括工具和智能体。评估空间目前较为混乱,需要更统一、行业范围内的方法。

  6. TechCrunch · AI35

    Tolan AI 伴侣获得 3000 万美元融资,助力用户管理日常生活

    Tolan AI 伴侣获得 3000 万美元融资,旨在帮助用户管理日常生活、处理人际关系和情绪,拥有超过 25 万活跃用户,年营收达数千万美元。Tolan 通过卡通形象提供支持,帮助用户完成日常任务,70% 用户为女性,40% 为父母。与同类产品相比,Tolan 在提供帮助的同时避免了过度怪异的形象。

  7. The Decoder35

    Anthropic 计划设立 AI 威胁工人基金,马斯克以 SpaceX 股份回应

    Anthropic 公司计划设立一项基金,用于应对 AI 对劳动力市场的影响,并承诺将公司 20% 的股权用于公共福利。与此同时,马斯克提出以 SpaceX 股份直接向美国约 7200 万儿童发放股份,总价值约 105 亿美元。Anthropic 的计划与 OpenAI 基金会形成对比,后者拥有对营利性 OpenAI Group 的 26% 股权。

10月19日周一
  1. Show HN35

    AI决策模型在《街头霸王II》中的基准测试

    AI决策模型在《街头霸王II》的Genesis版本中进行基准测试,使用Liu Kang角色对战15个VeryHard CPU对手,每场10次重复,评估平均伤害输出。模型通过Clef-flash AI在Cloudflare Workers上运行,回答8个情境问题,每场游戏前进行一次调用,每15帧采样一次。测试结果显示,Clef-beat在大多数情况下击败了VeryHard CPU对手。

  2. InfoQ中文45

    RACE 开源 macOS 终端多路复用器广告账户被误判为恶意内容暂停

    开源 macOS 终端多路复用器 RACE 的开发者 Przemyslaw Alexander Kaminski 的广告账户因被误判为恶意内容而暂停,尽管其文件通过了原生操作系统公证和独立反恶意软件检测。事件凸显了自动化安全扫描器与开发工具之间的脱节,以及安全自动化与非标准系统编程之间的系统性矛盾。