跳到正文

端侧 AI

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

最新精选

第 1–20 条 · 共 71 条
10月27日周二
10月20日周二
  1. IT之家60

    第三方开发者发布英伟达显卡免刷写 VBIOS 工具:RTX 30/40/50 系显卡无需刷写固件即可修改参数,重装驱动即可还原

    独立开发者 Panchovix 发布了一款适用于英伟达 GeForce RTX 30 至 RTX 50 系列显卡的 VBIOS 配置工具,允许用户无需刷写固件即可修改显卡参数,降低变砖风险。

    推荐理由:该工具为显卡参数调整提供了新的方法,可能对需要修改显卡参数的用户有所帮助。

10月12日周一
10月9日周五
  1. The Verge · AI62

    Google 发布离线 AI 笔记应用 AI Edge Foresight

    Google 发布实验性笔记应用 Google AI Edge Foresight,可在完全离线状态下转写会议和音频文件。该应用免费,基于 Google 端侧 EmbeddingGemma 2 模型,目前仅在 macOS 上运行,并针对 Apple Silicon 芯片的 Mac 优化。

    推荐理由:Google 把会议转写与笔记整理放到本地模型上运行,读者可据此判断离线 AI 笔记的可用边界。

10月8日周四
  1. IT之家62

    余承东:未来会有更多华为手机采用基于韬定律的逻辑折叠芯片

    余承东在国际媒体圆桌会议上表示,Mate 90 系列搭载麒麟 9050 Pro 芯片,整机性能较上一代提升 31%,巴龙调制解调器、ISP、MSP、灵犀 CPU、Maleoon GPU 及达芬奇架构 NPU 均为自主设计。

    推荐理由:华为高管披露麒麟 9050 Pro 的自主设计模块与逻辑折叠路线,可据此观察其芯片演进节奏。

  2. Show HN71

    Show HN:用摄像头和姿态模型做本地优先的坐姿训练器

    作者发布本地优先的坐姿训练器,每秒从摄像头取一帧,用姿态模型识别 33 个身体关键点并自行计算头部前倾、肩线倾斜和头部侧倾三个角度,超标即播放提示音。所有计算在浏览器内完成,无需密钥和配额,图像与读数都不离开设备;默认每秒一帧,可拉长到两分钟,提供六种提示音。单帧深度估计不确定,作者建议看趋势而非单次读数,单帧数据保留两天,每日汇总长期保存。

    推荐理由:原文给出浏览器内本地姿态检测的实现方式与隐私边界,可了解端侧模型在健康工具中的落地路径。

  3. 爱范儿72

    微软发布 Surface Laptop Ultra 与 Windows 混合智能更新

    微软在特别发布会上推出 Surface Laptop Ultra,搭载 NVIDIA RTX Spark Superchip,最高 128GB 统一内存,可在本地运行超过 1200 亿参数模型,起售价 2599 美元,10 月 7 日开放预订、10 月 16 日发货。

    推荐理由:微软把 Windows 的 AI 能力从 Copilot 入口推进到系统级 Agent 与本地模型调度,读者可据此判断 AI PC 的硬件与软件路线变化。

  4. Show HN71

    Pluto 发布可在 MCU 上运行的自然语言硬件控制模型

    Pluto 是一个面向微控制器的自然语言系统,可在约 0.5 MB RAM 下运行,支持 Arduino Mega、ESP32、Raspberry Pi 和 STM32,通过自然语言指令控制 GPIO、PWM、I²C、SPI、UART、舵机、模拟 I/O、定时器和传感器等硬件。

    推荐理由:材料给出 Pluto 在 MCU 上以自然语言控制硬件的定位、支持平台与售价,可据此判断端侧自然语言控制这一路线的现状。

  5. 爱范儿78

    微软与英伟达发布 RTX Spark 平台及 Surface Laptop Ultra

    微软在 Windows 与 Surface 特别活动上联合英伟达发布 RTX Spark 计算平台,这是一块集成 CPU、GPU 和最高 128GB 统一内存的 ARM 架构 SoC,FP4 AI 算力最高 1 PFLOP,可在本地运行 1250 亿参数模型。

    推荐理由:微软与英伟达联合发布 RTX Spark 平台和 Surface Laptop Ultra,读者可了解本地跑大模型的 PC 新形态及其定价。

  6. IT之家71

    GitHub Copilot 支持本地 AI 模型推理,Surface Laptop Ultra 解码吞吐最高每秒 63 词元

    微软在旧金山发布会上宣布,GitHub Copilot 将在本月底前支持本地 AI 模型推理,开发者可在云端模型与设备端模型之间自动或手动切换。用户可在 GitHub Copilot CLI、Copilot 应用与 Visual Studio Code 中设置偏好,通过 Windows ML 选择 MAI Code 1.1 Flash,或连接 OpenAI 兼容的本地端点。

    推荐理由:微软把 Copilot 的推理从纯云端扩展到设备端,并给出本地模型的参数与吞吐数据,可据此判断端侧编程助手的落地条件。

  7. TechCrunch · AI62

    微软发布搭载 Nvidia RTX Spark 芯片的 AI PC 与工作站,并更新 Windows 11

    微软在旧金山 Tech Week 活动上公布新款 Surface Laptop Ultra 的规格与价格,两个基础型号分别 2,600 美元和 3,700 美元起。

    推荐理由:微软公布 RTX Spark 版 Surface 的规格与定价,并给出 Execution Containers 这一智能体沙箱能力,可据此判断端侧 AI 开发硬件的成本门槛。

  8. NVIDIA Blog62

    NVIDIA 与 Microsoft 发布 RTX Spark 笔记本及 Windows 智能体基础设施

    NVIDIA 与 Microsoft 在旧金山 Windows AI and Surface 活动上宣布,将软硬件协同设计用于在 Windows PC 上运行 AI 智能体,并开放 RTX Spark 笔记本预售,10 月 16 日发售,紧凑型台式机 11 月上市。

    推荐理由:NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力一并给出,读者可据此判断本地智能体的落地条件。

  9. Show HN68

    Smart Blur 发布浏览器扩展:用本地 OpenAI 模型自动模糊屏幕共享中的 PII

    Smart Blur 是一款 Chrome 浏览器扩展,在屏幕共享开始时自动开启,对页面上的邮箱、电话、卡号等 PII 进行模糊处理,所有处理均在本地通过 WebGPU 完成,不上传数据。

    推荐理由:浏览器扩展用本地 AI 在屏幕共享时自动模糊 PII,读者可据此判断隐私工具在端侧落地的可行路径。

  10. IT之家62

    英伟达发布 RTX Spark 超级芯片平台,称已测试超 1200 款应用

    英伟达在旧金山发布会上推出 RTX Spark 超级芯片平台,黄仁勋称这是全球唯一能在设备端原生运行所有应用的电脑,可运行 DirectX、OpenGL 及全部 CUDA 应用。英伟达已测试超过 1200 款应用在该平台上的性能和兼容性,并称几乎所有笔记本、台式机和工作站厂商都已加入合作阵营。黄仁勋表示该设备既是工作工具,也可作为个人助理。

    推荐理由:黄仁勋在发布会上给出 RTX Spark 的兼容性测试规模与生态定位,读者可据此判断本地 AI PC 路线的落地边界。

  11. The Verge · AI58

    微软 Surface RTX Spark Dev Box 开启预售,售价 5999 美元

    微软面向开发者的高端 AI 迷你主机 Surface RTX Spark Dev Box 开启预售,售价约 6000 美元,11 月开始发货。该机采用 Nvidia Arm 架构的 RTX Spark 平台和 128GB 统一内存,可运行超过 120B 参数的模型,用于测试 AI 模型、原型化 AI 智能体或在本地运行 AI 编码工具。

    推荐理由:面向开发者的本地 AI 迷你主机给出价格、内存与预装工具,可据此判断本地跑大模型的硬件门槛。